大数据价值与数据挖掘课程培训大纲

讲师资历

课程目标

课程大纲

课程简介：         本次课程将介绍数据挖掘与大数据技术的基本理论和体系架构，通过大型数据挖掘和大数据处理项目案例阐述数据挖掘和大数据项目的实施过程和方法。通过实际应用案例讲解数据清洗、数据预处理、数据挖掘算法等重要概念。详细讲解构建数据挖掘体系的核心方法和技术，并结合实际项目搭建数据挖掘环境。熟悉主流数据挖掘厂商及相关软件产品的操作和使用。课程特点：         1、 培训过程中将以大型项目案例为背景，逐步讲解整个数据挖掘的设计过程和实施方法         2、 课程将以深入浅出的案例让学员轻松掌握数据挖掘相关概念和技术         3、 课程的重点是项目实施，将深入探讨数据挖掘项目的实施问题，逐一解决项目实施过程中所遇到的问题和处理技巧         4、 结合动手实验和小而精的例子，使学员充分理解数据挖掘架构设计和相关实施工具的使用课程大纲：专题一：数据挖掘基础知识 内容一：数据挖掘基本概念1、 数据挖掘的来源2、 数据挖掘的定义3、 数据挖掘的应用领域4、 数据挖掘的行业背景内容二：BI的架构1、BI体系介绍2、数据仓库介绍3、ETL介绍4、多维数据库介绍5、前端展现介绍6、数据挖掘模型介绍内容三、数据挖掘在行业中的应用1、现代企业数据挖掘需求概述2、电信行业案例分析3、金融行业案例研究4、销售行业案例分析5、BI系统数据更新与维护介绍数据挖掘基本概念，BI体系架构， 数据挖掘工具介绍及其应用，针对电信等行业提供行业解决方案和案例分析。专题二：数据挖掘架构设计与完整流程详解 内容一：九种数据挖掘算法1、 九种挖掘算法应用的背景2、 决策树算法与模型设计3、 聚类算法与模型设计4、 关联规则算法与模型设计5、 贝叶斯算法与模型设计6、 时间序列算法与模型设计7、 其他挖掘算法与模型设计内容二：常用挖掘模型详解1、决策树算法详解及工具实现2、聚类算法详解及工具实现3、关联规则算法详解及工具实现4、贝叶斯算法详解及工具实现5、时间序列算法详解及工具实现6、数据挖掘模型评估内容三：数据挖掘的流程1、数据清洗准备2、数据预处理3、选择数据挖掘模型4、数据挖掘模型训练5、更新算法模型6、模型评估7、部署与应用内容四：DMX语言1、DMX语法结构2、使用DMX创建挖掘模型3、使用DMX将挖掘结果导出4、使用DMX进行挖掘模型参数设置九种数据挖掘算法与模型详解，数据挖掘的设计与实施流程，数据挖掘查询语言的使用等，重点对决策树算法、关联规则算法、聚类算法等给出详细设计和处理流程。专题三：大数据处理优化部分 内容一：大数据的特点1、什么是大数据2、大数据的特点3、大数据在行业中的应用内容二：大数据优化方法详解1、大数据分区处理2、使用中间表和临时表3、分批次处理与并行计算4、建立广泛的索引5、建立缓存机制6、使用文本和二进制格式进行处理7、定制强大的清洗规则和出错处理机制8、建立视图或者物化视图9、其他优化方法总结内容三：数据仓库中大数据的处理方式1、数据仓库中的大数据特点2、数据仓库中的大数据的处理方式3、分布式数据仓库的特点及应用内容四：大数据高级应用1、大型项目中大数据的优化案例分析2、使用大数据优化工具3、数据仓库中的大数据性能调优技巧4、未来大数据的发展方向大数据的概念、特点以及大数据的优化方法，数据仓库项目中大数据的处理方式以及大数据的高级应用等，针对大型数据仓库项目提供了完备的大数据优化解决方案。专题四：数据挖掘与大数据项目案例分析 内容一：中国电信数据挖掘项目1、项目介绍2、复杂多系统多数据源的特点3、ODS的使用4、整体项目架构设计5、数据挖掘算法选取6、数据挖掘模型设计7、数据挖掘处理流程8、数据抽取策略的制定8、挖掘模型的更新技巧内容二：Search Funnel数据挖掘项目1、项目介绍2、项目中的海量数据3、数据挖掘算法4、数据挖掘模型构建5、数据的预处理技术6、对挖掘模型进行训练7、展示数据挖掘模型结果8、数据挖掘模型评估内容三：MSN大数据处理项目1、项目介绍2、项目中的超海量数据3、大数据处理所遇到的问题4、使用并行处理和计算5、大数据项目中的数据挖掘模型处理6、项目中的报表展现7、大数据处理思路总结内容四：AdventureWorks整体项目案例1、案例介绍2、ETL流程详解3、OLAP流程详解4、前端报表流程详解5、数据挖掘流程详解总结大型数据仓库与数据挖掘项目设计和实施，重点对项目架构设计和数据完整处理流程做重点分析和详细介绍，针对大型数据挖掘项目，提供了完备的解决方案，给出完整设计思路和数据处理技术应用。