傅一航:大数据挖掘语言:用Python实现大数据挖掘项目实战培训

傅一航:大数据挖掘语言:用Python实现大数据挖掘项目实战培训

价格:联系客服报价

授课讲师:傅一航

讲师资历

培训时长 0
授课对象 大数据系统开发部、大数据分析中心、业务支撑部、IT系统部等相关技术人员。
授课方式 内训

课程目标

掌握Python语言,以及在数据挖掘中的应用

课程大纲

Python是一门解释性语言,仅次于JAVA/C/C++/C#最受欢迎的语言,可应用在大数据语言。易学,易懂,功能强大。其中有着大量的扩展库来实现数据分析与数据挖掘功能。 第一部分:Python语言基础 目的:掌握基本的Python编程思想与编程语句,熟悉常用数据结构的操作 1、Python简介 2、开发环境搭建 Ø  Python的安装 Ø  扩展库的安装 3、掌握Python的简单数据类型 Ø   字符串的使用及操作 Ø  整数、浮点数 4、掌握基本语句: Ø  if、while、for、print等 Ø  基本运算: Ø  函数定义、参数传递、返回值 5、掌握复杂的数据类型:列表/元组 Ø  列表操作:访问、添加、修改、删除、排序 Ø  列表切片、复制等 Ø  列表相关的函数、方法 Ø  元组的应用 6、复杂数据类型:字典 Ø  创建、访问、修改、删除、遍历 Ø  字典函数和方法 7、复杂数据类型:集合 8、掌握面向对象编程思想 Ø  创建类、继承类 Ø  模块 9、函数定义、参数传递、返回值 10、    标准库与扩展库的导入 11、    异常处理:try-except块 演练:基本的Python编程语句 第二部分:Python语言与数据挖掘库 目的:掌握数据集结构及基本处理方法,进一步巩固Python语言 1、数据挖掘常用扩展库介绍 Ø  Numpy数组处理支持 Ø  Scipy矩阵计算模块 Ø  Matplotlib数据可视化工具库 Ø  Pandas数据分析和探索工具 Ø  StatsModels统计建模库 Ø  Scikit-Learn机器学习库 Ø  Keras深度学习(神经网络)库 Ø  Gensim文本挖掘库 2、数据集读取与操作:读取、写入 Ø  读写文本文件 Ø  读写CSV文件 Ø  读写Excel文件 Ø  从数据库获取数据集 3、数据集的核心数据结构(Pandas数据结构) Ø  DataFrame对象及处理方法 Ø  Series对象及处理方法 演练:用Python实现数据的基本统计分析功能 第三部分:数据可视化处理 目的:掌握作图扩展库,实现数据可视化 1、常用的Python作图库 Ø  Matplotlib库 Ø  Pygal库 2、实现分类汇总 演练:按性别统计用户人数 演练:按产品+日期统计各产品销售金额 3、各种图形的画法 Ø  直方图 Ø  饼图 Ø  折线图 Ø  散点图 4、绘图的美化技巧 演练:用Python库作图来实现产品销量分析,并可视化 第四部分:数据挖掘基础 目的:掌握数据挖掘标准流程 1、数据挖掘概述 2、数据挖掘的标准流程(CRISP-DM) Ø  商业理解 Ø  数据准备 Ø  数据理解 Ø  模型建立 Ø  模型评估 Ø  模型应用 3、数据挖掘常用任务与算法 案例:用大数据实现精准营销的项目过程 第五部分:数据理解和数据准备 目的:掌握数据预处理的基本环节,以及Python的实现 1、数据预处理 Ø  异常值处理:3σ准则,IQR准则 Ø  缺失值插补:均值、拉格朗日插补 Ø  数据筛选/抽样 Ø  数据的离散化处理 Ø  变量变换、变量派生 2、数据的基本分析 Ø  相关分析:原理、公式、应用 Ø  方差分析:原理、公式、应用 Ø  卡方分析:原理、公式、应用 Ø  主成分分析:降维 案例:用Python实现数据预处理及数据准备 第四部分:分类预测模型实战 1、常见分类预测的模型与算法 2、如何评估分类预测模型的质量 Ø  查准率 Ø  查全率 Ø  ROC曲线 3、逻辑回归分析模型 Ø  逻辑回归的原理 Ø  逻辑回归建模的步骤 Ø  逻辑回归结果解读 案例:用sklearn库实现银行贷款违约预测 4、决策树模型 Ø  决策树分类的原理 Ø  决策树的三个关键问题 Ø  决策树算法与实现 案例:电力窃漏用户自动识别 5、人工神经网络模型(ANN) Ø  神经网络概述 Ø  神经元工作原理 Ø  常见神经网络算法(BP、LM、RBF、FNN等) 案例:神经网络预测产品销量 6、支持向量机(SVM) Ø  SVM基本原理 Ø  维灾难与核心函数 案例:基于水质图像的水质评价 7、贝叶斯分析 Ø  条件概率 Ø  常见贝叶斯网络 第五部分:数值预测模型实战 1、常用数值预测的模型 Ø  通用预测模型:回归模型 Ø  季节性预测模型:相加、相乘模型 Ø  新产品预测模型:珀尔曲线与龚铂兹曲线 2、回归分析概念 3、常见回归分析类别 第六部分:聚类分析(客户细分)实战 1、客户细分常用方法 2、聚类分析(Clustering) Ø  聚类方法原理介绍及适用场景 Ø  常用聚类分析算法 Ø  聚类算法的评价 案例:使用SKLearn实现K均值聚类 案例:使用TSNE实现聚类可视化 3、RFM模型分析 Ø  RFM模型,更深入了解你的客户价值 Ø  RFM模型与市场策略 案例:航空公司客户价值分析 第七部分:关联规则分析实战 1、关联规则概述 2、常用关联规则算法 3、时间序列分析 案例:使用apriori库实现关联分析 案例:中医证型关联规则挖掘 第八部分:案例实战(学员主导,老师现场指导) 1、实战1:电商用户行为分析及服务推荐 2、实战2:基于基站定位数据的商圈分析 结束:课程总结与问题答疑。