培训时长 | 5天 |
授课对象 | |
授课方式 | 内训 |
课时一:概念综述1、大数据的定义由来和原因2、大数据的6V特征3、从数据库,数据仓库到大数据4、大数据相关技术和处理课时二:Hadoop生态圈、spark生态圈、搜索引擎概述1、hadoop:HDFS、Map-Reduce、Hbase、Hive等2、spark:scala、spark-SQL、spark-Streaming等3、搜索引擎:lucene(solr)、ES4、并发的机器学习工具:R-hadoop、spark-MLLIB、spark-R、pyspark课时三:存储在hbase中的数据1、NoSQL(key-value)2、Hbase:安装3、行键与列簇4、如何利用Hbase的特点存储数据5、应用程序如何访问Hbase中的数据6、数据迁移:sqoop7、Hbase的应用场景课时四:Hive:为用SQL的开发者留的活路1、Hive:安装(单用户与多用户)2、Hive:基本操作3、Hive:与典型的关系型数据库的区别4、如果“想慢”,你可以这样…(不恰当使用hive的案例介绍)5、Hive的应用场景课时五:Spark各组件在卫生领域的应用1、Hadoop最大的特点是什么?2、Spark概述与安装3、Scala:你可以一直“点”下去4、RDD:“映射”、“转换”解决一切5、spark-SQL6、spark-streaming7、spark的其他组件8、应用场景课时六:机器学习算法介绍—I1、综述(人工智能、数据挖掘、机器学习、机器智能、大数据:这些词的确切含义)2、监督学习、无监督学习与强化学习3、工具:R、Python等4、决策树详解(熵、贪心法、连续的和离散的)5、神经网络详解(神经元、激励函数、前馈神经网络的BP算法,其他神经网络)课时七:机器学习算法介绍—II1、关联规则详解(频繁项集、Apriori、支持度、置信度)2、聚类详解(k-means、k-medoid)3、常见算法的简述(Naïve-Bayes、k-NN、HMM、SVM等)