云计算与大数据处理技术

讲师资历

课程目标

课程大纲

培训目标1，深入理解通过云计算实现海量数据处理的思想、方法与实践。2，理解安全性和可用性设计的问题、方法与实践。3，掌握把传统数据中心改造成云计算中心的技术与方法。4，掌握虚拟化技术的核心技术方法以及应用特征。培训受众:1，系统架构师、系统分析师、高级程序员、资深开发人员。2，牵涉到海量数据处理的机构数据中心运行、规划、设计负责人。3，云服务运营服务提供商规划负责人。4，高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。课程收益:1，深入理解通过云计算实现海量数据处理的思想、方法与实践。2，理解安全性和可用性设计的问题、方法与实践。3，掌握把传统数据中心改造成云计算中心的技术与方法。4，掌握虚拟化技术的核心技术方法以及应用特征。课程大纲:第一讲 云计算的概念与现状1）云计算的概念2）云计算发展现状3）云计算实现机制4）云计算的发展环境5）云计算的优势第二讲 从Google云计算体系，理解海量数据处理的方法1）如何构建海量存储文件系统？GFS系统架构GFS容错机制GFS系统管理技术MapReduce产生背景MapReduce编程模型MapReduce实现机制MapReduce案例分析2）如何提供锁服务解决分布式数据一致性问题？Chubby的设计思路Chubby中的Paxos算法Chubby文件系统3）如何建立规模庞大的高性能表结构？BigTable设计目标BigTable系统架构BigTable服务器BigTable性能优化4）如何建立高可用性和高可扩展性的数据系统？Megastore设计目标Megastore数据模型Megastore事务及并发控制Megastore基本架构Dapper监控系统Dapper关键性技术Dapper工具第三讲 从Hadoop云计算项目，进一步研究云数据处理方法1）HDFS：高可靠性处理机制及应用Hadoop项目简介HDFS体系结构HDFS关键运行机制Hadoop vs GoogleHadoop APIHadoop环境搭建2）Hadoop：庞大、极其稀疏的可扩展性数据模型Hadoop简介Hadoop的运行机制Hadoop与 HDFSHadoop的对外接口ZooKeeper的数据模型ZooKeeper的读写机制ZooKeeper的使用方法第四讲 从Windows Azure，理解平台即服务的本质1）微软云计算平台2）微软云操作系统Windows Azure3）微软云关系数据库SQL Azure4）Azure AppFabric5）Azure Marketplace第五讲 从Amazon云计算，讨论如何提供云服务1）Dynamo基础存储架构2）弹性计算云EC23）简单存储服务S34）简单队列服务SQS5）简单数据库服务Simple DB6）关系数据库服务RDS7）内容推送服务CloudFront第六讲 实施云计算的关键点：安全策略1）云计算安全是一个必须前期重视的策略2）云计算的特征与安全挑战3）云计算的安全体系与关键技术4）基础架构云安全框架5）云计算安全平台第七讲 当前数据中心如何向云计算环境转变1）VMware云产品2）云管理平台 vCenter3）vCloud Service Director4）VMware的网络和存储虚拟化5）主流商业云计算解决方案比较6）主流开源云计算系统比较7）国内代表性云计算平台比较第八讲 基础设施即服务（IaaS）关键实现技术1）IaaS技术体系概述2）服务器虚拟化技术CPU虚拟化内存虚拟化I/O虚拟化3）存储虚拟化技术存储系统概述存储设备层的存储虚拟化块聚合层的存储虚拟化文件/记录层的存储虚拟化4）主机网络虚拟化第九讲 软件即服务（SaaS）关键实现技术1）SaaS技术概述2）呈现层技术综述3）调度层技术基于DNS的调度基于虚拟IP的调度基于链路聚合的调度基于应用的调度调度策略4）业务层5）数据层6）用户管理和配置管理7）用户体验的设计8）课程总结