数据分析培训班

数据分析培训班（9门课程，共40天）

（1）培训背景

随着互联网、云计算、大数据、物联网、人工智能等科技的快速发展，经济发展已经进入全球化时代，企业的命运与国际经济环境紧密联系，如美国的经济危机会波及到全球各个国家与地区和企业，国家和企业已经不是孤立的存在。在经济全球化时代商业环境极其复杂，不仅要考虑国内、国外经济环境，同时还要考虑不同国家的国家政策，不同民族的民族文化，不同宗教的宗教信仰等，更加加深入了商业环境的复杂程度。在极其复杂的国际商业环境中，作为大型企业领导者仅凭经验与智慧无法全面了解与掌控企业、了解国际化的商业环境，因此很难做出正确的企业战略决策，甚至更无法做到企业精细化管理，更不可能做到高效运营，那么，如何突破因商业环境复杂度而导致的企业失控呢？并在复杂的商业竞争环境中脱颖而出并获得最大利润呢？答案是掌握企业数据和掌握国际化数据，并建立高效的数据分析体系，探索数据、挖掘数据高效准确的获取国际化的经济环境状况，洞察市场趋势提前做出有利于企业的战略决策，提高企业竞争力，规避市场风险，数据分析则是提升企业管理水平，实现上述目标的一种行之有效的方法。国际化的竞争就是信息的国际化竞争。
随着大数据、人工智能的快速发展，数据的价值越发突显，并为海量的高并发的数据分析提供了新的工具与可行性，较以往的传统数据分析工具更为有效，甚至传统数据分析工具做不到的，大数据、人工智能都能做到。因此不仅仅企业，社会各个方面也因大数据的价值而提高了对数据的关注程度，也加大了数据分析的投入力度。无论是企业管理、战略决策、精准营销、精细化管理等都无处不体现着数据分析的重要性。
数据如此重要，如何建设一个高效的数据分析体系呢？至少要具备以下两个条件：一是在宏观层面上正确理解数据分析；二是丰富的IT系统建设经验、分布式技术和较强的数据技术能力。第一点尤为重要，因为一旦在思想和认识层面对数据分析体系理解有误，那么即使精通于各种技术方案，所建立起来的也只是一堆技术架构的粗糙堆砌，虽然也能达到部分数据分析的效果，但必定会事倍功半。构建数据分析体系包括四个层面：一是数据基础平台；二是数据报表与可视化；三是精细化业务分析；四是战略分析与决策。如下图为数据分析体系结构图。

那么在数据基础平台建设层面，均采用大数据平台，如Hadoop、Spark等大数据平台，其好处是开源、可控，无需从零开始搭建平台节约成本；也避免了因大数据的多样性、隐私性等特点导致供应无法深入挖掘数据的问题。为什么要自建数据分析平台呢？不能采购吗？答案是不能采购，只能自建！因为数据挖掘一个持续的过程，日常企业经常过程产生的数据、市场数据都是需要分析的，是一个持续不断的工作，不是编写几个算法了事的，所以如果从供应商采购必然会导致分析工作不够深入与不够专业，数据的价值是隐藏在数据中的，需要不断的持续的挖掘才能找的，不是算法和分析工具能做到的。因此企业需要自建数据分析平台，而不采购分析工具。
Hadoop、Spark生态系统是大数据技术事实标准，是大数据思想、理念、机制的具体实现，是整个大数据技术中公认的核心框架和具有极强的使用价值与研究价值。Hadoop 系统是一款开源软件，能够处理海量的各种结构（包括结构化、非结构化、半结构化）的数据。
Hadoop是分布式集群框架，可以管理成百上千台x86服务器集群。基于Hadoop 的解决方案能够帮助企业应对多种大数据挑战，包括：
             1、      分析海量（PB 级或者更多）的数据
Hadoop 能够分析所有数据，使得分析更准确，预测更精确；
             2、      从多个数据类型的组合中获得新的洞察力
将来自多个数据源的不同类型的数据进行结合分析，发现新的数据关系和洞察力；
             3、      存储大量的数据
由于它不依赖于高端硬件，且是可扩展的，所以使存储大量数据变得经济有效；
             4、      数据发现(data discovery)和研究的沙箱
Hadoop 提供了一个地方，数据科学家可在此发现新的数据关系和相互依赖性。
 
工业和信息化部电信研究院于2014年5月发布的“大数据白皮书”中指出：
“2012 年美国联邦政府就在全球率先推出“大数据行动计划（Big data initiative）”，重点在基础技术研究和公共部门应用上加大投入。在该计划支持下，加州大学伯克利分校开发了完整的大数据开源软件平台“伯克利数据分析软件栈（Berkeley Data Analytics Stack），其中的内存计算软件Spark的性能比Hadoop 提高近百倍，对产业界大数据技术走向产生巨大影响”
                                          ----来源：工业和信息化部电信研究院
 

 
Spark是成为替代MapReduce架构的大数据分析技术，Spark的大数据生态体系包括流处理、图技术、机器学习等各个方面，并且已经成为Apache顶级项目，可以预计的是2014年下半年到2015年在社区和商业应用上会有爆发式的增长。

 
国内外一些大型互联网公司已经部署了Spark，并且它的高性能已经得到实践的证明。国外Yahoo已在多个项目中部署Spark，尤其在信息推荐的项目中得到深入的应用；国内的淘宝、爱奇异、优酷土豆、网易、baidu、腾讯等大型互联网企业已经将Spark应用于自己的生产系统中。国内外的应用开始越来越广泛。Spark正在逐渐走向成熟，并在这个领域扮演更加重要的角色。
 

（2）培训目标

本次数据分析技术培训课程，整个课程体系设计完备，思路清晰，学员通过本次课程的系统性学习可以掌握如下技能：
1)    了解数据分析基本概念及产业链，数据分析与大数据等内容；
2)    学会数据的产生、导入与预处理。掌握大数据生成与导入，数据分析流程与建模思想，数据清洗与数据加工等内容；
3)    掌握数据分析与挖掘基础。学习常见数据分析方法与数据挖掘概述，描述型数据分析，常见数据分析与挖掘算法（Kmeans、购物篮、决策树、朴素贝叶斯等）等内容。
4)    学习数据分析工具R语言的数据分析实战。学习R语言入门基础，描述性统计分析， 用R语言做数据挖掘实战等内容。
5)    介绍大数据工具之Hadoop。深入理解Hadoop原理及组件介绍，Hadoop数据分析入门等内容。
6)    介绍大数据工具之Spark。深入剖析Spark基本概念，Spark开发与数据分析等内容。
7)    编写Pyspark集群调度与数据处理程序。使用Python调度spark集群并进行数据处理等内容。
8)    学习大数据可视化技术。包括数据可视化技术概述及培训关键点概述，数据挖掘与可视化工具介绍（SAS、Project、Excel、SPSS、Tableau等），可视化案例分享等内容。
9)    学习Python与数据分析实战。包括Python语言入门，Python网络编程、爬虫与机器学习，Python数据分析案例分享，基于spark集群的python数据分析实战等内容。
 
通过以上的系统学习，学员会建立完整的数据知识体系，使学员正确认识大数据，掌握大数据思维方法，为工作、生活和学习打下坚实的基础，为持续成长提供原动力。下图为本次课程结束后学员获取的完整数据知识体系如下图。

完整数据知识体系

（3）教学计划

本系列课程总共由9门课程组成：

教学设计	NO.	课程名称	课程天数
基础与概述	1	数据分析概述	1天
	2	数据的产生、导入与预处理	5天
数据分析与数据挖掘核心技术讲解及案例实操	3	数据分析与挖掘基础	6天
	4	R语言数据分析实战	6天
大数据技术讲解与编程实操	5	大数据工具介绍之Hadoop	2天
	6	大数据工具介绍之Spark	3天
	7	Pyspark集群调度与数据处理	2天
大数据可视化	8	大数据可视化	2天
Python与数据分析实战	9	Python与数据分析实战	13天

 
         第1-2门课属于基础与概述，包括数据分析基本概念及产业链，数据分析与大数据等内容。大数据生成与导入，数据分析流程与建模思想，数据清洗与数据加工等内容。
         第3-4门课程数据分析与数据挖掘核心技术讲解及案例实操，包括常见数据分析方法与数据挖掘概述，描述型数据分析，常见数据分析与挖掘算法（Kmeans、购物篮、决策树、朴素贝叶斯等）等内容。R语言入门基础，描述性统计分析， 用R语言做数据挖掘实战等内容。。
         第5-7门课程主要大数据技术讲解与编程实操，包括Hadoop原理及组件介绍，Hadoop数据分析入门等内容。Spark基本概念，Spark开发与数据分析等内容。使用Python调度spark集群并进行数据处理等内容。
         第8门是大数据可视化。包括数据可视化技术概述及培训关键点概述，数据挖掘与可视化工具介绍（SAS、Project、Excel、SPSS、Tableau等），可视化案例分享等内容。
         第9门是Python与数据分析实战。包括Python语言入门，Python网络编程、爬虫与机器学习，Python数据分析案例分享，基于spark集群的python数据分析实战等内容。
 

（4）具体课程方案（含课程大纲）

课程1：数据分析概述-1天

【匹配关键知识点】
数据分析基本概念及产业链，数据分析与大数据等内容。
【课程时间】
1天（6小时/天）
【课程简介】
本课程介绍大数据体系构建数据平台，重点内容包括数据平台基础理论、数据集成、数据维度等知识点；本课程让学员掌握基于大数据生态的数据分析知识、大数据生态体系技术选型，能够应用建模技术、大数据技术构建数据平台。
随着大数据时代的快速到来，以及大数据在生产生活中迅速应用，数据分析、数据建模、数据挖掘、机器学习等重要性越发突出，本课程是针对大数据时代的特点，尹老师总结多年数据分析经验，而精心设计的课程，课程内容涵盖了数据领域的数据处理、统计分析、数据挖掘、机器学习等内容的应用范围、发展前景剖析。
【课程收益】
1、数据分析基本概念及产业链等内容；
2、数据分析与大数据等内容；
【课程特点】
数据分析基本概念及产业链，数据分析与大数据等内容
【课程对象】
     数据分析师、技术经理、产品经理、产品助理等
     将承担数据分析师职责的业务人员或信息化人员
     希望加强数据分析能力的软件开发人员
     系统集成企业售前工程师、售前顾问及方案制作人员
【学员基础】
     具有2年以IT部门工作经验，将负责数据分析等相关任务的技术人员
【课程大纲】（1天*6小时）

时间	内容	案例实践与练习
Day1 数据分析概述	1、 数据知识体系 2、 数据仓库诞生的历史背景 3、 大数据时代数据仓库的演变 4、 大数据是一套全新的思维体系 5、 纵向、横向扩容 6、 全量分析 7、 大数据是一套全新的技术体系 8、 大数据思维与传统软件思维的区别 9、 大数据的数据仓库与传统数据仓库的区别 10、 硬件成本、软件技术积累 11、 数据知识体系 12、 数据采集 13、 数据ETL 14、 数据挖掘 15、 数据可视化 16、 商务智能 17、 业务创新应用 18、 大数据生态体系介绍 19、 大数据支撑----云计算 20、 大数据核心----海量数据 21、 大数据灵魂----大数据技术 22、 大数据价值----大数据商业思维 23、 大数据企业应用障碍分析	案例练习：通过大数据企业应用障碍分析案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：大数据企业应用障碍分析

 

课程2：数据的产生、导入与预处理-5天

【匹配关键知识点】
大数据生成与导入，数据分析流程与建模思想，数据清洗与数据加工等内容。
【课程时间】
5天（6小时/天）
 
【课程简介】
随着大数据时代的快速到来，以及大数据在生产生活中迅速应用，大数据领域如雨后春笋般的出现大量的新技术，如Hadoop、Spark等技术，其中Python语言已经成为大数据技术中最为重要的一部分，被越来越多的企业所使用。Python语言的功能涵盖了大数据领域的数据处理、统计分析、数据挖掘、机器学习、人工智能、大数据应用开发等各种不同类型的计算操作，应用范围广泛、前景非常广阔。本课程是尹老师多年工作经验的总结和归纳，从实际业务案例为入口，使学员从理论层到实操层面系统的学习数据处理技术，使学员深入理解Python语言等数据分析工具。通过本课程的学习，学员即可以正确的分析企业的数据，为管理者、决策层提供数据支撑。
【课程收益】
1、大数据生成与导入；
2、数据分析流程与建模思想；
3、数据清洗与数据加工。
【课程特点】
大数据生成与导入，数据分析流程与建模思想，数据清洗与数据加工等内容。
【课程对象】
     数据分析师、技术经理、产品经理、产品助理等
     将承担数据分析师职责的业务人员或信息化人员
     希望加强数据分析能力的软件开发人员
     系统集成企业售前工程师、售前顾问及方案制作人员
【学员基础】
     具有2年以IT部门工作经验，将负责数据分析等相关任务的技术人员
【课程大纲】（5天*6小时）

时间	内容	案例实践与练习
Day1 数据的产生、导入与预处理	1、 数据知识体系 a)      数据采集 b)     数据ETL c)      数据挖掘 d)     数据可视化 e)     商务智能 f)      业务创新应用 2、 数据分析挖掘的过程 3、 建立数据库的方法 4、 企业对数据分析挖掘的错误认识 5、 ETL的设计 6、 ETL的实施 7、 数据源 8、 数据采集 9、 随机抽样 10、 数据去重 11、 数据缺失值处理 12、 检验数据逻辑错误 13、 离群点检测 14、 数据转换 15、 数据分组 16、 课堂实操：数据整理的编程和应用	案例练习：通过数据整理的编程和应用案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：数据整理的编程和应用
Day2 数据清洗与数据加工	1、 ROLAP与多维数据库 2、 OLAP与OLTP的区别 3、 多维数据库与数据仓库的关系 4、 OLAP模型搭建（多维模型） 5、 确定维度、量度与事实的关系 6、 OLAP的应用场景 7、 决策支持技术 8、 企业OLAP模型设计案例剖析 9、 数据模型设计原则与模型搭建 10、 星型架构与雪花型架构 11、 事实表与维度表的设计 12、 逻辑设计与物理设计 13、 数据模型设计的常用方法 14、 数据模型设计技巧总结 15、 数据模型分片 16、 数据模型索引 17、 数据模型粒度 18、 数据模型案例分析	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：数据模型案例分析
Day3 大数据生成与导入	1、 大数据基础理论介绍 2、 大数据的生成与导入 3、 大数据技术 4、 CAP理论 5、 BASE思想 6、 消息机制 7、 分布式协调器 8、 心跳机制 9、 日志结构文件系统 10、 RWN理论 11、 跨操作系统调度资源 12、 大数据企业实践 13、 电商遇到的问题 14、 大型互联网企业遇到的问题 15、 大数据主要解决的问题 16、 实例分享：淘宝双十一 17、 实例分享：腾讯QQ 18、 实例分享：百度文库 19、 实例分享：打车大战 20、 大数据的作用 21、 Pig 设计的目标 22、 Pig Latine介绍 23、 Pig关键性技术 24、 Pig的实用案例 25、 Hive简介 26、 Hive的组件与体系架构 27、 Hive架构 28、 Hive vs RDBMS 29、 Hive的高可用部署方案 30、 Hive Data Types 31、 Hive安装模式 32、 Hive安装部署 33、 Hive Shell 34、 Hive API开发演示 35、 Hive中UDF和UDAF 36、 Hive数据分析 37、 Sqoop简介 38、 Sqoop架构 39、 Sqoop安装 40、 Sqoop Shell 41、 Flume简介及使用 42、 Flume架构 43、 Flume数据源类型 44、 Flume收集数据2种主要工作模式 45、 电商客户日志分析 46、 大型国企大数据应用 47、 大数据架构案例分享及实战演练	案例练习：通过淘宝双十一案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：淘宝双十一
Day4 数据分析流程	1、 数据分析基本概念 2、 数据分析算法 3、 数据分析工具 4、 数据分析流程 5、 数据分析范畴 6、 数据挖掘基本概念 7、 数据挖掘模型 8、 数据挖掘模型评估 9、 数据挖掘目标 10、 数据挖掘数据质量 11、 数据挖掘的9大定律 12、 数据挖掘发展趋势	案例研讨：通过数据挖掘案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：数据挖掘
Day5 数据分析流程与建模思想	1、 定义挖掘目标 2、 数据取样 3、 数据探索 4、 数据预处理 5、 挖掘建模 6、 建立模型 7、 业务理解 8、 模型拟合 9、 训练集 10、 测试集 11、 模型评价 12、 企业实践案例分享	案例练习：通过企业实践案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：企业实践案例分享
Day5 数据的统计学知识和模型	1、 回归分析 2、 贝叶斯算法 3、 聚类算法 4、 SVM 5、 决策树算法 6、 关联规则算法 7、 时间序列算法 8、 神经网络 9、 深度学习 10、 人工智能 11、 其他挖掘算法 12、 以上数据模型的应用案例剖析	案例练习：通过数据模型的应用案例剖析案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：数据模型的应用案例剖析

 

课程3：数据分析与挖掘基础-6天

【匹配关键知识点】
常见数据分析方法与数据挖掘概述，描述型数据分析，常见数据分析与挖掘算法（Kmeans、购物篮、决策树、朴素贝叶斯等）等内容。
【课程时间】
6天（6小时/天）
【课程简介】
随着大数据时代的快速到来，以及大数据在生产生活中迅速应用，数据分析、数据建模、数据挖掘、机器学习、神经网络、深度学习、人工智能等重要性越发突出，本课程是针对大数据时代的特点，尹老师总结多年数据分析经验，而精心设计的课程，课程内容涵盖了数据领域的数据处理、统计分析、数据挖掘、机器学习、神经网络、深度学习、人工智能等内容，以及人工智能的应用范围、发展前景剖析。
【课程收益】
1、常见数据分析方法与数据挖掘概述；
2、描述型数据分析；
3、常见数据分析与挖掘算法（Kmeans、购物篮、决策树、朴素贝叶斯等）等。
【课程特点】
常见数据分析方法与数据挖掘概述，描述型数据分析，常见数据分析与挖掘算法（Kmeans、购物篮、决策树、朴素贝叶斯等）等内容。
【课程对象】
     数据分析师、技术经理、产品经理、产品助理等
     将承担数据分析师职责的业务人员或信息化人员
     希望加强数据分析能力的软件开发人员
     系统集成企业售前工程师、售前顾问及方案制作人员
【学员基础】
     具有2年以IT部门工作经验，将负责数据分析等相关任务的技术人员
【课程大纲】（6天*6小时）

时间	内容	案例实践与练习
Day1 常见数据分析方法与数据挖掘概述	1、 数据分析与建模的概念 2、 数据分析与建模过程 3、 数据分析模型开发过程 4、 数据建模概述 5、 机器学习概念 6、 机器学习算法剖析 7、 算法库分类 8、 算法库 9、 深度学习 10、 神经网络 11、 人工智能 12、 商业智能	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：数据分析的过程
Day2 描述型数据分析	1、 统计学基本概念 2、 统计数据的计量尺度 3、 常用基本统计量 4、 集中趋势的描述指标 5、 离散趋势的描述指标 6、 中心极限定理 7、 大数定律 8、 数据的分布 9、 正态分布的特征 10、 偏度和峰度 11、 检测数据集的分布 12、 数据的分布拟合检验与正态性检验 13、 抽样标准 14、 假设检验 15、 T检验 16、 置信区间	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：描述性数据分析
Day3 常见数据分析与挖掘算法	1、 数据挖掘的基本任务 2、 数据挖掘建模过程 a)      定义挖掘目标 b)     数据取样 c)      数据探索 d)     数据预处理 e)     挖掘建模 f)      建立模型 g)     业务理解 h)     模型拟合 i)       训练集 j)       测试集 k)      模型评价 3、 常用的数学预测模型 a)      线性回归 b)     回归（预测）与分类 c)      决策树与随机森林 d)     聚类分析（kmeans） e)     关联规则 f)      时序模式 g)     离群点检测 h)     深度学习 i)       人工智能 j)       神经网络 4、 案例：如何从数据中挖掘出有价值的信息	案例研讨：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：常用数据分析方法与算法
Day4 朴素贝叶斯与回归分析	第1个主题： 主成分分析和因子分析（深入剖析主成分分析及因子分析） 1、 主成分分析 2、 总体主成分 3、 样本主成分 4、 主成分分析模型 5、 案例：主成分分析模型实现 6、 课堂实操：主成分分析模型实现   第2个主题： 方差分析（深入剖析方差分析方法及实现） 1、 单因素方差分析 2、 单因素方差分析模型 3、 因素效应的显著性检验 4、 因素各水平均值的估计与比较 5、 两因素等重复试验下的方差分析 6、 统计模型 7、 交互效应及因素效应的显著性检验 8、 无交互效应时各因素均值的估计与比较 9、 有交互效应时因素各水平组合上的均值估计与比较 10、 两因素非重复试验下的方差分析 11、 金融案例：方差分析实现 12、 课堂实操：方差分析实现     第3个主题： Bayes统计分析（深入剖析Bayes统计分析） 1、 Baves统计模型 2、 Bayes统计分析的基本思想 3、 Bayes统计模型 4、 Bayes统计推断原则 5、 先验分布的Bayes假设与不变先验分布 6、 共轭先验分布 7、 先验分布中超参数的确定 8、 Baves统计推断 9、 参数的Bayes点估计 10、 Bayes区间估计 11、 Bayes假设检验 12、 案例：实现Bayes统计分析建模 13、 课堂实操：实现Bayes统计分析建模     第4个主题： 数学建模（深入剖析数学建模） 1、 数学建模 2、 数学预测模型 3、 模型评估 4、 模型参数优化   第5个主题： 回归分析与分类分析原理与应用（深入剖析数据的回归分析与分类分析的原理以及应用） 1、 回归与分类 2、 回归分析概念 3、 线性回归模型及其参数估计 4、 一元线性回归 5、 一元线性回归模型 6、 一元线性回归模型求解参数 7、 损失函数 8、 求偏导 9、 回归方程的显著性检验 10、 残差分析 11、 误差项的正态性检验 12、 残差图分析 13、 统计推断与预测 14、 回归模型的选取 15、 穷举法 16、 逐步回归法 17、 岭回归分析 18、 一元线性回归 19、 金融案例：一元线性回归模型检验 20、 多元线性回归概述 21、 多元线性回归模型 22、 金融案例：多元线性回归实现航空业信用打分和评级模型     第6个主题： Logistic回归分析（剖析Logistic回归与其它回归分析方法） 1、 Logistic回归介绍 2、 Logistic函数 3、 Logistic回归模型 4、 案例：SPSS Logistic回归实现 5、 课堂实操： Logistic回归实现航空业欺诈预测模型 6、 课堂实操： Logistic回归实现航空业风险分析模型   第7个主题： 非线性回归原理及应用（剖析非线性回归原理及应用实践） 1、 非线性回归 2、 双曲线函数 3、 幂函数 4、 指数函数 5、 对数函数 6、 S型曲线 7、 案例：非线性回归实现 8、 课堂实操：非线性回归实现航空业经营分析和绩效分析模型	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：主成分分析模型实现
Day5 聚类分析与关联规则挖掘	第1个主题： 数据建模常用距离（深入剖析数据建模过程中常用的距离模型） 1、 数据挖掘常用距离 2、 欧氏距离 3、 曼哈顿距离 4、 切比雪夫距离 5、 闵可夫斯基距离 6、 标准化欧氏距离 7、 马氏距离 8、 夹角余弦 9、 汉明距离 10、 杰卡德距离& 杰卡德相似系数 11、 相关系数& 相关距离 12、 信息熵   第2个主题： 聚类分析与建模实现（深入剖析聚类分析以及通过SPSS聚类算法模型分析数据） 1、 聚类分析 2、 聚类算法 3、 样品间相近性的度量 4、 快速聚类法 5、 快速聚类法的步骤 6、 用Lm距离进行快速聚类 7、 谱系聚类法 8、 类间距离及其递推公式 9、 谱系聚类法的步骤 10、 变量聚类 11、 案例：SPSS聚类实现及绘图 12、 案例：Kmeans应用案例剖析 13、 课堂实操：编写程序实现Kmeans应用案例剖析   第3个主题： 关联规则分析与实现（深入剖析关联规则分析以及通过SPSS关联规则算法模型分析数据） 1、 关联规则 2、 支持度与置信度 3、 关联规则挖掘的过程 4、 Apriori算法 5、 关联规则案例 6、 支持度与置信度计算 7、 案例：SPSS实现关联规则 8、 课堂实操：SPSS实现航空业数据关联规则分析	案例练习：通过编写程序实现Kmeans应用案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：编写程序实现Kmeans应用案例剖析
Day6 决策树与随机森林	第1个主题： 决策树分析与实现（深入剖析决策树分析以及通过SPSS决策树模型分析数据） 1、 决策树分析 2、 决策树 3、 决策树构成要素 4、 决策树算法原理 5、 决策树法的决策过程 6、 决策树算法 7、 案例：实现决策树分析 8、 课堂实操：实现航空业客户细分模型 9、 随机森林     第2个主题： 数据建模时序模式分析与实现（深入剖析时序模式分析） 1、 时序模式 2、 时间序列分析 3、 时间序列分析 4、 时间序列 5、 序列分析的三个阶段 6、 课堂实操：实现航空业客户流失模型	案例练习：通过实现航空业客户细分模型案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：实现航空业客户细分模型

 

课程4：R语言数据分析实战-6天

【匹配关键知识点】
R语言入门基础，描述性统计分析， 用R语言做数据挖掘实战等内容。
【课程时间】
6天（6小时/天）
 
【课程简介】
R语言由新西兰奥克兰大学ross ihaka和robert gentleman 开发。R语言是自由软件，具有非常强大的统计分析和作图功能，而且具有非常丰富的网上资源，目前R软件有3000多种贡献包，几乎可以实现所有的统计方法，目前大部分的顶级统计学家和计量经济学家都使用R语言，而且越来越多的数据分析实务人员也开始使用R语言。学习R软件正成为一种趋势。
R语言具有简单易学，功能强大，体积小（仅30M），完全免费，可自由开发等特点，且R语言和S语言语法基本相同，绝大部分程序是互相兼容的。
R软件最优美的地方是它能够修改很多前人编写的包的代码做各种你所需的事情，实际你是站在巨人的肩膀上。
【课程收益】
1、R语言入门基础；
2、描述性统计分析；
3、用R语言做数据挖掘实战等内容；
【课程特点】
R语言入门基础，描述性统计分析， 用R语言做数据挖掘实战等内容。
【课程对象】
     数据分析师、技术经理、产品经理、产品助理等
     将承担数据分析师职责的业务人员或信息化人员
     希望加强数据分析能力的软件开发人员
     系统集成企业售前工程师、售前顾问及方案制作人员
【学员基础】
     具有2年以IT部门工作经验，将负责数据分析等相关任务的技术人员
【课程大纲】（6天*6小时）

时间	内容	案例实践与练习
Day1 R语言入门基础	第1个主题： R语言简介（介绍R语言工具） 1、 R语言历史与趋势剖析 2、 安装R语言 3、 RStudio使用 4、 工作空间的设置 5、 R程序包的载入与使用 6、 R资源网上查找方法介绍   第2个主题： R语言语法介绍（R语言基础语法介绍） 1、 R语言的数据类型介绍 2、 R语言的数据结构介绍 3、 数据的读入和输出 4、 R语言连接RDBMS数据库介绍 5、 数据库的读/写 6、 R和SQL的交互 7、 循环语句 8、 条件语句 9、 遍历 10、 常用函数 11、 常用算法 12、 定性变量 13、 离散变量 14、 连续变量 15、 多元变量 16、 对向量、矩阵和列表进行运算 17、 提取和插入元素 18、 日期和时间数据的操作处理 19、 编写自定义函数解决复杂问题 20、 编程技巧 21、 编程案例介绍	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：R语言编程
Day2 R语言绘图功能	第1个主题： R语言的绘图功能介绍（R语言的探索性分析与数据可视化） 1、 绘图函数 2、 图形增强函数 3、 图形互动函数 4、 高级绘图命令 5、 散点图 6、 柱状图 7、 直方图 第2个主题： R语言数据预处理（R语言的数据的读取、清洗和转换） 1、 数据预处理 2、 日期和时间的处理 3、 因子变量的操作 4、 下标数据整理技术 5、 字符串操作 6、 数据子集的筛选 7、 识别重复数据和缺失值处理 8、 函数映射数据转换整理技术 9、 变量的重新编码 10、 plyr、reshape2等包整理数据	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：R语言绘图
Day3 R语言与外部数据交互	第1个主题： 数据的读入和输出（R语言的数据的读取、加载和写出） 1、 数据的读入和写出 2、 read.table 3、 scan 4、 内置数据集的读取 第2个主题： R语言连接RDBMS数据库介绍 1、 R语言RDBMS数据库操作 2、 实操：R和MySQL的交互 3、 实操：R和Oracle的交互 4、 数据库的读/写 5、 R和SQL的交互 6、 实操：R和Excel的交互 7、 R语言大数据操作 8、 实操：R编写Spark程序	案例研讨：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：R语言与RDBMS交互
Day4 描述性统计分析	第1个主题： R语言统计模拟与随机抽样（R语言的算法介绍） 1、 随机数生成 2、 蒙特卡洛模拟 3、 中心极限定理的模拟 4、 线性模型剖析 5、 线性模型诊断方法 6、 多元选择模型剖析 7、 随机抽样 8、 案例：蒙特卡罗模拟的应用   第2个主题： 描述统计分析与离群点检测（掌握R语言用法和基本数据分析、数据描述统计分析） 1、 基本数据分析（随机数的生成和统计模拟） 2、 单变量数据分析与作图 3、 双变量数据分析与作图（二维表分析，并列箱线图，相关系数） 4、 多变量数据分析与作图（多变量相关系数矩阵） 5、 离群点检测 6、 案例1：汽车数据描述统计分析 7、 案例2：财政收入与税收描述统计分析	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：描述性统计分析
Day5 用R语言做数据挖掘实战	第1个主题： 基本数据分析（数据分析和数据挖掘基础介绍） 1、 中心极限定理 2、 大数定律 3、 正态分布的特征 4、 偏度和峰度 5、 检测数据集的分布 6、 概率分布 7、 随机数生成 8、 随机抽样 9、 蒙特卡洛模拟 10、 用蒙特卡罗方法计算圆周率π 11、 案例：蒙特卡罗模拟的应用 12、 实操：R语言实现蒙特卡罗求圆周率     第2个主题： 回归与分类（掌握回归算法与实际建模分析应用,回归与分类剖析，R语言实现及预测应用） 1、 回归分析 2、 回归分析概念 3、 线性模型剖析 4、 一元线性回归 5、 一元线性回归模型 6、 一元线性回归模型求解参数 7、 损失函数 8、 求偏导 9、 线性模型评估方法 10、 实操：R语言一元线性回归 11、 实操：R语言一元线性回归模型检验   第3个主题： 多元线性回归（多元线性回归剖析，R语言实现及预测应用） 1、 多元选择模型剖析 2、 多元线性回归思想 3、 实操：R语言实现多元线性回归   第4个主题： 非线性回归（非线性回归剖析，R语言实现及预测应用） 1、 双曲线函数 2、 幂函数 3、 指数函数 4、 对数函数 5、 S 型曲线 6、 实操：R语言非线性回归 7、 逐步回归分析 8、 岭回归分析   第5个主题： Logistic回归（Logistic回归剖析，R语言实现及预测应用） 1、 Logistic函数 2、 绘制Logistic曲线 3、 Logistic回归介绍 4、 案例：用户离网预测 5、 案例：中国税收收入增长案例分析 6、 案例：新教学方法的效果 7、 案例：信用卡违约预测	案例练习：通过用户离网预测案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：用户离网预测
Day6 用R语言文本数据挖掘实战	第1个主题： 文本挖掘应用（介绍文本数据挖掘的实际应用场景） 1、 文本结构分析 2、 文章分类 3、 文章摘要 4、 文章聚类 5、 相似文章推荐 6、 NLP自然语言处理 7、 命名实体识别 8、 案例分析   第2个主题： 文本数据挖掘过程（介绍文本数据挖掘的流程） 1、 文本预处理 2、 文本挖掘 3、 模式与表示 4、 模式评估   第3个主题： 中文分词技术介绍（介绍文本挖掘的基础中文分词技术） 1、 信息检索 2、 倒排索引 3、 文本分词 4、 停用词 5、 词根 6、 主要的分词方法 7、 基于规则的词性标注 8、 自动语义标注 9、 中文分词软件包 10、 R语言中文分词 11、 代码实现中文分词 第4个主题： TF-IDF算法介绍（介绍TF-IDF文章分类算法以及代码实现） 1、 前提假设 2、 文章特征词提取 3、 词频 4、 逆文档频率 5、 文章分类 6、 案例分享：文章分类 7、 模型质量评估 8、 查准率 9、 查全率 10、 模型质量评估案例 11、 TF-IDF的不足 12、 算法改进   第5个主题： 相似文章推荐（通过相似算法向读者推荐文章） 1、 模型表示：特征向量 2、 余弦相似度 3、 相似文章推荐 4、 案例介绍 5、 代码实现	案例练习：通过文章分类案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：文章分类

 

课程5：大数据工具介绍之Hadoop-2天

【匹配关键知识点】
Hadoop原理及组件介绍，Hadoop数据分析入门等内容。
【课程时间】
2天（6小时/天）
【课程简介】
Hadoop生态系统是大数据技术事实标准，是大数据思想、理念、机制的具体实现，是整个大数据技术中公认的核心框架和具有极强的使用价值与研究价值。Hadoop 系统是一款开源软件，能够处理海量的各种结构（包括结构化、非结构化、半结构化）的数据。
【课程收益】
1、Hadoop原理及组件介绍；
2、Hadoop数据分析入门。
【课程特点】
Hadoop原理及组件介绍，Hadoop数据分析入门等内容。
【课程对象】
     数据分析师、技术经理、产品经理、产品助理等
     将承担数据分析师职责的业务人员或信息化人员
     希望加强数据分析能力的软件开发人员
     系统集成企业售前工程师、售前顾问及方案制作人员
【学员基础】
     具有2年以IT部门工作经验，将负责数据分析等相关任务的技术人员
 
【课程大纲】（2天*6小时）

时间	内容	案例实践与练习
Day1 Hadoop原理及组件介绍	第1个主题： Hadoop基本概念（深入理解Hadoop基本概念） 1、 什么是Hadoop 2、 Hadoop由来介绍 3、 Google四篇论文的剖析 a)      GFS、MapReduce、BigTable、Chubby 4、 Hadoop的四大核心组件 5、 Hadoop相关概念 a)      块、副本 6、 什么是大数据 7、 大数据的特征 8、 大数据应用现状 9、 大数据发展趋势 10、 大数据生态体系介绍 11、 大数据优势 12、 大数据的核心技术 13、 大数据与云计算之间的关系剖析 14、 大数据与虚拟化之间的关系剖析 15、 大数据与供应商剖析 16、 大数据与成本投入的关系剖析 17、 Hadoop是大数据架构的事实标准 18、 实例分享：马云预测经济危机案例剖析   第2个主题： Hadoop大数据平台概述（彻底理解Hadoop） 1、 Hadoop是大数据架构的事实标准 2、 Hadoop工作原理及架构 3、 Hadoop生态体系介绍 4、 Hadoop应用现状 5、 Hadoop发展趋势 6、 Hadoop优势 7、 实例分享：双十一亿背后的开源技术   第3个主题： Hadoop分布式集群部署与运维（动手搭建Hadoop集群及运维） 1、 SaltStack 2、 Maven 3、 禁用IPV6 4、 SSH无密码登录 5、 Hadoop HA部署介绍 6、 Hadoop集群部署 7、 Hadoop集群的监控 8、 Hadoop集群的运维   第4个主题： HDFS大数据分布式文件系统（深入理解大数据分布式文件系统的原理与机制） 1、 HDFS架构剖析       2、 NameNode、DataNode、SecondaryNameNode介绍 3、 NodeName高可靠性最佳实践 4、 DataNode中Block划分的原理和具体存储方式 5、 修改Namenode、DataNode数据存储位置 6、 CLI操作HDFS 7、 Java操作HDFS 8、 RESTful操作HDFS 9、 动态修改Hadoop的Replication数目 10、 Hadoop序列化 11、 Hadoop流压缩 12、 Hadoop RPC 13、 SequenceFile与MapFile 14、 Hadoop Avro	案例练习：通过马云预测经济危机案例剖析案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：马云预测经济危机案例剖析
Day2 Hadoop数据分析入门	第1个主题： YARN剖析（深入剖析分布式资源调度器YARN） 1、 YARN介绍 2、 YARN的设计思想 3、 YARN的核心组件 4、 YARN为核心的生态系统 5、 Yarn的HA机制 6、 YARN应用程序编写 7、 ResourceManager深入剖析 8、 ClientRMService与AdminService 9、 NodeManager深入剖析 10、 Container 第2个主题： 分布式计算MapReduce大数据批处理技术（深入理解MapReduce原理及培训开发MapReduce程序能力） 1、 MapReduce算法剖析 2、 MapReduce编程思想 3、 MapReduce常用算法 4、 MapReduce命令操作 5、 wordcount运行过程解析 6、 MapReduce如何将HDFS文件转化为Key-Value供Map解析与处理 7、 Hadoop的调度器介绍 8、 Combiner的使用原则 9、 Partitioner的使用最佳实践 10、 MapReduce排序算法剖析 11、 自定义排序算法 12、 Hadoop内置的分组算法 13、 自定义分组算法 14、 MapReduce常见场景和算法实现 15、 MapReduce新旧API的区别以及如何使用API 16、 MapReduce程序打包并在命令行运行 17、 Hadoop Streaming 18、 动态增加Hadoop的Slave节点   第3个主题： 基于MapReduce编写大数据分析程序（通过对MapReduce的应用深入理解Hadoop分布式计算程序的特征） 1、 大数据分析程序架构剖析 2、 学员动手编写MapReduce程序	案例研讨：通过动手编写MapReduce程序案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：动手编写MapReduce程序

 

课程6：大数据工具介绍之Spark-3天

【匹配关键知识点】
Spark基本概念，Spark开发与数据分析等内容。
【课程时间】
3天（6小时/天）
【课程简介】
Spark是成为替代MapReduce架构的大数据分析技术，Spark的大数据生态体系包括流处理、图技术、机器学习等各个方面，并且已经成为Apache顶级项目，可以预计的是2014年下半年到2015年在社区和商业应用上会有爆发式的增长。

 
国内外一些大型互联网公司已经部署了Spark，并且它的高性能已经得到实践的证明。国外Yahoo已在多个项目中部署Spark，尤其在信息推荐的项目中得到深入的应用；国内的淘宝、爱奇异、优酷土豆、网易、baidu、腾讯等大型互联网企业已经将Spark应用于自己的生产系统中。国内外的应用开始越来越广泛。Spark正在逐渐走向成熟，并在这个领域扮演更加重要的角色。
【课程收益】
1、Spark基本概念；
2、Spark开发；
3、Spark数据分析
【课程特点】
Spark基本概念，Spark开发与数据分析等内容
【课程对象】
     数据分析师、技术经理、产品经理、产品助理等
     将承担数据分析师职责的业务人员或信息化人员
     希望加强数据分析能力的软件开发人员
     系统集成企业售前工程师、售前顾问及方案制作人员
【学员基础】
     具有2年以IT部门工作经验，将负责数据分析等相关任务的技术人员
【课程大纲】（3天*6小时）

时间	内容	案例实践与练习
Day1 Spark基本概念	第1个主题： 大数据内存计算技术介绍（深入理解分布式内存计算框架Spark的实现原理并动手编写Spark程序） 1、 Scala介绍 2、 Mesos介绍 3、 Spark介绍 4、 Spark架构剖析 5、 Spark RDD计算模型解析 6、 Spark开发分析 7、 Spark的执行机制解析 8、 Spark的调试与任务分配 9、 Spark与MapReduce对比分析 10、 Spark的容错机制剖析 11、 Spark集群部署 12、 Spark Shell 13、 构建与运行Spark应用 14、 Spark RDD操作剖析 15、 Shark基于Spark的综合应用 16、 Spark作业测试解析 17、 Spark的性能调优 18、 Spark生态体系剖析 19、 Spark应用现状 20、 Spark应用优势 21、 Spark应用案例 22、 Spark案例解析	案例练习：通过Spark架构使用案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：Spark架构使用
Day2 Spark开发	1、 Scala语言编写Spark程序 2、 Python语言编写Spark程序     第1个主题： Scala语言培训（介绍Scala诞生的背景） 1、 Scala介绍 2、 What is Scala 3、 基于JVM的FP+OO 4、 静态类型 5、 多线程开发 6、 Java兼容 7、 语法简洁 8、 Scala研发环境 9、 Scala安装及环境配置 10、 交互式编程 11、 脚本式编程 12、 编程实战：第一个Scala 程序     第2个主题： 如何学习一门新的语言（剖析学习一门新的语言的技巧与思路） 1、 顺序 2、 分支 3、 循环 4、 对象 5、 类 6、 方法 7、 字段     第3个主题： Scala顺序语法（介绍Scala顺序编程语法） 1、 Scala基本语法 2、 Scala数据类型 3、 Scala变量 4、 标识符的声明与定义 5、 val，常量声明 6、 var，变量声明 7、 类型省略（默认类型） 8、 声明省略（连续声明） 9、 Scala访问修饰符 10、 Scala作用域 11、 Scala运算符 a)      算术运算符 b)     关系运算符 c)      逻辑运算符 d)     位运算符 e)     赋值运算符 12、 Scala关键字 13、 Scala注释 14、 空行和空格 15、 换行符 16、 Scala包 17、 Scala引用 18、 编程实战：顺序编程Scala程序实例   第4个主题： Scala分支语法（介绍Scala分支编程语法） 1、 if语句 2、 if...else语句 3、 if...else if...else语句 4、 if...else嵌套语句 5、 编程实战：分支编程Scala程序实例   第5个主题： Scala循环语法（介绍Scala循环编程语法） 1、 Scala循环 2、 while循环 3、 do...while循环 4、 for循环 5、 编程实战：循环编程Scala程序实例   第6个主题： Scala 函数（介绍Scala函数编程语法） 1、 Scala函数 2、 Scala闭包 3、 Scala函数声明def 4、 无参函数 5、 编程实战：Scala函数编程实例     第7个主题： Spark可访问外部数据源（剖析Spark访问外部数据源） 1、 Spark分布式文件读写 2、 文件系统 3、 HDFS 4、 HBase 5、 Hive 6、 Cassandra 7、 Tachyon 8、 编程实战：Spark操作外部数据源编程实战 9、 Spark实战案例：Spark与HBase整合分析数据   第8个主题： Spark编程技巧分享（分享Spark编程技巧与实践经验） 1、 Spark开发分析 2、 Spark的执行机制解析 3、 Spark运行原理剖析 4、 Spark的调试与任务分配 5、 Spark的性能调优 6、 Spark与MapReduce对比分析 7、 Spark生态体系剖析 8、 Spark监控管理 9、 Spark的容错机制剖析 10、 Spark集群部署 11、 Spark集群部署经验分享 12、 Spark大规模集群运维经验分享 13、 Spark应用现状 14、 Spark应用优势 15、 Spark应用案例	案例研讨：通过Spark操作外部数据源编程实战案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：Spark操作外部数据源编程实战
Day3 Spark大数据分析开发	第1个主题： Spark MLlib机器学习库实战（深入理解Spark MLlib实现原理及开发实战） 1、 Spark MLlib概述 2、 Spark MLlib算法库介绍 3、 Spark MLlib架构剖析 4、 Spark MLlib机器学习算法剖析 5、 数据类型 6、 基本统计算法 7、 分类与回归 8、 协同过滤 9、 聚类 10、 降维 11、 特征提取与转换 12、 频繁模式挖掘 13、 评价指标 14、 Spark MLlib编程 15、 Spark MLlib APIs介绍 16、 Spark MLlib机器学习算法应用实战 17、 Spark MLlib实战案例：数据聚类分析案例剖析	案例练习：通过数据聚类分析案例剖析案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：数据聚类分析案例剖析

 

课程7：Pyspark集群调度与数据处理-2天

【匹配关键知识点】
使用Python调度spark集群并进行数据处理等内容。
【课程时间】
2天（6小时/天）
【课程简介】
Spark是成为替代MapReduce架构的大数据分析技术，Spark的大数据生态体系包括流处理、图技术、机器学习等各个方面，并且已经成为Apache顶级项目，可以预计的是2014年下半年到2015年在社区和商业应用上会有爆发式的增长。

国内外一些大型互联网公司已经部署了Spark，并且它的高性能已经得到实践的证明。国外Yahoo已在多个项目中部署Spark，尤其在信息推荐的项目中得到深入的应用；国内的淘宝、爱奇异、优酷土豆、网易、baidu、腾讯等大型互联网企业已经将Spark应用于自己的生产系统中。国内外的应用开始越来越广泛。Spark正在逐渐走向成熟，并在这个领域扮演更加重要的角色。
【课程收益】
1、使用Python调度spark集群；
2、使用Python进行数据处理。
【课程特点】
使用Python调度spark集群并进行数据处理等内容。
【课程对象】
     数据分析师、技术经理、产品经理、产品助理等
     将承担数据分析师职责的业务人员或信息化人员
     希望加强数据分析能力的软件开发人员
     系统集成企业售前工程师、售前顾问及方案制作人员
 
【学员基础】
     具有2年以IT部门工作经验，将负责数据分析等相关任务的技术人员
【课程大纲】（2天*6小时）

时间	内容	案例实践与练习
Day1 使用Python调度spark集群	第1个主题： PySpark编程基础操作 1、 并行数据集合（Parallelized Collections） 2、 弹性分布式数据集RDD（Resilient Distributed Dataset） 3、 RDDs两种类型操作 4、 actions 5、 transformations 6、 count() 7、 first() 8、 filter() 9、 map() 10、 flatMap() 11、 mapPartitions() 12、 union() 13、 reduce() 14、 collect() 15、 take() 16、 foreach() 17、 saveAsTextFile 18、 Spark缓存cache() 19、 导入Java库 20、 Spark Key-Value操作 21、 reduceByKey 22、 groupByKey 23、 sortByKey 24、 countByKey 25、 join() 26、 repartition() 27、 shuffle操作 28、 RDD持久化操作 29、 spark-submit运行程序 30、 Spark共享变量（Shared Variables） 31、 Broadcast变量（Broadcast Variables） 32、 Accumulators变量 33、 编程实战：Spark基础操作编程实战	案例练习：通过Spark基础操作编程实战案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：Spark基础操作编程实战
Day2 使用Python调度spark进行数据处理	第1个主题： PySpark MLlib机器学习库实战（深入理解PySpark MLlib实现原理及开发实战） 1、 PySpark MLlib概述 2、 PySpark MLlib算法库介绍 3、 PySpark MLlib架构剖析 4、 PySpark MLlib机器学习算法剖析 5、 数据类型 6、 基本统计算法 7、 分类与回归 8、 协同过滤 9、 聚类 10、 降维 11、 特征提取与转换 12、 频繁模式挖掘 13、 评价指标 14、 PySpark MLlib编程 15、 PySpark MLlib APIs介绍 16、 PySpark MLlib机器学习算法应用实战 17、 PySpark MLlib实战案例：数据聚类分析案例剖析   第2个主题： Python大数据编程（深入剖析Python与Spark整合编写大数据程序） 1、 PySpark介绍 2、 Spark介绍 3、 Python创建RDD 4、 PySpark语法介绍 5、 PySpark函数剖析与使用 6、 Python lambda语法介绍 7、 案例：Python编写Spark大数据程序	案例研讨：通过Python编写Spark大数据程序案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：Python编写Spark大数据程序

 

课程8：大数据可视化-2天

【匹配关键知识点】
数据可视化技术概述及培训关键点概述，数据挖掘与可视化工具介绍（SAS、Project、Excel、SPSS、Tableau等），可视化案例分享等内容。
【课程时间】
2天（6小时/天）
【课程简介】
随着互联网、移动智能设备、云计算技术、大数据技术的迅猛发展，使人类产生与获取数据的能力成数量级地增加，面对如此浩瀚的数据海洋，想通过人工分析大数据从而得到大数据中隐含的有价值的模式，几乎是不可能的。因此人们需要借助新的技术挖掘大数据中所蕴含的价值，采用数据可视化技术绝对是一个明智的选择。
随着科学技术的不断发展，大量的由计算机产生的中间数据都需要进行可视化处理，以求达到辅助分析、再现客观事实的目的。通过视觉化呈现数据，可揭示了令人惊奇的模式和观察结果，某些数据是不可能通过简单统计就能显而易见的看到的模式和结论。正如作家、记者和信息设计师David McCandless 在TED 上说道：“通过视觉化，我们把信息变成了一道可用眼睛来探索的风景线，一种信息地图。当你在迷失在信息中时，信息地图非常实用”。由此足见数据可视化的价值。
无论获得信息还是表达信息，最佳方式之一是通过视觉化方式，快速捕捉和展现信息要点与核心要义，这是数据可视化的价值点所在。
数据可视化技术有着广阔的发展和应用空间，越来越受到人们的关注。
【课程收益】
1、数据可视化技术概述及培训关键点概述；
2、数据挖掘与可视化工具介绍；
3、可视化案例分享
【课程特点】
数据可视化技术概述及培训关键点概述，数据挖掘与可视化工具介绍（SAS、Project、Excel、SPSS、Tableau等），可视化案例分享等内容。
【课程对象】
     数据分析师、技术经理、产品经理、产品助理等
     将承担数据分析师职责的业务人员或信息化人员
     希望加强数据分析能力的软件开发人员
     系统集成企业售前工程师、售前顾问及方案制作人员
【学员基础】
     具有2年以IT部门工作经验，将负责数据分析等相关任务的技术人员
【课程大纲】（2天*6小时）

时间	内容	案例实践与练习
Day1 数据可视化技术概述及培训关键点概述	第1个主题： 数据可视化问题剖析（深入大数据时代数据可视化存在的问题） 1、 大数据特征vs数据可视化 2、 传统数据可视化问题剖析 3、 传统数据可视化工具特点剖析   第2个主题： 数据可视化概述（介绍数据可视化工具、特征及基础架构） 1、 数据可视化概念 2、 数据可视化作用 3、 数据可视化目标 4、 数据可视化应用 5、 数据维度和指标 6、 图表产生过程 7、 可视化的表现形式 8、 可视化的显示 9、 可视化的色彩 10、 可视化案例实战：仪表盘制作 11、 标准图表的表现能力 12、 标准图表的选择标准 13、 图表制作原则 14、 可视化案例实战：数据占比柏拉图绘制 15、 可视化的决定性因素 16、 数据可视化技巧 17、 数据化可视化工具 18、 创意性数据可视化 19、 虚拟实现技术 20、 防止过度可视化 21、 一图胜千言 22、 可视化的升华：声音   第3个主题： 可视化的探索性分析和数据挖掘工具（学习可视化数据挖掘工具） 1、 Tableau 2、 Excel 3、 ECharts 4、 QlikView 5、 R语言 6、 Python 7、 SPSS 8、 SAS   第4个主题： 数据可视化图表详解（通过实例讲述数据可视化方法、过程及含义） 1、 散点图 2、 雷达图 3、 条形图 4、 柱形图 5、 饼图 6、 直方图 7、 箱线图 8、 QQ图 9、 柏拉图制作 10、 仪表盘制作 11、 玫瑰图制作 12、 热力图制作 13、 地图制作 14、 文字云制作 15、 案例剖析	案例练习：通过仪表盘制作案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：仪表盘制作
Day2 数据挖掘与可视化工具介绍（SAS、Project、Excel、SPSS、Tableau等），可视化案例分享	第1个主题： Tableau简介 1、 Tableau历史与趋势剖析 2、 Tableau使用 3、 Tableau的数据类型介绍 4、 Tableau的数据结构介绍 5、 Tableau数据的读入和输出 6、 Tableau数据库的读/写 7、 Tableau与Kylin集成 8、 定性变量 9、 离散变量 10、 连续变量 11、 多元变量 12、 日期和时间数据的操作处理   第2个主题： 数据可视化应用场景，具体案例分析 1、 淘宝24小时生活数据可视化案例 2、 无线淘宝数据可视化案例 3、 Google公司数据可视化案例 4、 Facebook用户画像可视化案例 5、 个人用户画像案例   第3个主题： 大数据可视化呈现ECharts实战（通过一个完整的实例讲述使用ECharts数据可视化的过程与方法） 1、 Echarts使用 2、 项目案例 3、 Echarts概述 4、 ECharts特性 5、 ECharts架构图 6、 整合 7、 How to use？ 8、 Step1. 引入模块加载器 9、 Step2. 设置具备大小的Dom 10、 Step3. 配置echarts模块路径 11、 Step4.动态加载echarts 12、 option的使用 13、 Interface 14、 setOption 15、 Option全局属性 16、 title 17、 legend 18、 dataRange 19、 toolbox 20、 dataZoom 21、 grid 22、 xAxis/yAxis/axis 23、 color 24、 数值型 25、 类目型 26、 tooltip.formatter 27、 series 28、 高度个性化 29、 其它参考图形 30、 热力图 31、 社交网络   第4个主题： 分析结果呈现和分析报告撰写 1、 合理的数据呈现 2、 报告分析模板 3、 如何撰写一份优秀的数据分析报告	案例研讨：通过淘宝24小时生活数据可视化案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：淘宝24小时生活数据可视化案例

课程9：Python与数据分析实战-13天

【匹配关键知识点】
Python语言入门，Python网络编程、爬虫与机器学习，Python数据分析案例分享，基于spark集群的python数据分析实战等内容。
【课程时间】
13天（6小时/天）
【课程简介】
随着大数据时代的快速到来，以及大数据在生产生活中迅速应用，大数据领域如雨后春笋般的出现大量的新技术，如Hadoop、Spark等技术，其中Python语言已经成为大数据技术中最为重要的一部分，被越来越多的企业所使用。Python语言的功能涵盖了大数据领域的数据处理、统计分析、数据挖掘、机器学习、人工智能、大数据应用开发等各种不同类型的计算操作，应用范围广泛、前景非常广阔。本课程是尹老师多年工作经验的总结和归纳，从实际业务案例为入口，使学员从理论层到实操层面系统的学习数据处理技术，使学员深入理解Python语言等数据分析工具。通过本课程的学习，学员即可以正确的分析企业的数据，为管理者、决策层提供数据支撑。
【课程收益】
1、Python语言入门；
2、Python网络编程；
3、Python网络爬虫；
4、Python机器学习；
5、Python数据分析案例分享；
6、基于spark集群的python数据分析实战；
【课程特点】
Python语言入门，Python网络编程、爬虫与机器学习，Python数据分析案例分享，基于spark集群的python数据分析实战等内容。
【课程对象】
     数据分析师、技术经理、产品经理、产品助理等
     将承担数据分析师职责的业务人员或信息化人员
     希望加强数据分析能力的软件开发人员
     系统集成企业售前工程师、售前顾问及方案制作人员
【学员基础】
     具有2年以IT部门工作经验，将负责数据分析等相关任务的技术人员
【课程大纲】（13天*6小时）

时间	内容	案例实践与练习
Day1~Day3 Python语言入门	第1个主题： Python语言基础知识（介绍Python语言基础知识，包括Python语言数据类型、基础概念等） 1、 Python语言历史与趋势剖析 2、 Python语言安装 3、 如何运行Python程序 4、 PyCharm开发环境介绍 5、 Anaconda3开发环境介绍（以Anaconda3作为程序演示环境，Python3作为演示语言） 6、 Python语言help()命令 7、 Python基本命令 8、 变量(Variables) 9、 表达式(Expressions) 10、 基本数据类型 11、 字符串与正则表达式 12、 Python条件表达式 13、 循环（loops） 14、 案例实战：正则表达式在爬虫中应用实例 15、 Python数据结构 16、 Python创建数组 17、 Python矩阵运算 18、 Python语言语法结构 19、 案例：Python语言实现运营商数据分析处理 第2个主题： Python函数（深入Python函数的编写语言） 13、 Python函数介绍 14、 数据分析与建模过程 15、 Python语言定义函数规则 16、 Python语言自定义函数 17、 Python匿名函数 18、 Python内置函数 19、 Python函数案例 第3个主题： Python类（class）（深入剖析Python类的原理） 1、 类（class）介绍 2、 Python多重继承 3、 Python不支持函数重载 4、 Class and Instance Variables 5、 Method Objects 6、 Python类编写案例实战 第4个主题： Python异常处理(Exceptions)（深入剖析Python异常处理） 1、 异常处理(Exceptions)简介 2、 Python标准异常类 3、 Python异常类编程案例实战（爬虫实例） 第5个主题： Python模块(Modules)（深入剖析模块(Modules)） 1、 Python模块(Modules)介绍 2、 Python自定义模块 3、 Python模块的导入与添加 4、 Python标准函数库模块 5、 Python第三方模块 第6个主题： Python文件读写（深入剖析Python文件读写） 1、 Python文件读写简介 2、 Python读写方法介绍 3、 Python读写文本文件 4、 Python读写二进制文件 5、 Python读写json文件 6、 Python读写xml文件 第7个主题： Python操作关系型数据库（深入剖析Python操作关系型数据） 1、 Python2安装MySQL Connector 2、 Python3安装MySQL Connector 3、 Python语言操作数据库 4、 Python语言数据库优化 5、 案例：Python语言实现话务数据时间序列建模	案例练习：通过Python语言实现运营商数据分析处理案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：Python语言实现运营商数据分析处理
Day4～Day5 Python网络编程	第1个主题： 多线程编程 (用实战实例介绍如何实现多线程) 1、 Python开发多线程的原理 2、 多线程创建 3、 线程锁 4、 网络应用程序编程 5、 实例：比如生成发送电子邮件 第2个主题： Python网络编程（介绍Python网络编程） 1、 TCP/IP网络介绍 2、 Socket基础知识 3、 Socket客户端服务器连接 4、 案例：聊天功能实战   第3个主题： Python Web开发实战（介绍Python Web实战） 1、 Python Web开发 2、 Django框架介绍 3、 定义和使用模型 4、 Django MVC架构 5、 Django开发环境搭建 6、 Django Session应用 7、 Django框架应用 8、 Django高级应用 9、 案例：客户通话历史记录查询	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：网络编程
Day6~Day7 Python网络爬虫	第1个主题： Python基础知识和网络程序基础知识（介绍Python基础知识和网络程序基础知识） 1、 Python语言简介 2、 Python开发环境搭建和选择 3、 IO编程 4、 进程和多线程基础知识 5、 网络编程和TCP协议 第2个主题： Web前端基础知识（介绍Web前端基础知识） 1、 Web程序的结构 2、 Web前端的内容 3、 HTML 4、 CSS 5、 JavaScript 6、 XPath 7、 Json 8、 HTTP协议标准 9、 HTTP头和主体 10、 Cookie信息 第3个主题： 网络爬虫基础知识（介绍网络爬虫基础知识） 1、 网络爬虫概述 2、 网络爬虫及其应用 3、 网络爬虫结构 4、 HTTP请求的Python实现 5、 urllib2/urllib实现 6、 httplib/urllib实现 7、 更人性化的Requests 第4个主题： HTML解析（HTML解析原理介绍） 1、 初识Firebug 2、 安装和配置Firebug 3、 正则表达式 4、 基本语法与使用 5、 Python中使用正则表达式 6、 BeautifulSoup概述 7、 安装和配置BeautifulSoup 8、 BeautifulSoup的使用 9、 lxml的XPath解析 第5个主题： 基本的爬虫程序开发（介绍基本的爬虫程序开发） 1、 基础爬虫架构及运行流程 2、 URL管理器 3、 HTML下载器 4、 HTML解析器 5、 数据存储器 6、 爬虫调度器 第6个主题： 协议分析（协议分析） 1、 Web端协议分析 2、 网页登录POST分析 3、 隐藏表单分析 4、 加密数据分析 5、 验证码问题 6、 IP代理 7、 Cookie登录 8、 传统验证码识别 9、 人工打码 10、 滑动验证码 11、 PC客户端抓包分析 12、 HTTPAnalyzer简介 13、 虾米音乐PC端API实战分析 14、 App抓包分析 15、 Wireshark简介 16、 酷我听书App端API实战分析 17、 API爬虫：爬取mp3资源信息 第7个主题： Scrapy爬虫框架（介绍Scrapy爬虫框架） 1、 Scrapy爬虫架构 2、 安装Scrapy 3、 创建cnblogs项目 4、 创建爬虫模块 5、 定义Item 6、 翻页功能 7、 构建ItemPipeline 8、 内置数据存储 9、 启动爬虫 10、 强化爬虫 11、 调试方法 12、 异常 13、 控制运行状态 14、 ItemLoader 15、 Item与ItemLoader 16、 输入与输出处理器 17、 ItemLoaderContext? 18、 请求与响应 19、 下载器中间件 20、 Spider中间件 21、 扩展 22、 突破反爬虫	案例研讨：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：网络爬虫的实现
Day8 Python的NumPy模块	1、 NumPy 安装 2、 NumPy Ndarray 对象 3、 NumPy 数据类型 4、 NumPy 数组属性 5、 NumPy 创建数组 6、 NumPy 从已有的数组创建数组 7、 NumPy 从数值范围创建数组 8、 NumPy 切片和索引 9、 NumPy 高级索引 10、 NumPy 广播(Broadcast) 11、 NumPy 迭代数组 12、 Numpy 数组操作 13、 NumPy 位运算 14、 NumPy 字符串函数 15、 NumPy 数学函数 16、 NumPy 算术函数 17、 NumPy 统计函数 18、 NumPy 排序、条件刷选函数 19、 NumPy 字节交换 20、 NumPy 副本和视图 21、 NumPy 矩阵库(Matrix) 22、 NumPy 线性代数 23、 NumPy IO 24、 NumPy Matplotlib	案例练习：通过NumPy的案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：NumPy的数据处理
Day9 Python的Pandas模块	1、 Pandas环境安装配置 2、 Pandas数据结构 3、 Pandas快速入门 4、 Pandas系列 5、 Pandas数据帧（DataFrame） 6、 Pandas面板（Panel） 7、 Pandas基本功能 8、 Pandas描述性统计 9、 Pandas函数应用 10、 Pandas重建索引 11、 Pandas迭代 12、 Pandas排序 13、 Pandas字符串和文本数据 14、 Pandas选项和自定义 15、 Pandas索引和选择数据 16、 Pandas统计函数 17、 Pandas窗口函数 18、 Pandas聚合 19、 Pandas缺失数据 20、 Pandas分组（GroupBy） 21、 Pandas合并/连接 22、 Pandas级联 23、 Pandas日期功能 24、 Pandas时间差（Timedelta） 25、 Pandas分类数据 26、 Pandas可视化 27、 Pandas IO工具 28、 Pandas稀疏数据 29、 Pandas注意事项＆窍门 30、 Pandas与SQL比较	案例练习：通过Pandas使用案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：Pandas的使用方法
Day10 Python机器学习	第1个主题： Python平台下的机器学习开发技术（介绍Python平台下的机器学习开发技术） 31、 Python平台下的数据分析工具 32、 Python平台下的数据分析工具概述 33、 NumPy数据处理 34、 NumPy案例 35、 Scipy数值计算 36、 SymPy符号处理 37、 Matplotlib绘制图表 38、 Pandas数据分析、探索工具 39、 Pandas的DataFrame 40、 DataFrame的构造 41、 StatsModels数据统计建模分析 42、 Scikit-Learn机器学习库 43、 Keras人工神经网络 44、 Keras的设计原则 45、 Gensim文本挖掘库 46、 OpenCV计算机视觉库 47、 案例：Python语言实现基于聚类的图像分割方法	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：Python语言实现基于聚类的图像分割方法
Day11 Python机器学习	第1个主题： 聚类模型原理与实现（深入剖析聚类原理以及通过Python语言实现聚类算法模型） 1、 聚类介绍 2、 聚类算法应用场景 3、 聚类算法应用案例 4、 样品间相近性的度量 5、 快速聚类法 6、 快速聚类法的步骤 7、 用Lm距离进行快速聚类 8、 谱系聚类法 9、 类间距离及其递推公式 10、 谱系聚类法的步骤 11、 变量聚类 12、 K-Means(K均值)聚类 13、 均值漂移聚类 14、 基于密度的聚类方法(DBSCAN) 15、 用高斯混合模型（GMM）的最大期望（EM）聚类 16、 凝聚层次聚类 17、 图团体检测(Graph Community Detection) 18、 案例：Python语言聚类实现及绘图 19、 案例：Kmeans应用案例剖析 20、 课堂实操：Python语言实现基于聚类的图像分割方法 第2个主题： 决策树模型原理与实现（深入剖析决策树原理以及通过Python语言实现决策树模型） 1、 决策树介绍 2、 决策树应用场景 3、 决策树应用案例 4、 信息熵 5、 ID3算法 6、 C4.5算法 7、 CART算法 8、 决策树算法 9、 剪枝 10、 过拟合与调参 11、 决策树算法原理 12、 决策树法的决策过程 13、 案例：Python语言实现决策树模型 14、 课堂实操：Python语言实现决策树模型 15、 随机森林	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：Python语言实现基于聚类的图像分割方法
Day12 Python数据分析案例分享	第1个主题： 随机森林模型原理与实现（深入剖析随机森林原理以及通过Python语言实现随机森林模型） 1、 随机森林介绍 2、 随机森林的特点 3、 随机森林的相关基础知识 4、 信息、熵以及信息增益的概念 5、 随机森林的生成 6、 随机森林算法 7、 随机森林算法原理 8、 袋外错误率（oob error） 9、 随机森林应用场景 10、 随机森林应用案例 11、 案例：Python语言实现随机森林模型 12、 课堂实操：Python语言实现随机森林模型 13、 xgboost 第2个主题： 支持向量机模型原理与实现（深入剖析支持向量机算法原理以及通过Python语言实现支持向量机模型） 1、 支持向量机介绍 2、 支持向量机应用场景 3、 支持向量机应用案例 4、 支持向量机算法 5、 支持向量机算法原理 6、 线性可分支持向量机 7、 间隔最大化和支持向量 8、 对偶问题求解 9、 柆格朗日函数 10、 非线性支持向量机和核函数 a)      超平面 b)     线性核 c)      多项式核 d)     高斯核 e)     拉普拉斯核 f)      sigmiod核 11、 线性支持向量机（软间隔支持向量机）与松弛变量 12、 松驰因子 13、 案例：Python语言实现支持向量机模型 14、 课堂实操：Python语言实现基于SVM的字符识别方法 第3个主题： 神经网络模型原理与实现（深入剖析神经网络算法原理以及通过Python语言实现神经网络模型） 1、 神经网络介绍 2、 神经网络概念 3、 神经网络发展历史 4、 神经网络的别名 5、 神经网络研究的主要内容 6、 神经网络基本构成 7、 神经网络模拟人的智能行为的四个方面 8、 神经网络的特点 9、 学习能力 10、 适应性问题 11、 神经网络基本网络模型 12、 单层网络 13、 多层网络 14、 循环网络 15、 基本网络结构特点 16、 典型训练算法 17、 运行方式 18、 典型问题解决方法 19、 感知机 20、 线性神经网络 21、 BP神经网络 22、 RBF网络 23、 竞争网络 24、 反馈神经网络 25、 随机神经网络 26、 遗传算法 27、 PSO与神经网络优化 28、 自定义深度神经网络结构 29、 深度神经网络的优化方法 30、 深度框架的损失函数 31、 课堂实操：Python语言实现基于神经网络的人脸识别方法	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：Python语言实现基于神经网络的人脸识别方法
Day13 基于spark集群的python数据分析实战	第1个主题： 基于Spark集群的Python的数据分析实战 1、 基于Python开发Spark 程序概述 2、 基于Python开发Spark 程序算法库介绍 3、 基于Python开发Spark 程序架构剖析 4、 基于Python开发Spark 程序机器学习算法剖析 5、 数据类型 6、 基本统计算法 7、 分类与回归 8、 协同过滤 9、 聚类 10、 降维 11、 特征提取与转换 12、 频繁模式挖掘 13、 评价指标 14、 基于Python开发Spark 程序编程 15、 基于Python开发Spark 程序APIs介绍 16、 基于Python开发Spark 程序机器学习算法应用实战 17、 基于Python开发Spark 程序实战案例：数据聚类分析案例剖析	案例练习：通过基于Python开发Spark 程序实战案例：数据聚类分析案例剖析，剖析数据分析过程，体会数据分析的难点和要点。   研讨：数据聚类分析案例

 
 

（5）教学实验

数据分析概述：
1、大数据企业应用障碍分析
 
数据的产生、导入与预处理：
案例练习：通过数据整理的编程和应用案例的剖析数据分析过程，体会数据分析的难点和要点。
案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。
案例练习：通过淘宝双十一案例的剖析数据分析过程，体会数据分析的难点和要点。
案例研讨：通过数据挖掘案例的剖析数据分析过程，体会数据分析的难点和要点。
研讨：数据挖掘
案例练习：通过企业实践案例的剖析数据分析过程，体会数据分析的难点和要点。
研讨：企业实践案例分享
案例练习：通过数据模型的应用案例剖析案例的剖析数据分析过程，体会数据分析的难点和要点。
研讨：数据模型的应用案例剖析
 
数据分析与挖掘基础：
1、课堂实操：数据整理的编程和应用
2、企业OLAP模型设计案例剖析
3、实例分享：淘宝双十一
4、实例分享：腾讯QQ
5、实例分享：百度文库
6、实例分享：打车大战
7、实验：Pig的实用案例
8、实验：Hive安装部署
9、实验：Sqoop安装
10、实验：Sqoop Shell
11、实验：FLume大数据架构案例分享及实战演练
12、实验：企业实践案例分享
 
R语言数据分析实战：
1、实验：安装R语言
2、实验：R语言编程案例
3、实验：R语言的绘图功能
4、实操：R和MySQL的交互
5、实操：R和Oracle的交互
6、实操：R和Excel的交互
7、案例：蒙特卡罗模拟的应用
8、案例1：汽车数据描述统计分析
9、案例2：财政收入与税收描述统计分析
10、案例：蒙特卡罗模拟的应用
11、实操：R语言实现蒙特卡罗求圆周率
12、实操：R语言一元线性回归模型检验
13、实操：R语言实现多元线性回归
14、实操：R语言非线性回归
15、案例：用户离网预测
16、案例：中国税收收入增长案例分析
17、案例：新教学方法的效果
18、案例：信用卡违约预测
19、案例分享：文章分类
 
 
大数据工具介绍之Hadoop：
1、实例分享：马云预测经济危机案例剖析
2、实例分享：双十一亿背后的开源技术
3、实验：Hadoop集群部署
4、实验：CLI操作HDFS
5、实验：Java操作HDFS
6、实验：MapReduce命令操作
7、实验：MapReduce程序打包并在命令行运行
8、实验：动手编写MapReduce程序
 
大数据工具介绍之Spark：
1、编程实战：第一个Scala 程序
2、编程实战：编程Scala程序实例
3、编程实战：Scala函数编程实例
4、编程实战：Scala语言复杂数据类型编程实战
5、编程实战：用SBT对Scala项目打包与发布
6、实验：Spark集群部署
7、实验：Scala编写Spark程序
8、实验：Python编写Spark程序
9、实验：Spark Shell
10、编程实战：Spark基础操作编程实战
11、企业级案例：Spark Streaming与Kafka整合实现数据实时数据分析处理设计与分析
 
 
Pyspark集群调度与数据处理：
1、编程实战：Spark基础操作编程实战
2、PySpark MLlib实战案例：数据聚类分析案例剖析
3、案例：Python编写Spark大数据程序
 
大数据可视化：
1、可视化案例实战：数据占比柏拉图绘制
2、可视化案例实战：仪表盘制作
3、实验：柏拉图制作
4、实验：仪表盘制作
5、实验：玫瑰图制作
6、实验：热力图制作
7、实验：地图制作
8、实验：文字云制作
9、淘宝24小时生活数据可视化案例
10、无线淘宝数据可视化案例
11、Google公司数据可视化案例
12、Facebook用户画像可视化案例
13、个人用户画像案例
14、如何撰写一份优秀的数据分析报告
 
Python与数据分析实战：
1、案例实战：正则表达式在爬虫中应用实例
2、案例：Python语言实现运营商数据分析处理
3、实验：Python语言自定义函数
4、案例：Python语言实现蒙特卡罗求圆周率
5、课堂实操：数据整理的编程和应用
6、案例：Python语言实现购物蓝关联规则分析
7、课堂实操：Python语言实现随机森林模型
8、课堂实操：Python语言实现金融数据时间序列建模
9、课堂实操：基于余弦相似度的精准营销
10、案例分享：文章分类
11、案例：Python编写Spark大数据程序
 

大庆油田技术研究院高级内训讲师
（原）中兴通讯学院高级讲师；
北大计算机、北邮通信双学位
15年嵌入式硬件、软件开发和系统架构设计总监
有8年多的“云大智物”开发及实施经验。曾供职于巨龙通信、大唐电信，PHILIPS三星联合研发中心等

【工作经历】
长期从事智慧家居、智慧养老、物联网应用、移动互联网应用研发工作，曾负责北京市科委，大庆油田数据化等多个重点项目，发表相关论文多篇，授权及申请物联网方面的专利10多个。目前主要从事智慧家居、智慧养老、车联网、交通物流、物联网应用平台以及相关应用方面的研究，实战派资深讲师。
兰州交大成教学院等高校特聘技术类讲师；，参与了我国自主通信标准TD-SCDMA的标准编写工作，是最早一批参与TD-SCDMA研究的技术人员；历任高级软件开发工程师，系统架构师，物联网架构师，嵌入式开发主管等职位，目前是教授级高工，已进入北京市、深圳市专家库名录，深圳市物联网协会资深专家。

【培训特点】
理论基础深厚，逻辑思维能力强，拥有丰富的企业授课经验，对企业员工培养具有深刻认识。授课过程中，紧密结合成人教育特点，灵活运用丰富案例，善于以点带面，启发思维。授课风格互动性和实操性很强，注重讲师与学员之间的互动性，使得课堂氛围轻松愉快，倡导分享和共同进步，深受到学员的欢迎。