数据分析培训班

数据分析培训班（6门课程，共18天）

（1）培训背景

随着互联网、云计算、大数据、物联网、人工智能等科技的快速发展，经济发展已经进入全球化时代，企业的命运与国际经济环境紧密联系，如美国的经济危机会波及到全球各个国家与地区和企业，国家和企业已经不是孤立的存在。在经济全球化时代商业环境极其复杂，不仅要考虑国内、国外经济环境，同时还要考虑不同国家的国家政策，不同民族的民族文化，不同宗教的宗教信仰等，更加加深入了商业环境的复杂程度。在极其复杂的国际商业环境中，作为大型企业领导者仅凭经验与智慧无法全面了解与掌控企业、了解国际化的商业环境，因此很难做出正确的企业战略决策，甚至更无法做到企业精细化管理，更不可能做到高效运营，那么，如何突破因商业环境复杂度而导致的企业失控呢？并在复杂的商业竞争环境中脱颖而出并获得最大利润呢？答案是掌握企业数据和掌握国际化数据，并建立高效的数据分析体系，探索数据、挖掘数据高效准确的获取国际化的经济环境状况，洞察市场趋势提前做出有利于企业的战略决策，提高企业竞争力，规避市场风险，数据分析则是提升企业管理水平，实现上述目标的一种行之有效的方法。国际化的竞争就是信息的国际化竞争。
随着大数据、人工智能的快速发展，数据的价值越发突显，并为海量的高并发的数据分析提供了新的工具与可行性，较以往的传统数据分析工具更为有效，甚至传统数据分析工具做不到的，大数据、人工智能都能做到。因此不仅仅企业，社会各个方面也因大数据的价值而提高了对数据的关注程度，也加大了数据分析的投入力度。无论是企业管理、战略决策、精准营销、精细化管理等都无处不体现着数据分析的重要性。
数据如此重要，如何建设一个高效的数据分析体系呢？至少要具备以下两个条件：一是在宏观层面上正确理解数据分析；二是丰富的IT系统建设经验、分布式技术和较强的数据技术能力。第一点尤为重要，因为一旦在思想和认识层面对数据分析体系理解有误，那么即使精通于各种技术方案，所建立起来的也只是一堆技术架构的粗糙堆砌，虽然也能达到部分数据分析的效果，但必定会事倍功半。

（2）培训目标

本次数据分析技术培训课程，整个课程体系设计完备，思路清晰，学员通过本次课程的系统性学习可以掌握如下技能：
1)    了解数据分析的基础知识及基本理论；
2)    结合Python语言学会数据的产生、导入与预处理。掌握大数据生成与导入，数据分析流程与建模思想，数据清洗与数据加工等内容；
3)    结合Python语言掌握数据分析与挖掘基础。学习常见数据分析方法与数据挖掘概述，描述型数据分析。
4)    学习数据分析工具Python语言的数据分析实战。
5)    掌握结构化数据工具SQL的应用及相关知识。
6)    学习大数据可视化技术。包括数据可视化技术概述及培训关键点概述，数据挖掘与可视化工具介绍（Excel、SPSS、Tableau等），可视化案例分享等内容。
7)    学习Python与数据分析实战。包括Python语言入门，Python网络编程、爬虫与机器学习，Python数据分析案例分享等内容。

（3）教学计划

本系列课程总共由6门课程组成：

教学设计	NO.	课程名称	课程天数
基础理论	1	概率论与数理统计	1天
SQL语法基础及进阶	2	数据分析与挖掘基础	2天
Python入门	3	Python环境准备及相关数据分析库（pandas、numpy、matplotlib、scipy）的安装及应用	2天
	4	Python语言基础知识	1天
	5	正则表达式及Python编程	1天
Python与数据分析实战	6	数据采集	1天
	7	数据分析	4天
	8	爬虫技术与实践	4天
数据可视化	9	大数据可视化	2天

 

（4）具体课程方案（含课程大纲）

课程1：概率论与数理统计-1天

【匹配关键知识点】
课程目标1：建立必要的概率论与数理统计基本知识素养，掌握探索随机现象统计规律的一般方法。
课程目标2：掌握概率论与数理统计的基本概念、基本理论、基本方法和运算技能。包括概率论的基本概念、随机变量、多维随机变量、随机变量的数字特征、数理统计的基本概念、参数估计等相关知识。熟悉数据处理、数据分析、数据推断的各种基本方法。
课程目标3：掌握处理随机现象的基本思想和方法，培养抽象概括、推理论证、严密的逻辑思维能力，以及使用概率论与数理统计的方法去分析和解决有关实际问题的能力。
【课程时间】
1天（8小时/天）
【课程简介】
通过本课程的学习，应掌握概率论与数理统计的基本概念，了解它的基本理论和方法，从而使学生初步掌握处理随机现象的基本思想和方法，培养学生运用概率统计方法分析和解决实际问题的能力，并且在知识传授的同时起到价值引领的作用，积极培育和践行社会主义核心价值观，培养学生科学、严谨的思维能力。
 
【课程特点】
教学中以课堂讲授为主，以讨论为辅。采用启发式教学法，适当运用讨论式教学法。融入联系应用的案例式教学法，并倡导利用结合软件技术解决实际问题的实验式教学法。恰当使用多媒体教学与传统教学相结合的教学手段，充分运用教师对学生讲授与学生间自由讨论相结合、传统解题训练与开放型问题探索相结合、以及实体课堂面对面交流与虚拟课堂数字信息交流相结合的交互式教学手段，合理利用网络资源实施开放性教学手段，采用规范统考与多样化考查相结合的考核手段。
【课程大纲】（1天*8小时）

时间	内容	案例实践与练习
Day1 数据分析概述	1面向小白的统计学：描述性统计（均值，中位数，众数，方差，标准差，与常见的统计图表） 2概率的基本概念(方差、分位数、随机试验、样本空间、事件、频率、概率、排列组合)，古典概型 3条件概率与贝叶斯公式，独立性 4微积分：随机变量及其分布（二项分布，均匀分布，正态分布） 5多维随机变量及其分布 6随机变量的期望，方差与协方差 7大数定律、中心极限定理与抽样分布 8从抽样推测规律之一：点估计与区间估计 9从抽样推测规律之二：参数估计 10基于正态总体的假设检验 11秩和检验 12预测未来的技术：回归分析 13时间序列分析	案例练习：   研讨：

 

课程3：数据分析与挖掘基础-6天

【匹配关键知识点】
常见数据分析方法与数据挖掘概述，描述型数据分析，常见数据分析与挖掘算法（Kmeans、购物篮、决策树、朴素贝叶斯等）等内容。
【课程时间】
6天（8小时/天）
【课程简介】
随着大数据时代的快速到来，以及大数据在生产生活中迅速应用，数据分析、数据建模、数据挖掘、机器学习、神经网络、深度学习、人工智能等重要性越发突出，本课程是针对大数据时代的特点，尹老师总结多年数据分析经验，而精心设计的课程，课程内容涵盖了数据领域的数据处理、统计分析、数据挖掘、机器学习、神经网络、深度学习、人工智能等内容，以及人工智能的应用范围、发展前景剖析。
【课程收益】
1、常见数据分析方法与数据挖掘概述；
2、描述型数据分析；
3、常见数据分析与挖掘算法（Kmeans、购物篮、决策树、朴素贝叶斯等）等。
【课程特点】
常见数据分析方法与数据挖掘概述，描述型数据分析，常见数据分析与挖掘算法（Kmeans、购物篮、决策树、朴素贝叶斯等）等内容。
【课程对象】
     数据分析师、技术经理、产品经理、产品助理等
     将承担数据分析师职责的业务人员或信息化人员
     希望加强数据分析能力的软件开发人员
     系统集成企业售前工程师、售前顾问及方案制作人员
【学员基础】
     具有2年以IT部门工作经验，将负责数据分析等相关任务的技术人员
【课程大纲】（6天*8小时）

时间	内容	案例实践与练习
Day1 常见数据分析方法与数据挖掘概述	1、 数据分析与建模的概念 2、 数据分析与建模过程 3、 数据分析模型开发过程 4、 数据建模概述 5、 机器学习概念 6、 机器学习算法剖析 7、 算法库分类 8、 算法库 9、 深度学习 10、 神经网络 11、 人工智能 12、 商业智能	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：数据分析的过程
Day2 描述型数据分析	1、 统计学基本概念 2、 统计数据的计量尺度 3、 常用基本统计量 4、 集中趋势的描述指标 5、 离散趋势的描述指标 6、 中心极限定理 7、 大数定律 8、 数据的分布 9、 正态分布的特征 10、 偏度和峰度 11、 检测数据集的分布 12、 数据的分布拟合检验与正态性检验 13、 抽样标准 14、 假设检验 15、 T检验 16、 置信区间	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：描述性数据分析
Day3 常见数据分析与挖掘算法	1、 数据挖掘的基本任务 2、 数据挖掘建模过程 a)      定义挖掘目标 b)     数据取样 c)      数据探索 d)     数据预处理 e)     挖掘建模 f)      建立模型 g)     业务理解 h)     模型拟合 i)       训练集 j)       测试集 k)      模型评价 3、 常用的数学预测模型 a)      线性回归 b)     回归（预测）与分类 c)      决策树与随机森林 d)     聚类分析（kmeans） e)     关联规则 f)      时序模式 g)     离群点检测 h)     深度学习 i)       人工智能 j)       神经网络 4、 案例：如何从数据中挖掘出有价值的信息	案例研讨：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：常用数据分析方法与算法
Day4 朴素贝叶斯与回归分析	第1个主题： 主成分分析和因子分析（深入剖析主成分分析及因子分析） 1、 主成分分析 2、 总体主成分 3、 样本主成分 4、 主成分分析模型 5、 案例：主成分分析模型实现 6、 课堂实操：主成分分析模型实现   第2个主题： 方差分析（深入剖析方差分析方法及实现） 1、 单因素方差分析 2、 单因素方差分析模型 3、 因素效应的显著性检验 4、 因素各水平均值的估计与比较 5、 两因素等重复试验下的方差分析 6、 统计模型 7、 交互效应及因素效应的显著性检验 8、 无交互效应时各因素均值的估计与比较 9、 有交互效应时因素各水平组合上的均值估计与比较 10、 两因素非重复试验下的方差分析 11、 金融案例：方差分析实现 12、 课堂实操：方差分析实现 第3个主题： Bayes统计分析（深入剖析Bayes统计分析） 1、 Baves统计模型 2、 Bayes统计分析的基本思想 3、 Bayes统计模型 4、 Bayes统计推断原则 5、 先验分布的Bayes假设与不变先验分布 6、 共轭先验分布 7、 先验分布中超参数的确定 8、 Baves统计推断 9、 参数的Bayes点估计 10、 Bayes区间估计 11、 Bayes假设检验 12、 案例：实现Bayes统计分析建模 13、 课堂实操：实现Bayes统计分析建模   第4个主题： 数学建模（深入剖析数学建模） 1、 数学建模 2、 数学预测模型 3、 模型评估 4、 模型参数优化   第5个主题： 回归分析与分类分析原理与应用（深入剖析数据的回归分析与分类分析的原理以及应用） 1、 回归与分类 2、 回归分析概念 3、 线性回归模型及其参数估计 4、 一元线性回归 5、 一元线性回归模型 6、 一元线性回归模型求解参数 7、 损失函数 8、 求偏导 9、 回归方程的显著性检验 10、 残差分析 11、 误差项的正态性检验 12、 残差图分析 13、 统计推断与预测 14、 回归模型的选取 15、 穷举法 16、 逐步回归法 17、 岭回归分析 18、 一元线性回归 19、 金融案例：一元线性回归模型检验 20、 多元线性回归概述 21、 多元线性回归模型 22、 金融案例：多元线性回归实现航空业信用打分和评级模型   第6个主题： Logistic回归分析（剖析Logistic回归与其它回归分析方法） 1、 Logistic回归介绍 2、 Logistic函数 3、 Logistic回归模型 4、 案例：SPSS Logistic回归实现 5、 课堂实操： Logistic回归实现航空业欺诈预测模型 6、 课堂实操： Logistic回归实现航空业风险分析模型   第7个主题： 非线性回归原理及应用（剖析非线性回归原理及应用实践） 1、 非线性回归 2、 双曲线函数 3、 幂函数 4、 指数函数 5、 对数函数 6、 S型曲线 7、 案例：非线性回归实现 8、 课堂实操：非线性回归实现航空业经营分析和绩效分析模型	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：主成分分析模型实现
Day5 聚类分析与关联规则挖掘	第1个主题： 数据建模常用距离（深入剖析数据建模过程中常用的距离模型） 1、 数据挖掘常用距离 2、 欧氏距离 3、 曼哈顿距离 4、 切比雪夫距离 5、 闵可夫斯基距离 6、 标准化欧氏距离 7、 马氏距离 8、 夹角余弦 9、 汉明距离 10、 杰卡德距离& 杰卡德相似系数 11、 相关系数& 相关距离 12、 信息熵   第2个主题： 聚类分析与建模实现（深入剖析聚类分析以及通过SPSS聚类算法模型分析数据） 1、 聚类分析 2、 聚类算法 3、 样品间相近性的度量 4、 快速聚类法 5、 快速聚类法的步骤 6、 用Lm距离进行快速聚类 7、 谱系聚类法 8、 类间距离及其递推公式 9、 谱系聚类法的步骤 10、 变量聚类 11、 案例：SPSS聚类实现及绘图 12、 案例：Kmeans应用案例剖析 13、 课堂实操：编写程序实现Kmeans应用案例剖析   第3个主题： 关联规则分析与实现（深入剖析关联规则分析以及通过SPSS关联规则算法模型分析数据） 1、 关联规则 2、 支持度与置信度 3、 关联规则挖掘的过程 4、 Apriori算法 5、 关联规则案例 6、 支持度与置信度计算 7、 案例：SPSS实现关联规则 8、 课堂实操：SPSS实现航空业数据关联规则分析	案例练习：通过编写程序实现Kmeans应用案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：编写程序实现Kmeans应用案例剖析
Day6 决策树与随机森林	第1个主题： 决策树分析与实现（深入剖析决策树分析以及通过SPSS决策树模型分析数据） 1、 决策树分析 2、 决策树 3、 决策树构成要素 4、 决策树算法原理 5、 决策树法的决策过程 6、 决策树算法 7、 案例：实现决策树分析 8、 课堂实操：实现航空业客户细分模型 9、 随机森林     第2个主题： 数据建模时序模式分析与实现（深入剖析时序模式分析） 1、 时序模式 2、 时间序列分析 3、 时间序列分析 4、 时间序列 5、 序列分析的三个阶段 6、 课堂实操：实现航空业客户流失模型	案例练习：通过实现航空业客户细分模型案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：实现航空业客户细分模型

 

课程8：大数据可视化-2天

【匹配关键知识点】
数据可视化技术概述及培训关键点概述，数据挖掘与可视化工具介绍（SAS、Project、Excel、SPSS、Tableau等），可视化案例分享等内容。
【课程时间】
2天（8小时/天）
【课程简介】
随着互联网、移动智能设备、云计算技术、大数据技术的迅猛发展，使人类产生与获取数据的能力成数量级地增加，面对如此浩瀚的数据海洋，想通过人工分析大数据从而得到大数据中隐含的有价值的模式，几乎是不可能的。因此人们需要借助新的技术挖掘大数据中所蕴含的价值，采用数据可视化技术绝对是一个明智的选择。
随着科学技术的不断发展，大量的由计算机产生的中间数据都需要进行可视化处理，以求达到辅助分析、再现客观事实的目的。通过视觉化呈现数据，可揭示了令人惊奇的模式和观察结果，某些数据是不可能通过简单统计就能显而易见的看到的模式和结论。正如作家、记者和信息设计师David McCandless 在TED 上说道：“通过视觉化，我们把信息变成了一道可用眼睛来探索的风景线，一种信息地图。当你在迷失在信息中时，信息地图非常实用”。由此足见数据可视化的价值。
无论获得信息还是表达信息，最佳方式之一是通过视觉化方式，快速捕捉和展现信息要点与核心要义，这是数据可视化的价值点所在。
数据可视化技术有着广阔的发展和应用空间，越来越受到人们的关注。
【课程收益】
1、数据可视化技术概述及培训关键点概述；
2、数据挖掘与可视化工具介绍；
3、可视化案例分享
【课程特点】
数据可视化技术概述及培训关键点概述，数据挖掘与可视化工具介绍（SAS、Project、Excel、SPSS、Tableau等），可视化案例分享等内容。
【课程对象】
     数据分析师、技术经理、产品经理、产品助理等
     将承担数据分析师职责的业务人员或信息化人员
     希望加强数据分析能力的软件开发人员
     系统集成企业售前工程师、售前顾问及方案制作人员
【学员基础】
     具有2年以IT部门工作经验，将负责数据分析等相关任务的技术人员
【课程大纲】（2天*8小时）

时间	内容	案例实践与练习
Day1 数据可视化技术概述及培训关键点概述	第1个主题： 数据可视化问题剖析（深入大数据时代数据可视化存在的问题） 1、 大数据特征vs数据可视化 2、 传统数据可视化问题剖析 3、 传统数据可视化工具特点剖析   第2个主题： 数据可视化概述（介绍数据可视化工具、特征及基础架构） 1、 数据可视化概念 2、 数据可视化作用 3、 数据可视化目标 4、 数据可视化应用 5、 数据维度和指标 6、 图表产生过程 7、 可视化的表现形式 8、 可视化的显示 9、 可视化的色彩 10、 可视化案例实战：仪表盘制作 11、 标准图表的表现能力 12、 标准图表的选择标准 13、 图表制作原则 14、 可视化案例实战：数据占比柏拉图绘制 15、 可视化的决定性因素 16、 数据可视化技巧 17、 数据化可视化工具 18、 创意性数据可视化 19、 虚拟实现技术 20、 防止过度可视化 21、 一图胜千言 22、 可视化的升华：声音   第3个主题： 可视化的探索性分析和数据挖掘工具（学习可视化数据挖掘工具） 1、 Tableau 2、 Excel 3、 ECharts 4、 QlikView 5、 R语言 6、 Python 7、 SPSS 8、 SAS   第4个主题： 数据可视化图表详解（通过实例讲述数据可视化方法、过程及含义） 1、 散点图 2、 雷达图 3、 条形图 4、 柱形图 5、 饼图 6、 直方图 7、 箱线图 8、 QQ图 9、 柏拉图制作 10、 仪表盘制作 11、 玫瑰图制作 12、 热力图制作 13、 地图制作 14、 文字云制作 15、 案例剖析	案例练习：通过仪表盘制作案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：仪表盘制作
Day2 数据挖掘与可视化工具介绍（SAS、Project、Excel、SPSS、Tableau等），可视化案例分享	第1个主题： Tableau简介 1、 Tableau历史与趋势剖析 2、 Tableau使用 3、 Tableau的数据类型介绍 4、 Tableau的数据结构介绍 5、 Tableau数据的读入和输出 6、 Tableau数据库的读/写 7、 Tableau与Kylin集成 8、 定性变量 9、 离散变量 10、 连续变量 11、 多元变量 12、 日期和时间数据的操作处理   第2个主题： 数据可视化应用场景，具体案例分析 1、 淘宝24小时生活数据可视化案例 2、 无线淘宝数据可视化案例 3、 Google公司数据可视化案例 4、 Facebook用户画像可视化案例 5、 个人用户画像案例   第3个主题： 大数据可视化呈现ECharts实战（通过一个完整的实例讲述使用ECharts数据可视化的过程与方法） 1、 Echarts使用 2、 项目案例 3、 Echarts概述 4、 ECharts特性 5、 ECharts架构图 6、 整合 7、 How to use？ 8、 Step1. 引入模块加载器 9、 Step2. 设置具备大小的Dom 10、 Step3. 配置echarts模块路径 11、 Step4.动态加载echarts 12、 option的使用 13、 Interface 14、 setOption 15、 Option全局属性 16、 title 17、 legend 18、 dataRange 19、 toolbox 20、 dataZoom 21、 grid 22、 xAxis/yAxis/axis 23、 color 24、 数值型 25、 类目型 26、 tooltip.formatter 27、 series 28、 高度个性化 29、 其它参考图形 30、 热力图 31、 社交网络   第4个主题： 分析结果呈现和分析报告撰写 1、 合理的数据呈现 2、 报告分析模板 3、 如何撰写一份优秀的数据分析报告	案例研讨：通过淘宝24小时生活数据可视化案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：淘宝24小时生活数据可视化案例

 

课程9：Python与数据分析实战-13天

【匹配关键知识点】
Python语言入门，Python网络编程、爬虫与机器学习，Python数据分析案例分享，基于spark集群的python数据分析实战等内容。
【课程时间】
13天（8小时/天）
【课程简介】
随着大数据时代的快速到来，以及大数据在生产生活中迅速应用，大数据领域如雨后春笋般的出现大量的新技术，如Hadoop、Spark等技术，其中Python语言已经成为大数据技术中最为重要的一部分，被越来越多的企业所使用。Python语言的功能涵盖了大数据领域的数据处理、统计分析、数据挖掘、机器学习、人工智能、大数据应用开发等各种不同类型的计算操作，应用范围广泛、前景非常广阔。本课程是尹老师多年工作经验的总结和归纳，从实际业务案例为入口，使学员从理论层到实操层面系统的学习数据处理技术，使学员深入理解Python语言等数据分析工具。通过本课程的学习，学员即可以正确的分析企业的数据，为管理者、决策层提供数据支撑。
【课程收益】
1、Python语言入门；
2、Python网络编程；
3、Python网络爬虫；
4、Python机器学习；
5、Python数据分析案例分享；
6、基于spark集群的python数据分析实战；
【课程特点】
Python语言入门，Python网络编程、爬虫与机器学习，Python数据分析案例分享，基于spark集群的python数据分析实战等内容。
【课程对象】
     数据分析师、技术经理、产品经理、产品助理等
     将承担数据分析师职责的业务人员或信息化人员
     希望加强数据分析能力的软件开发人员
     系统集成企业售前工程师、售前顾问及方案制作人员
【学员基础】
     具有2年以IT部门工作经验，将负责数据分析等相关任务的技术人员
【课程大纲】（13天*8小时）

时间	内容	案例实践与练习
Day1~Day3 Python语言入门	第1个主题： Python语言基础知识（介绍Python语言基础知识，包括Python语言数据类型、基础概念等） 1、 Python语言历史与趋势剖析 2、 Python语言安装 3、 如何运行Python程序 4、 PyCharm开发环境介绍 5、 Anaconda3开发环境介绍（以Anaconda3作为程序演示环境，Python3作为演示语言） 6、 Python语言help()命令 7、 Python基本命令 8、 变量(Variables) 9、 表达式(Expressions) 10、 基本数据类型 11、 字符串与正则表达式 12、 Python条件表达式 13、 循环（loops） 14、 案例实战：正则表达式在爬虫中应用实例 15、 Python数据结构 16、 Python创建数组 17、 Python矩阵运算 18、 Python语言语法结构 19、 案例：Python语言实现运营商数据分析处理   第2个主题： Python函数（深入Python函数的编写语言） 13、 Python函数介绍 14、 数据分析与建模过程 15、 Python语言定义函数规则 16、 Python语言自定义函数 17、 Python匿名函数 18、 Python内置函数 19、 Python函数案例   第3个主题： Python类（class）（深入剖析Python类的原理） 1、 类（class）介绍 2、 Python多重继承 3、 Python不支持函数重载 4、 Class and Instance Variables 5、 Method Objects 6、 Python类编写案例实战   第4个主题： Python异常处理(Exceptions)（深入剖析Python异常处理） 1、 异常处理(Exceptions)简介 2、 Python标准异常类 3、 Python异常类编程案例实战（爬虫实例）   第5个主题： Python模块(Modules)（深入剖析模块(Modules)） 1、 Python模块(Modules)介绍 2、 Python自定义模块 3、 Python模块的导入与添加 4、 Python标准函数库模块 5、 Python第三方模块   第6个主题： Python文件读写（深入剖析Python文件读写） 1、 Python文件读写简介 2、 Python读写方法介绍 3、 Python读写文本文件 4、 Python读写二进制文件 5、 Python读写json文件 6、 Python读写xml文件   第7个主题： Python操作关系型数据库（深入剖析Python操作关系型数据） 1、 Python2安装MySQL Connector 2、 Python3安装MySQL Connector 3、 Python语言操作数据库 4、 Python语言数据库优化 5、 案例：Python语言实现话务数据时间序列建模	案例练习：通过Python语言实现运营商数据分析处理案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：Python语言实现运营商数据分析处理
Day4～Day5 Python网络编程	第1个主题： 多线程编程 (用实战实例介绍如何实现多线程) 1、 Python开发多线程的原理 2、 多线程创建 3、 线程锁 4、 网络应用程序编程 5、 实例：比如生成发送电子邮件     第2个主题： Python网络编程（介绍Python网络编程） 1、 TCP/IP网络介绍 2、 Socket基础知识 3、 Socket客户端服务器连接 4、 案例：聊天功能实战   第3个主题： Python Web开发实战（介绍Python Web实战） 1、 Python Web开发 2、 Django框架介绍 3、 定义和使用模型 4、 Django MVC架构 5、 Django开发环境搭建 6、 Django Session应用 7、 Django框架应用 8、 Django高级应用 9、 案例：客户通话历史记录查询	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：网络编程
Day6~Day7 Python网络爬虫	第1个主题： Python基础知识和网络程序基础知识（介绍Python基础知识和网络程序基础知识） 1、 Python语言简介 2、 Python开发环境搭建和选择 3、 IO编程 4、 进程和多线程基础知识 5、 网络编程和TCP协议   第2个主题： Web前端基础知识（介绍Web前端基础知识） 1、 Web程序的结构 2、 Web前端的内容 3、 HTML 4、 CSS 5、 JavaScript 6、 XPath 7、 Json 8、 HTTP协议标准 9、 HTTP头和主体 10、 Cookie信息   第3个主题： 网络爬虫基础知识（介绍网络爬虫基础知识） 1、 网络爬虫概述 2、 网络爬虫及其应用 3、 网络爬虫结构 4、 HTTP请求的Python实现 5、 urllib2/urllib实现 6、 httplib/urllib实现 7、 更人性化的Requests   第4个主题： HTML解析（HTML解析原理介绍） 1、 初识Firebug 2、 安装和配置Firebug 3、 正则表达式 4、 基本语法与使用 5、 Python中使用正则表达式 6、 BeautifulSoup概述 7、 安装和配置BeautifulSoup 8、 BeautifulSoup的使用 9、 lxml的XPath解析   第5个主题： 基本的爬虫程序开发（介绍基本的爬虫程序开发） 1、 基础爬虫架构及运行流程 2、 URL管理器 3、 HTML下载器 4、 HTML解析器 5、 数据存储器 6、 爬虫调度器   第6个主题： 协议分析（协议分析） 1、 Web端协议分析 2、 网页登录POST分析 3、 隐藏表单分析 4、 加密数据分析 5、 验证码问题 6、 IP代理 7、 Cookie登录 8、 传统验证码识别 9、 人工打码 10、 滑动验证码 11、 PC客户端抓包分析 12、 HTTPAnalyzer简介 13、 虾米音乐PC端API实战分析 14、 App抓包分析 15、 Wireshark简介 16、 酷我听书App端API实战分析 17、 API爬虫：爬取mp3资源信息   第7个主题： Scrapy爬虫框架（介绍Scrapy爬虫框架） 1、 Scrapy爬虫架构 2、 安装Scrapy 3、 创建cnblogs项目 4、 创建爬虫模块 5、 定义Item 6、 翻页功能 7、 构建ItemPipeline 8、 内置数据存储 9、 启动爬虫 10、 强化爬虫 11、 调试方法 12、 异常 13、 控制运行状态 14、 ItemLoader 15、 Item与ItemLoader 16、 输入与输出处理器 17、 ItemLoaderContext? 18、 请求与响应 19、 下载器中间件 20、 Spider中间件 21、 扩展 22、 突破反爬虫	案例研讨：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：网络爬虫的实现
Day8 Python的NumPy模块	1、 NumPy 安装 2、 NumPy Ndarray 对象 3、 NumPy 数据类型 4、 NumPy 数组属性 5、 NumPy 创建数组 6、 NumPy 从已有的数组创建数组 7、 NumPy 从数值范围创建数组 8、 NumPy 切片和索引 9、 NumPy 高级索引 10、 NumPy 广播(Broadcast) 11、 NumPy 迭代数组 12、 Numpy 数组操作 13、 NumPy 位运算 14、 NumPy 字符串函数 15、 NumPy 数学函数 16、 NumPy 算术函数 17、 NumPy 统计函数 18、 NumPy 排序、条件刷选函数 19、 NumPy 字节交换 20、 NumPy 副本和视图 21、 NumPy 矩阵库(Matrix) 22、 NumPy 线性代数 23、 NumPy IO 24、 NumPy Matplotlib	案例练习：通过NumPy的案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：NumPy的数据处理
Day9 Python的Pandas模块	1、 Pandas环境安装配置 2、 Pandas数据结构 3、 Pandas快速入门 4、 Pandas系列 5、 Pandas数据帧（DataFrame） 6、 Pandas面板（Panel） 7、 Pandas基本功能 8、 Pandas描述性统计 9、 Pandas函数应用 10、 Pandas重建索引 11、 Pandas迭代 12、 Pandas排序 13、 Pandas字符串和文本数据 14、 Pandas选项和自定义 15、 Pandas索引和选择数据 16、 Pandas统计函数 17、 Pandas窗口函数 18、 Pandas聚合 19、 Pandas缺失数据 20、 Pandas分组（GroupBy） 21、 Pandas合并/连接 22、 Pandas级联 23、 Pandas日期功能 24、 Pandas时间差（Timedelta） 25、 Pandas分类数据 26、 Pandas可视化 27、 Pandas IO工具 28、 Pandas稀疏数据 29、 Pandas注意事项＆窍门 30、 Pandas与SQL比较	案例练习：通过Pandas使用案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：Pandas的使用方法
Day10 Python机器学习	第1个主题： Python平台下的机器学习开发技术（介绍Python平台下的机器学习开发技术） 31、 Python平台下的数据分析工具 32、 Python平台下的数据分析工具概述 33、 NumPy数据处理 34、 NumPy案例 35、 Scipy数值计算 36、 SymPy符号处理 37、 Matplotlib绘制图表 38、 Pandas数据分析、探索工具 39、 Pandas的DataFrame 40、 DataFrame的构造 41、 StatsModels数据统计建模分析 42、 Scikit-Learn机器学习库 43、 Keras人工神经网络 44、 Keras的设计原则 45、 Gensim文本挖掘库 46、 OpenCV计算机视觉库 47、 案例：Python语言实现基于聚类的图像分割方法	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：Python语言实现基于聚类的图像分割方法
Day11 Python机器学习	第1个主题： 聚类模型原理与实现（深入剖析聚类原理以及通过Python语言实现聚类算法模型） 1、 聚类介绍 2、 聚类算法应用场景 3、 聚类算法应用案例 4、 样品间相近性的度量 5、 快速聚类法 6、 快速聚类法的步骤 7、 用Lm距离进行快速聚类 8、 谱系聚类法 9、 类间距离及其递推公式 10、 谱系聚类法的步骤 11、 变量聚类 12、 K-Means(K均值)聚类 13、 均值漂移聚类 14、 基于密度的聚类方法(DBSCAN) 15、 用高斯混合模型（GMM）的最大期望（EM）聚类 16、 凝聚层次聚类 17、 图团体检测(Graph Community Detection) 18、 案例：Python语言聚类实现及绘图 19、 案例：Kmeans应用案例剖析 20、 课堂实操：Python语言实现基于聚类的图像分割方法   第2个主题： 决策树模型原理与实现（深入剖析决策树原理以及通过Python语言实现决策树模型） 1、 决策树介绍 2、 决策树应用场景 3、 决策树应用案例 4、 信息熵 5、 ID3算法 6、 C4.5算法 7、 CART算法 8、 决策树算法 9、 剪枝 10、 过拟合与调参 11、 决策树算法原理 12、 决策树法的决策过程 13、 案例：Python语言实现决策树模型 14、 课堂实操：Python语言实现决策树模型 15、 随机森林	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：Python语言实现基于聚类的图像分割方法
Day12 Python数据分析案例分享	第1个主题： 随机森林模型原理与实现（深入剖析随机森林原理以及通过Python语言实现随机森林模型） 1、 随机森林介绍 2、 随机森林的特点 3、 随机森林的相关基础知识 4、 信息、熵以及信息增益的概念 5、 随机森林的生成 6、 随机森林算法 7、 随机森林算法原理 8、 袋外错误率（oob error） 9、 随机森林应用场景 10、 随机森林应用案例 11、 案例：Python语言实现随机森林模型 12、 课堂实操：Python语言实现随机森林模型 13、 xgboost   第2个主题： 支持向量机模型原理与实现（深入剖析支持向量机算法原理以及通过Python语言实现支持向量机模型） 1、 支持向量机介绍 2、 支持向量机应用场景 3、 支持向量机应用案例 4、 支持向量机算法 5、 支持向量机算法原理 6、 线性可分支持向量机 7、 间隔最大化和支持向量 8、 对偶问题求解 9、 柆格朗日函数 10、 非线性支持向量机和核函数 a)      超平面 b)     线性核 c)      多项式核 d)     高斯核 e)     拉普拉斯核 f)      sigmiod核 11、 线性支持向量机（软间隔支持向量机）与松弛变量 12、 松驰因子 13、 案例：Python语言实现支持向量机模型 14、 课堂实操：Python语言实现基于SVM的字符识别方法   第3个主题： 神经网络模型原理与实现（深入剖析神经网络算法原理以及通过Python语言实现神经网络模型） 1、 神经网络介绍 2、 神经网络概念 3、 神经网络发展历史 4、 神经网络的别名 5、 神经网络研究的主要内容 6、 神经网络基本构成 7、 神经网络模拟人的智能行为的四个方面 8、 神经网络的特点 9、 学习能力 10、 适应性问题 11、 神经网络基本网络模型 12、 单层网络 13、 多层网络 14、 循环网络 15、 基本网络结构特点 16、 典型训练算法 17、 运行方式 18、 典型问题解决方法 19、 感知机 20、 线性神经网络 21、 BP神经网络 22、 RBF网络 23、 竞争网络 24、 反馈神经网络 25、 随机神经网络 26、 遗传算法 27、 PSO与神经网络优化 28、 自定义深度神经网络结构 29、 深度神经网络的优化方法 30、 深度框架的损失函数 31、 课堂实操：Python语言实现基于神经网络的人脸识别方法	案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。   研讨：Python语言实现基于神经网络的人脸识别方法
Day13 基于spark集群的python数据分析实战	第1个主题： 基于Spark集群的Python的数据分析实战 1、 基于Python开发Spark 程序概述 2、 基于Python开发Spark 程序算法库介绍 3、 基于Python开发Spark 程序架构剖析 4、 基于Python开发Spark 程序机器学习算法剖析 5、 数据类型 6、 基本统计算法 7、 分类与回归 8、 协同过滤 9、 聚类 10、 降维 11、 特征提取与转换 12、 频繁模式挖掘 13、 评价指标 14、 基于Python开发Spark 程序编程 15、 基于Python开发Spark 程序APIs介绍 16、 基于Python开发Spark 程序机器学习算法应用实战 17、 基于Python开发Spark 程序实战案例：数据聚类分析案例剖析	案例练习：通过基于Python开发Spark 程序实战案例：数据聚类分析案例剖析，剖析数据分析过程，体会数据分析的难点和要点。   研讨：数据聚类分析案例

 

（5）教学实验

数据分析概述：
1、大数据企业应用障碍分析
数据的产生、导入与预处理：
案例练习：通过数据整理的编程和应用案例的剖析数据分析过程，体会数据分析的难点和要点。
案例练习：通过案例的剖析数据分析过程，体会数据分析的难点和要点。
案例练习：通过淘宝双十一案例的剖析数据分析过程，体会数据分析的难点和要点。
案例研讨：通过数据挖掘案例的剖析数据分析过程，体会数据分析的难点和要点。
研讨：数据挖掘
案例练习：通过企业实践案例的剖析数据分析过程，体会数据分析的难点和要点。
研讨：企业实践案例分享
案例练习：通过数据模型的应用案例剖析案例的剖析数据分析过程，体会数据分析的难点和要点。
研讨：数据模型的应用案例剖析
数据分析与挖掘基础：
1、课堂实操：数据整理的编程和应用
2、企业OLAP模型设计案例剖析
3、实例分享：淘宝双十一
4、实例分享：腾讯QQ
5、实例分享：百度文库
6、实例分享：打车大战
7、实验：Pig的实用案例
8、实验：Hive安装部署
9、实验：Sqoop安装
10、实验：Sqoop Shell
11、实验：FLume大数据架构案例分享及实战演练
12、实验：企业实践案例分享
 
R语言数据分析实战：
1、实验：安装R语言
2、实验：R语言编程案例
3、实验：R语言的绘图功能
4、实操：R和MySQL的交互
5、实操：R和Oracle的交互
6、实操：R和Excel的交互
7、案例：蒙特卡罗模拟的应用
8、案例1：汽车数据描述统计分析
9、案例2：财政收入与税收描述统计分析
10、案例：蒙特卡罗模拟的应用
11、实操：R语言实现蒙特卡罗求圆周率
12、实操：R语言一元线性回归模型检验
13、实操：R语言实现多元线性回归
14、实操：R语言非线性回归
15、案例：用户离网预测
16、案例：中国税收收入增长案例分析
17、案例：新教学方法的效果
18、案例：信用卡违约预测
19、案例分享：文章分类
 
大数据工具介绍之Hadoop：
1、实例分享：马云预测经济危机案例剖析
2、实例分享：双十一亿背后的开源技术
3、实验：Hadoop集群部署
4、实验：CLI操作HDFS
5、实验：Java操作HDFS
6、实验：MapReduce命令操作
7、实验：MapReduce程序打包并在命令行运行
8、实验：动手编写MapReduce程序
 
 
大数据工具介绍之Spark：
1、编程实战：第一个Scala 程序
2、编程实战：编程Scala程序实例
3、编程实战：Scala函数编程实例
4、编程实战：Scala语言复杂数据类型编程实战
5、编程实战：用SBT对Scala项目打包与发布
6、实验：Spark集群部署
7、实验：Scala编写Spark程序
8、实验：Python编写Spark程序
9、实验：Spark Shell
10、编程实战：Spark基础操作编程实战
11、企业级案例：Spark Streaming与Kafka整合实现数据实时数据分析处理设计与分析
 
Pyspark集群调度与数据处理：
1、编程实战：Spark基础操作编程实战
2、PySpark MLlib实战案例：数据聚类分析案例剖析
3、案例：Python编写Spark大数据程序
 
大数据可视化：
1、可视化案例实战：数据占比柏拉图绘制
2、可视化案例实战：仪表盘制作
3、实验：柏拉图制作
4、实验：仪表盘制作
5、实验：玫瑰图制作
6、实验：热力图制作
7、实验：地图制作
8、实验：文字云制作
9、淘宝24小时生活数据可视化案例
10、无线淘宝数据可视化案例
11、Google公司数据可视化案例
12、Facebook用户画像可视化案例
13、个人用户画像案例
14、如何撰写一份优秀的数据分析报告
 
Python与数据分析实战：
1、案例实战：正则表达式在爬虫中应用实例
2、案例：Python语言实现运营商数据分析处理
3、实验：Python语言自定义函数
4、案例：Python语言实现蒙特卡罗求圆周率
5、课堂实操：数据整理的编程和应用
6、案例：Python语言实现购物蓝关联规则分析
7、课堂实操：Python语言实现随机森林模型
8、课堂实操：Python语言实现金融数据时间序列建模
9、课堂实操：基于余弦相似度的精准营销
10、案例分享：文章分类
11、案例：Python编写Spark大数据程序

大庆油田技术研究院高级内训讲师
（原）中兴通讯学院高级讲师；
北大计算机、北邮通信双学位
15年嵌入式硬件、软件开发和系统架构设计总监
有8年多的“云大智物”开发及实施经验。曾供职于巨龙通信、大唐电信，PHILIPS三星联合研发中心等

【工作经历】
长期从事智慧家居、智慧养老、物联网应用、移动互联网应用研发工作，曾负责北京市科委，大庆油田数据化等多个重点项目，发表相关论文多篇，授权及申请物联网方面的专利10多个。目前主要从事智慧家居、智慧养老、车联网、交通物流、物联网应用平台以及相关应用方面的研究，实战派资深讲师。
兰州交大成教学院等高校特聘技术类讲师；，参与了我国自主通信标准TD-SCDMA的标准编写工作，是最早一批参与TD-SCDMA研究的技术人员；历任高级软件开发工程师，系统架构师，物联网架构师，嵌入式开发主管等职位，目前是教授级高工，已进入北京市、深圳市专家库名录，深圳市物联网协会资深专家。

【培训特点】
理论基础深厚，逻辑思维能力强，拥有丰富的企业授课经验，对企业员工培养具有深刻认识。授课过程中，紧密结合成人教育特点，灵活运用丰富案例，善于以点带面，启发思维。授课风格互动性和实操性很强，注重讲师与学员之间的互动性，使得课堂氛围轻松愉快，倡导分享和共同进步，深受到学员的欢迎。