基于Python的Spark大数据处理技术（杨老师）

学员基础
1，对IT系统设计有一定的理论与实践经验。
2，有一定的python和大数据基础知识和开发经验。
 
师资
由业界知名大数据专家亲自授课：
杨老师   主要研究网络信息分析以及云计算相关技术，长期从事通信网管系统、网络信息处理、商务智能(BI)以及电信决策支持系统的研究开发工作，主持和参与了多个国家和省部级基金项目，具有丰富的工程实践及软件研发经验。
 
培训内容
第一讲 Spark基础知识
1)什么是Apache Spark
2)Spark作业和API
3)DataFrame和Dataset
4)Spark 2.0的架构
5)SparkSession介绍
6)Tungsten Phase 2
7)结构化流

第二讲 弹性分布式数据集
1)RDD的内部运行方式
2)创建RDD
3)全局作用域和局部作用域
4)RDD转换
5)RDD操作

第三讲 利用DataFrame加速PySpark
1)Python到RDD之间的通信
2)Catalyst优化器刷新
3)创建DataFrame
4)RDD的交互操作
5)利用DataFrame API查询
6)利用SQL查询
7)DataFrame应用实例
 
第四讲 准备数据建模
1)检查重复数据及异常数据
2)描述性统计
3)数据相关性
4)数据可视化
5)直方图

第五讲 MLlib数据挖掘工具
1)MLlib包概述
2)加载和转换数据
3)数据相关性和描述性统计
4)创建最终数据集
5)MLlib应用实例-预测婴儿生存机会

第六讲 ML机器学习包
1)ML包的概述
2)分类、回归和聚类
3)使用ML预测婴儿生存率
4)ML超参调优
5)ML的特征提取
6)ML的其他功能

第七讲 使用Blaze实现持久化
1)安装Blaze
2)混合持久化
3)使用NumPy和pandas数据
4)与关系型数据库进行交互
5)数据操作和访问
6)数据连接

第八讲 Tensorflow基础
1)神经网络和深度学习
2)TensorFlow介绍和安装
3)配置和设置TensorFlow
4)使用TensorFlow进行矩阵分析
5)TensorFlow操作示例

第九讲 结构化流Streaming
1)Streaming介绍
2)Streaming的基本组件
3)Streaming应用程序数据流
4)用DStream简化Streaming应用程序
5)全局聚合
6)结构化流介绍

第十讲 打包Spark应用程序
1)spark-submit命令
2)以编程方式部署应用程序
3)配置你的SparkSession
4)创建SparkSession
5)模块化代码
6)提交作业和监控执行
 
培训目标
1, 学习Python和Spark的相关知识。
2，学习Python和Spark的核心技术方法及应用。
3，了解Python和Spark在数据分析中的使用。