课程简介

为什么要使用Docker

Docker中的基本概念

Docker安装

Docker获取镜像

Docker创建镜像

Docker创建镜像

Docker本地导入镜像

Docker保存、载入、删除镜像

Docker容器的创建启动和停止

Docker命令进入容器后台

Docker命令导入导出和删除容器

Docker公有仓库Docker Hub

Docker私有仓库的创建

Docker中的数据卷

Docker制作数据卷容器

Docker数据卷容器实现备份恢复及迁移

Docker容器绑定外部端口和IP

Docker容器互联

Docker一个完整的例子

Dockerfile基本结构讲解

Dockerfile中常见指令讲解

Spark课程前言，Spark及其为代表的整个大数据生态圈的现状的介绍。Spark的前景及发展规划，和Spark课程内容的简介。

Spark基础核心概念讲解

镜像制作方案和集群网络规划及子网配置和SSH无密钥登录规则配置ssh_config

Hadoop、HDFS、Yarn配置文件详解，包括core-site.xml,hdfs-site.xml,hdfs-env.sh,mapred-env.sh,mapred-site.xml,yarn-site.xml,yarn-env.sh,maste,slaves配置文件的详解讲解

Spark中的spark-default.conf,spark-env.sh,masters,slaves及Hive的hive-env.sh,hive-site.xml配置文件详解

Dockerfile制作Hadoop/Spark/Hive镜像，拷贝配置好的hadoop,spark,hive，及连接mysql的驱动包到对应的文件夹，开启SSH服务，ADD软件到/usr/local目录

编写脚本将启动spark，hadoop，hive,mysql的过程固化下来，这样启动集群只需要运行shell脚本，达到一键启动的目的。

pyspark模块介绍

SparkContext编程入口及Accumulator累加器详解

addFile方法和SparkFiles的get方法加载和获取本地文件，HDFS文件，http文件

binaryFiles读取二进制文件

Broadcast广播变量和setLogLevel日志级别

union方法和statusTracker方法讲解

aggregate和aggregateByKey的异同及注意事项.mp4

collectAsMap和fold方法的理解及正确使用

foreach和foreachPartitions原理及使用场景和注意事项

histogram和lookup方法的使用详解

reduce、sampleStdev、saveAsPickleFile、saveAsTextFile及指定压缩格式

sequenceFile序列文件的保存和读取

takeSample、treeAggregate和treeReduce方法的使用及注意事项

coalesce、repartition和partitionBy方法的使用技巧

cogroup、combineByKey、reduceByKey、groupByKey、aggregateByKey的异同及性能对比

foldByKey、groupBy、groupWith几个方法的使用

集合操作intersection、subtract、union，subtractByKey

join、fullOuterJoin、leftOuterJoin、rightOuterJoin之RDD关联操作

glom、mapPartitions、mapValues等方法详细讲解

pipe、randomSplit、sampleByKey、sample方法详解

sortBy、sortByKey、values、zip、zipWithUniqueId等方法完全披露

StorageLevel中常见的存储级别

SparkConf对象详解

广播变量深入讲解

Accumulator累加器详解

StatusTracker Spark作业运行状态监控

pyspark之SparkSQL模块介绍

SparkSession编程入口

掌握创建DataFrame的8种方式

range和udf用户自定义函数讲解

agg聚合方法及数据缓存方法cache的讲解

colRegex及corr计算皮尔森相关系数

crossJoin笛卡尔积和cube多维数据立方体

explain、dropna及filter和where算子详解

groupBy、intersect、join方法详解

rollup、replace和randomSplit方法讲解

summary统计方法及toPandas转换为Pandas对象

GroupedData 对象

DataFrame中的Column对象(上)

DataFrame中的Columns对象（下）

Catalog对象详解

Row对象详解

DataFrameNaFunctions空数据处理方法集合

DataFrameStatFunctions统计模块详解

DataFrameReader读取外部数据生成DataFrame的接口

DataFrameWriter将DataFrame数据写入外部存储

types 类型详解

functions 函数模块详解

本地密集、稀疏向量和LabeledPoint向量

本地矩阵和四种分布式矩阵

Statistics基本的统计方法

假设检验、随机数据的生成和核密度估计

Piplines构建机器学习工作流

TF-IDF词频你文档数和Word2vec词向量表示

CountVectorizer和Tokenizer、RegexTokenizer特征转化

PCA主成分分析、多项式核函数扩展特征空间、数据正则化、特征标准化

分桶器、向量组合器、SQL转换器及元素放缩器

特征个数过滤器、缺失值处理器、类别编码器、向量类别判断器

逻辑回归算法、原理、公式推导及二分类和多分类实践

完全理解L1，L2正则化的作用

决策树算法原理、随机深林、梯度提升树代码实践

多层感知机分类算法

SVM支持向量机分类算法

OneVsRest多分类算法

Naive Bayes 朴素贝叶斯分类器

Linear Regression线性回归

74_GLMs广义线性模型

回归树

76_K-Means聚类算法

二分K均值算法

GMM高斯混合模型

基于ALS交替最小二乘法的协同过滤推荐算法电影推荐实践

FP-Growth频繁项集推荐算法

超参数网格搜索