Spark开发核心技能进阶宝典

2-1

结构化API概览简单介绍结构化API的核心概念，详细介绍结构化Spark类型、结构化API的执行机制。

「仅限付费用户」点击下载“21-4 结构化API概览.pdf”

2-2

基础结构化操作介绍DataFrame以及与之相关的基础概念（模式、表等），接着介绍DataFrame上的各种变换。

「仅限付费用户」点击下载“21-5 基础结构化操作.pdf”

2-3

使用多种类型数据结合实例，来看结构化API中怎样操作各类数据（布尔型、数值、字符串、时间、复杂类型等），以及怎样编写用户定义函数来实现更复杂的操作。

「仅限付费用户」点击下载“21-6 使用多种类型数据.pdf”

2-4

聚合介绍聚合的概念，结合实例学习结构化API中怎样使用聚合函数、分组、开窗函数、分组集、用户定义聚合函数。

「仅限付费用户」点击下载“21-7 聚合.pdf”

2-5

连接介绍连接的概念，结合实例学习Spark中支持的各种连接，阐述使用连接时的挑战，最后分析Spark执行连接的底层机制。

「仅限付费用户」点击下载“21-8 连接.pdf”

2-6

数据源介绍数据源API的结构，结合实例学习Spark原生数据源的用法（CSV、JSON、Parquet等），一些高级I/O概念（分割、并行读取、分区、分桶等）。

「仅限付费用户」点击下载“21-9 数据源.pdf”

2-7

Spark SQL介绍Spark SQL的一些基础知识（如何使用、与Hive的关系等），表、视图、数据库的概念和使用，SELECT语句的使用，一些高级主题（复杂类型、复杂函数、子查询等）。

「仅限付费用户」点击下载“21-10 Spark SQL.pdf”

3-1

弹性分布式数据集（RDD）介绍低层API和RDD的概念、用途，结合实例学习RDD的创建和各种操作。

「仅限付费用户」点击下载“21-12 弹性分布式数据集（RDD）.pdf”

3-2

高级RDD结合实例介绍一些高级RDD操作，包括键-值RDD、聚合、连接、控制分区等。

「仅限付费用户」点击下载“21-13 高级RDD.pdf”

4-1

Spark如何在集群上运行介绍Spark应用的基本架构（三大组成部分以及三种执行模式），介绍整个Spark应用生命周期发生了什么，并补充一些执行中的细节。

「仅限付费用户」点击下载“21-15 Spark如何在集群上运行.pdf”

4-2

开发Spark应用程序结合实例介绍怎样用Scala和Python语言编写Spark应用程序，介绍测试Spark的方法论，以及如何提交应用、配置应用。

「仅限付费用户」点击下载“21-16 开发Spark应用程序.pdf”

4-3

部署Spark讨论几个与部署Spark有关的话题，包括在哪里部署Spark集群，集群管理器的作用和配置，以及一些在部署中的杂项问题。

「仅限付费用户」点击下载“21-17 部署Spark.pdf”

4-4

监控和调试介绍与Spark集群和应用监控有关的话题，包括监控什么、怎么监控，并结合实际生产中会遇到的故障，介绍一些调试和急救的技巧。

「仅限付费用户」点击下载“21-18 监控和调试.pdf”

5-1

流处理基础概述什么是流处理，其适用领域及其优势和挑战，接着介绍常见流处理系统的设计要点，最后简要介绍Spark中两类不同的流处理API。

「仅限付费用户」点击下载“21-20 流处理基础.pdf”