专题 > 大数据 > Spark > 从Scala到Spark 2.x专题

从Scala到Spark 2.x专题

如果你有一些Java基础的话,就可以学习这个专题。这个专题帮你深入掌握Scala语言以及基于Scala语言的Spark 2.x

22

门课程

1402

人学习

95小时16分钟

课程总时长

老汤

高级讲师

讲师评分:5.0

永久观看
 
系统化学习
 
24小时答疑
  资料一键下载
专题价 ¥1598
立省490元

支持蚂蚁花呗分期

简单5步马上享受花呗分期:

1. 点击立即购买
2. 订单确认页, 点击 ”去支付“
3. 支付中心, 使用【支付宝】付款
4. 使用【支付宝】APP扫描付款二维码
5. 付款方式选择 花呗分期~ 搞定~

查看详情>>
总价 ¥2088

第一阶段:  Scala内功修炼

6门课程 21小时55分钟

首先从面向对象编程和函数式编程两个方面入门Scala语言。然后熟练掌握Scala的模式匹配、隐式系统以及类型系统三个Scala的高级特性。最后熟练掌握Scala的数据结构(即集合框架)的原理以及特性。

  • [老汤]Spark 2.x之Scala内功修炼视频课程四-面向对象编程基础

    27节 4小时14分钟
    课程目标:
    分别从class(类)、object(对象)、abstract class(抽象类)以及trait(特质)四个方面来了解并掌握Scala面向对象编程的技能-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换 (http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )本课程内容如下:第一章:课程内容1、课程内容2、学习Scala需要的环境第二章:Classes and Objects1、Scala脚本的运行-fsc命令2、Scala应用程序的入口3、分号推断规则4、Class的定义5、伴生对象6、基本类型及其操作第三章:Abstract class抽象类1、抽象类的定义以及继承2、子类构造器调用父类构造器3、多态和绑定4、使用组合而不是继承5、给Element类增加方法6、使用工厂方法7、客户端使用Element类第四章:Scala的类型体系1、Scala的类型体系2、超类Any的讲解3、Bottom Type-Nothing和Null的讲解第五章:Traits及其使用1、trait的定义2、trait使得瘦接口变成富接口3、trait叠加修饰的作用4、trait与多重继承的区别5、什么时候使用trait第六章:package and import1、package的讲解2、import的讲解3、访问修饰符的讲解

    课程大纲

    免费试看

  • [老汤]Spark 2.x之Scala内功修炼视频课程五-函数式编程基础

    17节 3小时10分钟
    课程目标:
    分别从内置控制结构、函数式编程基础以及自定义控制结构三个方面来讲述Scala函数式编程的语法和函数式编程的思想和基本概念-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换 (http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )本课程内容如下:第一章:课程内容1、课程内容2、学习Scala需要的环境第二章:内置控制结构1、if表达式和while循环2、for表达式3、Scala中的break和continue4、异常处理和模式匹配5、重构命令式程序为函数式程序的例子第三章:函数式编程基础1、本地(Local)函数2、first class function3、Closures(闭包)4、函数参数的规则5、尾递归第四章:自定义控制结构1、高阶(high-order)函数2、函数柯里化(currying)3、自定义控制结构4、by-name和by-value参数的区别

    课程大纲

    免费试看

  • [老汤]Spark 2.x之Scala内功修炼视频课程六-模式匹配

    24节 3小时9分钟
    课程目标:
    从case class、模式匹配中的模式、模式匹配与unapply方法配合三个方面来由浅入深的讲解了Scala模式匹配的知识,使得我们可以掌握并熟练使用Scala的模式匹配-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换 (http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架(http://edu.51cto.com/course/12136.html  ) Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )本课程内容如下:第一章:课程内容1、课程内容2、学习Scala需要的环境第二章:认识模式匹配1、case class2、浅尝模式匹配3、sealed case class第三章:详解模式1、模式的种类2、模式的守卫3、模式的重叠4、数据结构Option5、Option与模式匹配第四章:模式的其他使用场景1、在变量定义中的使用2、在偏函数中的使用3、在for表达式中的使用第五章:模式匹配与unapply方法配合1、unapply方法的作用2、unapply方法返回单个参数值3、unapplySeq方法的作用以及特点

    课程大纲

    免费试看

  • [老汤]Spark 2.x之Scala内功修炼视频课程七-隐式系统

    17节 2小时46分钟
    课程目标:
    Scala隐式系统是Scala非常强大的一个功能,在实际的工作中如果能使用好隐式系统的话,将会使的代码简洁、扩展性强等。本课程从隐式转换、隐式参数、隐式解析机制以及隐式系统的使用案例四个方面深入了解Scala的隐式系统机制-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换 (http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )             Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )本课程内容如下:第一章:课程内容1、课程内容2、学习Scala需要的环境第二章:基础知识1、隐式系统使用场景2、关键字implicit第三章:隐式转换和隐式参数1、隐式转换2、隐式类3、隐式参数4、隐式参数结合默认参数第四章:隐式系统机制1、标志符与作用域2、隐式解析机制3、隐式作用域4、慎用隐式转换第五章:隐式系统使用案例1、scala.Predef中使用隐式转换详解2、scala.collection.JavaConversions中使用隐式转换3、集合排序中使用隐式参数4、Spark RDD中使用隐式转换

    课程大纲

    免费试看

  • [老汤]Spark 2.x之Scala内功修炼视频课程八-类型系统

    21节 3小时43分钟
    课程目标:
    从类型参数、抽象类型、其他高级类型以及类型系统和隐式系统结合应用四个方面来掌握Scala的类型系统。包括类型参数、协变、逆变、上下界、抽象类型、路径依赖类型、存在类型、自身类型、枚举等基本概念的掌握-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换 (http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )本课程内容如下:第一章:课程内容1、课程内容2、学习Scala需要的环境第二章:类型参数1、类型参数的含义2、型变的基本概念3、协变(co-variant)及其问题4、下界(Lower Bound)5、逆变(contra-variant)6、上界(Upper Bound)第三章:抽象类型1、type关键字2、抽象类型3、结构化类型4、scala.PreDef使用type关键字第四章:其他类型1、路径依赖类型2、枚举类型3、存在类型4、自身类型第五章:类型系统和隐式系统结合应用1、Context and View Bounds2、TypeTag and ClassTag3、具体化类型约束(

    课程大纲

    免费试看

  • [老汤]Spark 2.x之Scala内功修炼视频课程九-集合框架

    33节 4小时51分钟
    课程目标:
    遵循由特殊到普遍的学习方式来深入的理解Scala中的集合框架,先对我们经常使用的数据结构List做详细的讲解,再到深入的理解Scala集合框架的方式。从而达到熟练使用Scala集合框架中的常用的数据结构。-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换 (http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架( http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )本课程内容如下:第一章:课程内容1、课程内容2、学习Scala需要的环境第二章:熟练使用List1、List的构建方式2、List的结构及其基本操作3、List和模式匹配4、first order function第一部分5、first order function第二部分6、first order function第三部分7、high order function第一部分8、high order function第二部分9、high order function第三部分10、high order function第四部分11、List伴生对象中的方法12、Multiple Lists操作13、可变集合ListBuffer第三章:深入理解集合框架1、可变集合与不变集合2、集合框架继承关系图以及统一性3、trait Traversable4、trait Iterable5、为什么需要Traversable6、Seq特性及其方法讲解7、Seq的子类LinearSeq和IndexedSeq8、IndexedSeq的子类Vector9、LinearSeq的子类Stream10、数组Array11、特殊集合String12、Set13、Map14、集合视图Views15、集合迭代器Iterator16、Scala集合和Java集合相互转换

    课程大纲

    免费试看

第二阶段:  Spark Core(RDD)

4门课程 32小时24分钟

分别从以下四步轻而易举的学会Spark 2.x的核心编程: 正确理解Spark 、RDD API 、正确提交Spark应用、Spark job核心原理

  • [老汤]Spark 2.x 实战应用系列二之正确理解Spark

    17节 3小时25分钟
    课程目标:
    本课程的中心目标就是“正确理解spark”,只有在high level的层面上正确理解了spark,才能在学习或者使用spark的过程中保持高效和灵活。在保证我们可以在思想层面上入门spark的同时,本课程还详细的讲解了RDD是什么,有什么特点。对spark的几个模块的概述可以作为技术选型时候的参考,学习资料中包含本人翻译的spark rdd论文。更多的课程可以在51CTO学院中搜索"老汤"                                                                                          -------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换 (http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )

    课程大纲

    免费试看

  • [老汤]Spark 2.x 实战应用三系列之Spark-core RDD Api

    67节 16小时4分钟
    课程目标:
    掌握RDD每一个api的使用方式、实现原理以及使用时需要注意的点。掌握了本课程就可以参与真实的spark项目的开发。掌握了本课程也是为学习spark其他模块打下坚实的基础更多的课程可以在51CTO学院中搜索"老汤"本视频是scala版本的RDD api及其原理java版本的RDD api的使用请见: http://7639240.blog.51cto.com/7629240/d-1 python版本的RDD api使用请见:http://7639240.blog.51cto.com/7629240/d-2                                        建议在高清下观看,这样效果更佳-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换 (http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )本课程内容如下:第一章 课程内容以及课程需要的环境的描述第二章 了解scala了解scala的基本概念,包括:1、scala之面向对象编程2、scala之函数式编程3、scala的两个特征:闭包和数据结构Option第三章    RDD概念根据RDD的特点,进而提出RDD的定义以及RDD的优势如果想对RDD彻底的正确理解,请参考: http://edu.51cto.com/course/10932.html 第四章 RDD的创建详细讲解创建RDD的api,并且详细分析了parallelize和makeRDD两个api的原理和差异第五章 RDD的依赖RDD的依赖的设计,并详细讲解了为什么RDD这么设计依赖第六章 RDD的分区1、用原理图的方式展示了RDD分区器HashPartitioner的工作原理2、讲解利用分区器是怎么样进行性能优化的3、结合原理图和源代码讲解RangePartitioner的工作原理以及使用场景4、结合实例自定义RDD的分区器Partitioner5、RDD分区数控制api - coalesce 和 repartition的使用场景以及两者的区别6、结合原理图和源代码讲解coalesce的原理第七章 单类型RDD的api详解1、单类型RDD的transformation api的使用及其需要注意的点,包括map, mapPartition, flatMap等api2、MapPartitionsRDD的原理代码详解3、RDD的采样api(sample等)介绍4、RDD分层采样api(sampleByKey等)的介绍5、RDD的pipe api的使用方式以及使用过程中需要注意的点6、RDD的pipe的原理深入讲解7、单类型RDD的基本action api的讲解,包括foreach、first、collect等8、单类型RDD基本action api讲解,包括reduce、fold以及aggregate等。同时分析了reduce和treeReduce以及aggregate和treeAggregate的原理和区别第八章 key-value类型RDD的api详解1、combineBykey的七大参数的详解2、ShuffleRDD的原理详解3、基于combineByKey的api详解,包括aggregateByKey、reduceByKey、foldByKey以及groupByKey等4、combineBykey实战以及使用过程中需要注意的点5、reduceByKey和groupByKey的对比,同时包含了reduce和fold的对比6、cogroup api的感官认识,包括基于cogroup实现的join、leftOuterJoin、rightOuterJoin、fullOuterJoin以及subtractByKey等api7、通过原理图和源代码详解cogroup原理8、join等api的原理实现9、subtractByKey的原理10、sortedByKey原理,利用RangePartitioner实现优化11、count、countByKey等计数api,包括近似估算等api第九章 二元RDD操作1、union的使用及其原理2、intersection的使用及其原理3、cartesian笛卡尔积的使用及其原理4、zip的使用及其原理第十章 persist 和 checkpoint机制1、RDD的缓存机制,即persist2、checkpoint的作用和实现流程3、checkpoint实现原理4、localCheckpoint和checkpoint的优缺点第十一章 Spark读写外部数据源1、spark支持的读写存储系统(使用JdbcRDD读取关系型数据库的完整示例见: http://7639240.blog.51cto.com/7629240/1967325  )2、HadoopRDD的原理和实现3、spark支持的通用的文件格式,重点会讲述了SequenceFile的数据结构以及需要注意的点,包括text file、CSV file、Sequence file 、 Object file以及MapFile等4、spark支持的hbase file的读写代码5、行式存储文件格式(avro)和列式存储文件格式(parquet)读写的详细讲解6、spark对二进制数据的读写的api详解第十二章 broadcast和accumulator两个api的详解第十三章 RDD项目实战以本人真实参加的项目来串联我们这个课程所将到的api

    课程大纲

    免费试看

  • [老汤]Spark 2.x 实战应用系列四之Spark-core正确提交spark应用

    18节 3小时37分钟
    课程目标:
    本门课程实战的东西偏多,主要是理解透spark-submit中的每一个参数的用法及其原理,以达到正确提交各种业务场景下的spark应用。在了解了spark-submit的每一个参数后,我们进而对spark-submit的原理以及spark的脚本系统进行了深入的探讨,也为深入理解spark打开了大门。更多的课程可以在51CTO学院中搜索"老汤"-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换 (http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )本课程内容:第一章:课程内容简介第二章:java基础知识2.1 java命令启动JVM2.2 java ProcessBuilder启动JVM第三章:详解spark-submit的每一个参数3.1 spark-submit感官认识3.2 master和deploy-mode参数详解3.3 --conf参数详解3.4 driver相关参数的详解3.5 executor相关参数的详解3.6 --jars参数详解3.7 --package相关参数详解3.8 --files与--properties-file参数详解3.9 --queue相关参数的详解3.10 python spark应用的正确提交3.11 利用SparkLauncher在代码中提交spark应用第四章 spark-submit原理4.1 spark脚本系统4.2 spark-class脚本原理以及实现4.3 spark-daemon脚本原理以及实现4.4 SparkSubmit原理以及源码分析

    课程大纲

    免费试看

  • [老汤]Spark 2.x实战应用系列五之Schedulers On Driver

    37节 9小时16分钟
    课程目标:
    本课程主要的讲述的是spark在driver端怎么样将task调度到executor上进行执行的。分别对DAG的调度、task的调度以及driver端资源的调度作了很深入的讲述,全课程用通俗易懂的语言来描述这些原理性的东西。主要的内容如下:更多的课程可以在51CTO学院中搜索"老汤"-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换(http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )本课程内容:第一章:课程内容简介第二章:DAG的调度2.1 stage的划分2.2 stage的调度第三章:任务调度3.1 taskset调度的先进先出(FIFO)机制3.2 taskset调度的公平调度(FAIR)机制3.3 taskset调度的公平调度(FAIR)机制需要注意的点3.4 task调度的本地性级别定义3.5 task调度的延迟调度讲解一3.6 task调度的延迟调度讲解二3.7 task调度的推测机制3.8 task调度的黑名单机制3.9 task调度的黑名单机制使用场景第四章 资源调度4.1 executor资源的管理4.2 task的launch流程及其需要注意的点4.3 task的statusUpdate流程第五章 Schedulers On Driver的源代码讲解5.1 schedulers on driver的总体流程5.2 源码讲解之schedulers的初始化5.3 源码讲解之job提交流程5.3 源码讲解之task结果处理第六章 多个spark应用的调度6.1 动态资源分配机制6.2 External shuffle service机制6.2 External shuffle service机制实战

    课程大纲

    免费试看

第三阶段:  Spark SQL

3门课程 26小时54分钟

掌握Spark SQL的前生今世及未来,从而达到思想上入门Spark SQL、详细并且全面的掌握Spark SQL所有的应用点、Spark SQL兼容Hive

  • [老汤]Spark 2.x实战应用系列六之Spark SQL的前生今世及未来

    17节 2小时33分钟
    课程目标:
    本门课程历史性的和思想性的东西比较多,主要是根据Spark SQL的发展历史来达到思想上入门Spark SQL更多的课程可以在51CTO学院中搜索"老汤"-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换(http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )本课程内容:第一章:课程内容简介第二章:需要的基础知识2.1 DSL2.2 SQL2.3 数据格式的种类及其特点第三章:Spark SQL的初衷第四章: SQL On Hadoop4.1 Hive4.2 Impala第五章: Spark SQL架构的发展5.1 Shark5.2 大事记5.3 Spark SQL四大目标5.4 Spark SQL架构及其处理流第六章: Spark SQL API的发展6.1 API实现的发展6.2 DataFrame6.3 Dataset6.4 API演化的合理性6.5 Dataset API分类第七章: Spark SQL的未来

    课程大纲

    免费试看

  • [老汤]Spark 2.x实战应用系列七之玩转Spark SQL(scala&java)

    67节 14小时1分钟
    课程目标:
    本门课程全面且深入的讲述了spark SQL的知识点及其使用方式。采用传统数据库的SQL和Spark SQL做对比的手段使的我们很轻易的理解Spark SQL。并且详细讲解了scala和java两门语言怎么使用Spark SQL,其中用scala讲述原理更多的课程可以在51CTO学院中搜索"老汤"-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换(http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )本课程内容:第一章:1、课程内容2、课程需要的环境第二章:spark SQL相关的基本概念1、spark SQL基本概念2、浅尝spark SQL的API3、浅尝spark SQL的API(java版)4、SparkSession的讲解5、SparkSession的讲解(java版)第三章Dataset/DataFrame的创建1、DataFrame的创建2、DataFrame的创建(java版)3、Dataset的创建4、Dataset的创建(java版)5、RDD/Dataset/DataFrame的转换6、RDD/Dataset/DataFrame的转换(java版)7、schema的定义以及复杂数据类型的用法8、schema api的用处9、schema相关API的讲解(java版)第四章spark SQL读写外部数据源1、基本操作load和save2、基本操作load和save(java版)3、parquet和orc文件的读写4、parquet和orc文件的读写(java版)5、json文件的读写一6、json文件的读写二7、json文件的读写(java版)8、csv文件的读写一9、csv文件的读写二10、csv文件的读写(java版)11、通过jdbc读写mysql数据库12、通过jdbc写mysql数据库需要注意的点13、通过jdbc读mysql数据库需要注意的点14、通过jdbc读写mysql数据库(java版)15、text文件和table数据源的读写16.、text文件和table数据源的读写(java版)17、数据源实战之数据分区18、数据源实战之数据分区(java版)第五章: SQL操作spark SQL1、catalog元数据管理讲解2、catalog元数据管理讲解(java版)3、DDL-表的类型种类及其创建方式4、DDL-表的类型种类及其创建方式(java版)5、DQL-sql查询及其sql函数讲解6、DQL-sql查询及其sql函数讲解(java版)7、SQL内置函数(绝对全)第六章:Dataset/DataFrame的API的使用1、Column的表达2、Column的表达(java版)3、DataFrame中Untyped API讲解4、DataFrame中Untyped API讲解(java版)5、DataFrame Untyped API与SQL对比6、Dataset typed API7、Dataset typed API(java版)8、group分组聚合相关API9、group分组聚合相关API(java版)10、join关联相关API11、join关联相关API(java版)12、sort排序相关API13、sort排序相关API(java版)14、UDAF讲解15.1、UDAF讲解(java版)16、Action API和其他API第六章:spark SQL实战1、RDDs\DataFrames\Datasets各自使用场景2、json格式数据处理3、json格式数据处理(java版)4、物联网设备信息的ETL5、物联网设备信息的ETL(java版)

    课程大纲

    免费试看

  • [老汤]Spark 2.x实战应用系列八之Spark SQL with Hive

    40节 10小时18分钟
    课程目标:
    用一个例子看懂Hive的使用方式;用一个例子看懂Spark SQL是如何兼容hive的;用一个案例弄明白什么情况下用Spark SQL以及什么情况下使用Hive。更多的课程可以在51CTO学院中搜索"老汤"-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换(http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )本课程内容:第一章:课程内容以及环境1、课程内容2、课程需要的环境第二章:基础准备1、Thrift与Socket编程模型对比2、Thrift的使用方法3、课程数据准备第三章:一个例子看懂Hive的使用方式1、Hive CLI的用法2、Hive beeline的用法3、代码里JDBC的方式访问Hive第四章:一个例子看懂Spark SQL兼容Hive1、Spark SQL兼容Hive配置2、通过beeline访问Spark SQL3、通过JDBC访问Spark SQL第五章:Spark SQL应用读写Hive数据源1、Spark SQL代码中写SQL读写Hive2、通过table和saveAsTable两个接口读写Hive3、Spark SQL本地调试读写Hive第六章:Spark SQL and Hive的最佳实践1、案例业务讲解2、ETL job详细讲解3、机器学习推荐功能job详细讲解4、Spark SQL和Hive的各自职责

    课程大纲

    免费试看

第四阶段:  Spark Streaming

5门课程 10小时13分钟

首先站在使用的层面掌握Spark Streaming的编程模型;然后深入到讲解Spark Steaming的性能与稳定、容错与语义;最后站在实践的层面上来讲解Spark Streaming在实时流处理

  • [老汤]Spark 2.x大数据实时流计算之Spark Streaming编程模型(系列一)

    26节 3小时48分钟
    课程目标:
    分别从数据接收、数据处理以及结果保存三个方面对Spark Streaming的编程模型进行了详细的讲解,使得同学们熟练掌握使用Spark Streaming,并且熟练利用Spark Streaming编写实时流计算的应用-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换(http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html  )

    课程大纲

    免费试看

  • [老汤]Spark 2.x大数据实时流计算之Spark Streaming性能与稳定(系列二)

    14节 1小时23分钟
    课程目标:
    分别从原理、性能以及稳定三个方面来讲解Spark Streaming。使得可以对Spark Streaming应用进行性能调优等工作。更多的课程可以在51CTO学院中搜索"老汤"-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换(http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )

    课程大纲

    免费试看

  • [老汤]Spark 2.x大数据实时流计算之Spark Streaming容错与语义(系列三)

    11节 58分钟
    课程目标:
    分别从容错机制与语义两方面对Spark Streaming进行深入的讲解。使得可以使用Spark Streaming的容错机制来搭建稳定容错的Streaming app。并且理解Spark Streaming真正的做到了Exactly Once的语义。更多的课程可以在51CTO学院中搜索"老汤"-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换(http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )

    课程大纲

    免费试看

  • [老汤]Spark 2.x实时流计算Flume+Kafka+Spark Streaming(系列四)

    26节 3小时32分钟
    课程目标:
    分别对Flume和Kafka进行了讲解,并且对Flume、Kafka以及Spark Streaming之间的兼容做了详细的讲解。最后利用Flume+Kafka+Spark Streaming来实现一个真实的实时流处理的案例更多的课程可以在51CTO学院中搜索"老汤"-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换(http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )

    课程大纲

    免费试看

  • [老汤]Spark 2.x实时流计算之Structured Streaming解决的问题(系列五)

    4节 30分钟
    课程目标:
    分别从Spark Streaming的优点和缺点、Continuous Applications以及Streaming in Spark的未来三个方面来理解Structured Streaming解决的问题。从high level的层面理解Structured Streaming,从而为学习和使用Structured Streaming打下坚实的基础-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划 (scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换(http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )

    课程大纲

    免费试看

第五阶段:  Spark内核原理

4门课程 3小时48分钟

分别从内核的级别讲解Spark 2.x的序列化机制、内存管理、存储管理以及shuflle管理

  • [老汤]Spark 2.x内核原理一之序列化机制视频课程

    6节 1小时4分钟
    课程目标:
    通过讲解Spark支持的JavaSerializer和KryoSerializer两种序列化机制,使得我们在开发Spark应用的时候选择正确的序列化机制。本课程还包括IO流的加解密以及解压缩等知识点的讲解课程内容如下:1、课程内容2、Java自带的序列化机制3、Kryo序列化机制4、Java Serializer对比Kryo Serializer5、IO流的加解密6、IO流的解压缩

    课程大纲

    免费试看

  • [老汤]Spark 2.x内核原理二之内存管理(Memory Manager)视频课程

    6节 56分钟
    课程目标:
    Spark是一个基于内存的分布式计算的框架技术,那么我们对Spark内存管理的理解和掌握就非常重要了。本门课程分别从Execution内存和Storage内存的分配、每一个task需要内存的分配、同一个task中多个操作需要内存的分配三个方面来详细的介绍Spark对内存的管理课程内容如下:1、课程内容2、静态内存模型3、统一内存模型4、off_heap内存的管理5、每一个task需要内存的分配6、一个task中多个操作需要内存的分配

    课程大纲

    免费试看

  • [老汤]Spark 2.x内核原理三之存储管理(Storage Manager)视频课程

    7节 53分钟
    课程目标:
    分别从Spark的存储流程、存储类型(disk and memory)、以及备份机制等来掌握Spark的数据存储的原理 课程内容如下: 1、课程内容 2、Block元数据信息 3、Block增查删流程 4、Disk存储特点 5、Memory存储特点6、Block备份机制 7、Block数据传输

    课程大纲

    免费试看

  • [老汤]Spark 2.x内核原理四之shuffle管理(Shuffle Manager)视频课程

    8节 54分钟
    课程目标:
    深入了解Spark Shuffle的原理,分别对Spark Shuffle过程和Spark Shuffle过程做了比较深入的讲解 课程内容如下: 1、课程内容 2、MapOutputTracker 3、HashShuffleWriter 4、SortShuffleWriter 5、UnsafeShuffleWriter 6、BypassMergeSortShuffleWriter 7、ShuffleReader 8、ShuffleManager+MemoryManager+StorageManager

    课程大纲

    免费试看

资料下载

课程名称 操作
[老汤]Spark 2.x之Scala内功修炼视频课程四-面向对象编程基础 付费用户专享
[老汤]Spark 2.x之Scala内功修炼视频课程五-函数式编程基础 付费用户专享
[老汤]Spark 2.x之Scala内功修炼视频课程六-模式匹配 付费用户专享
[老汤]Spark 2.x之Scala内功修炼视频课程七-隐式系统 付费用户专享
[老汤]Spark 2.x之Scala内功修炼视频课程八-类型系统 付费用户专享
[老汤]Spark 2.x之Scala内功修炼视频课程九-集合框架 付费用户专享
[老汤]Spark 2.x 实战应用系列二之正确理解Spark 付费用户专享
[老汤]Spark 2.x 实战应用三系列之Spark-core RDD Api 付费用户专享
[老汤]Spark 2.x 实战应用系列四之Spark-core正确提交spark应用 付费用户专享
[老汤]Spark 2.x实战应用系列五之Schedulers On Driver 付费用户专享
[老汤]Spark 2.x实战应用系列六之Spark SQL的前生今世及未来 付费用户专享
[老汤]Spark 2.x实战应用系列七之玩转Spark SQL(scala&java) 付费用户专享
[老汤]Spark 2.x实战应用系列八之Spark SQL with Hive 付费用户专享
[老汤]Spark 2.x大数据实时流计算之Spark Streaming编程模型(系列一) 付费用户专享
[老汤]Spark 2.x大数据实时流计算之Spark Streaming性能与稳定(系列二) 付费用户专享
[老汤]Spark 2.x大数据实时流计算之Spark Streaming容错与语义(系列三) 付费用户专享
[老汤]Spark 2.x实时流计算Flume+Kafka+Spark Streaming(系列四) 付费用户专享
[老汤]Spark 2.x实时流计算之Structured Streaming解决的问题(系列五) 付费用户专享
[老汤]Spark 2.x内核原理一之序列化机制视频课程 付费用户专享
[老汤]Spark 2.x内核原理二之内存管理(Memory Manager)视频课程 付费用户专享
[老汤]Spark 2.x内核原理三之存储管理(Storage Manager)视频课程 付费用户专享
[老汤]Spark 2.x内核原理四之shuffle管理(Shuffle Manager)视频课程 付费用户专享

从Scala到Spark 2.x专题

¥2088 ¥1598
在线
客服
在线
客服
APP
下载
×

下载Android客户端

下载iphone 客户端

返回
顶部