ad
close

适用人群

  • 数据分析师
  • 大数据工程师
  • 软件开发者
  • 技术经理
  • IT专业学生
讲师介绍
avatar老汤

课程: 0学员: 0
51CTO微职位大数据教学总监,多年大数据技术架构师,10年软件技术设计开发经验。曾于爱奇艺、北京国双科技(大数据上市公司)、快钱支付、华为等大型企业设计和开发大数据相关项目。项目经验:爱奇艺直播业务大数据中心的建设,2016奥运会CNTV网站流量分析,金融支付反欺诈项目,电信计费数据清洗分析等等。行业经验:视频,电子营销,金融,电信等。国内首批Spark实践者之一,也是国内早期推出按照“软件即现实世界” 原则来讲解Spark等大数据技术的人。拥有丰富的大型企业内部培训大数据技术的经验。
课程内容

第一阶段

正确理解spark

分别从思想上以及技术上入门spark、彻底学习spark解决什么问题以及解决问题过程中的特点

第二阶段

精讲RDD Api

彻底熟练深入的学习RDD的每一个Api的原理以及使用场景、熟练学习SparkContext部分Api、从而达到可以实际开发spark应用

  • course-pic

    [老汤]Spark 2.x 实战应用三系列之Spark-core RDD Api

    学习RDD每一个api的使用方式、实现原理以及使用时需要注意的点。学习了本课程就可以参与真实的spark项目的开发。学习了本课程也是为学习spark其他模块打下坚实的基础更多的课程可以在51CTO学堂中搜索"老汤"本视频是scala版本的RDD api及其原理java版本的RDD api的使用请见:http://7639240.blog.51cto.com/7629240/d-1 python版本
    95课时 · 19小时48分钟40179人学习 4.7 2020/09/07 更新
    课程大纲
    课程大纲

    第三阶段

    正确提交spark应用

    理解spark-submit中每一个参数的含义及其用法、理解spark-submit的原理、从而达到使用spark-submit正确提交我们开发的spark应用

    • course-pic

      [老汤]Spark 2.x 实战应用系列四之Spark-core正确提交spark应用

      本门课程实战的东西偏多,主要是理解透spark-submit中的每一个参数的用法及其原理,以达到正确提交各种业务场景下的spark应用。在了解了spark-submit的每一个参数后,我们进而对spark-submit的原理以及spark的脚本系统进行了深入的探讨,也为深入理解spark打开了大门。更多的课程可以在51CTO学堂中搜索"老汤"----------------------------
      18课时 · 3小时37分钟5120人学习 5.0 2018/01/04 更新
      课程大纲
      课程大纲

      第四阶段

      Schedulers On Driver

      深入理解DAG、Task以及资源的调度管理的原理,从而理解透spark提交job的流程原理,进而达到对spark应用调优的程度

      • course-pic

        [老汤]Spark 2.x实战应用系列五之Schedulers On Driver

        本课程主要的讲述的是spark在driver端怎么样将task调度到executor上进行执行的。分别对DAG的调度、task的调度以及driver端资源的调度作了很深入的讲述,全课程用通俗易懂的语言来描述这些原理性的东西。主要的内容如下:更多的课程可以在51CTO学堂中搜索"老汤"----------------------------------------------------------
        45课时 · 10小时22分钟7141人学习 5.0 2019/04/01 更新
        课程大纲
        课程大纲
        习题/试卷
        [老汤]Spark 2.x 之精讲Spark Core的习题/试卷
        大数据高级工程师:Spark 2.x 实战应用系列之正确理解Spark 5 套试卷
        资料下载
        [老汤]Spark 2.x 之精讲Spark Core的资料下载
        大数据高级工程师:Spark 2.x 实战应用系列之正确理解Spark 6 个资料
        资料名称文件大小
        spark_1正确理解1,008.70KB
        环境安装16.80KB
        spark rdd 论文翻译_中文_spark老汤2.24M
        spark_1正确理解1,008.70KB
        正确理解spark源代码91.06KB
        序言85.09KB
        [老汤]Spark 2.x 实战应用三系列之Spark-core RDD Api9 个资料
        资料名称文件大小
        spark_2-RDD Api课件2.04M
        环境安装和spark-local源代码94.56KB
        spark-rdd-源代码746.56KB
        spark-rdd-源代码746.56KB
        spark_2-RDD Api课件2.04M
        会话切割408.61KB
        会话切割数据流5.98KB
        spark-sessioncut(源代码)89.93KB
        spark-rdd-practice(new)200.34KB
        [老汤]Spark 2.x 实战应用系列四之Spark-core正确提交spark应用1 个资料
        资料名称文件大小
        正确提交spark应用课件资料3.54M
        [老汤]Spark 2.x实战应用系列五之Schedulers On Driver3 个资料
        资料名称文件大小
        5_schedulers on driver课件(新)1.06M
        Market-Basket-Analysis1.89M
        market-basket-analysis(源代码)280.20KB
        学员评价

        {{ starInfo.score }}

        {{ total > 999 ? '999+' : total }}条学员评分
        • {{ tag.tagname }}{{ tag.num > 99 ? '99+' : tag.num }}
        • avatar
          • {{ tag.tagname }}
          {{ item.content || '该用户未填写评价内容' }}
        展开更多more
        加载中
        没有了哦~
        在线
        客服
        APP
        下载

        下载Android客户端

        下载iphone 客户端

        官方
        微信

        关注官方微信

        返回
        顶部