适用人群

  • 数据分析师
  • 大数据工程师
  • 软件开发者
  • 技术经理
  • IT专业学生
讲师介绍
avatar老汤

课程: 70学员: 51万focus-icon 关注 已关注
51CTO微职位大数据教学总监; 多年大数据技术架构师,10年软件技术设计开发经验,在爱奇艺、北京国双科技(大数据上市公司)、快钱支付、华为等大型企业设计和开发大数据相关项目,大型的项目包含爱奇艺直播业务大数据中心的建设、2016奥运会CNTV网站流量分析、金融支付反欺诈项目以及电信计费数据清洗分析等数十个大数据相关项目。服务的行业有视频、电子营销、金融、电信等行业。国内首批Spark实践者之一,也是国内早期推出按照”软件即现实世界” 的原则来讲解Spark等大数据技术,丰富的大型企业内部培训大数据技术的经验。
课程内容

第一阶段

正确理解spark

分别从思想上以及技术上入门spark、彻底学习spark解决什么问题以及解决问题过程中的特点

第二阶段

精讲RDD Api

彻底熟练深入的学习RDD的每一个Api的原理以及使用场景、熟练学习SparkContext部分Api、从而达到可以实际开发spark应用

  • course-pic

    [老汤]Spark 2.x 实战应用三系列之Spark-core RDD Api

    学习RDD每一个api的使用方式、实现原理以及使用时需要注意的点。学习了本课程就可以参与真实的spark项目的开发。学习了本课程也是为学习spark其他模块打下坚实的基础更多的课程可以在51CTO学堂中搜索"老汤"本视频是scala版本的RDD api及其原理java版本的RDD api的使用请见:http://7639240.blog.51cto.com/7629240/d-1 python版本
    95课时 · 19小时48分钟40179人学习 4.7 2020/09/07 更新
    课程大纲
    课程大纲

    第三阶段

    正确提交spark应用

    理解spark-submit中每一个参数的含义及其用法、理解spark-submit的原理、从而达到使用spark-submit正确提交我们开发的spark应用

    • course-pic

      [老汤]Spark 2.x 实战应用系列四之Spark-core正确提交spark应用

      本门课程实战的东西偏多,主要是理解透spark-submit中的每一个参数的用法及其原理,以达到正确提交各种业务场景下的spark应用。在了解了spark-submit的每一个参数后,我们进而对spark-submit的原理以及spark的脚本系统进行了深入的探讨,也为深入理解spark打开了大门。更多的课程可以在51CTO学堂中搜索"老汤"----------------------------
      18课时 · 3小时37分钟5111人学习 5.0 2018/01/04 更新
      课程大纲
      课程大纲

      第四阶段

      Schedulers On Driver

      深入理解DAG、Task以及资源的调度管理的原理,从而理解透spark提交job的流程原理,进而达到对spark应用调优的程度

      • course-pic

        [老汤]Spark 2.x实战应用系列五之Schedulers On Driver

        本课程主要的讲述的是spark在driver端怎么样将task调度到executor上进行执行的。分别对DAG的调度、task的调度以及driver端资源的调度作了很深入的讲述,全课程用通俗易懂的语言来描述这些原理性的东西。主要的内容如下:更多的课程可以在51CTO学堂中搜索"老汤"----------------------------------------------------------
        45课时 · 10小时22分钟7141人学习 5.0 2019/04/01 更新
        课程大纲
        课程大纲
        习题/试卷
        [老汤]Spark 2.x 之精讲Spark Core的习题/试卷
        大数据高级工程师:Spark 2.x 实战应用系列之正确理解Spark 5 套试卷
        exercise练习
        资料下载
        [老汤]Spark 2.x 之精讲Spark Core的资料下载
        大数据高级工程师:Spark 2.x 实战应用系列之正确理解Spark 6 个资料
        资料名称文件大小
        spark_1正确理解1,008.70KB
        环境安装16.80KB
        spark rdd 论文翻译_中文_spark老汤2.24M
        spark_1正确理解1,008.70KB
        正确理解spark源代码91.06KB
        序言85.09KB
        download下载
        [老汤]Spark 2.x 实战应用三系列之Spark-core RDD Api9 个资料
        资料名称文件大小
        spark_2-RDD Api课件2.04M
        环境安装和spark-local源代码94.56KB
        spark-rdd-源代码746.56KB
        spark-rdd-源代码746.56KB
        spark_2-RDD Api课件2.04M
        会话切割408.61KB
        会话切割数据流5.98KB
        spark-sessioncut(源代码)89.93KB
        spark-rdd-practice(new)200.34KB
        download下载
        [老汤]Spark 2.x 实战应用系列四之Spark-core正确提交spark应用1 个资料
        资料名称文件大小
        正确提交spark应用课件资料3.54M
        download下载
        [老汤]Spark 2.x实战应用系列五之Schedulers On Driver3 个资料
        资料名称文件大小
        5_schedulers on driver课件(新)1.06M
        Market-Basket-Analysis1.89M
        market-basket-analysis(源代码)280.20KB
        download下载
        学员评价

        {{ starInfo.score }}

        {{ total > 999 ? '999+' : total }}条学员评分
        • {{ tag.tagname }}{{ tag.num > 99 ? '99+' : tag.num }}
        • avatar
          • {{ tag.tagname }}
          {{ item.content || '该用户未填写评价内容' }}
        展开更多more
        加载中
        没有了哦~
        在线
        客服
        APP
        下载

        下载Android客户端

        下载iphone 客户端

        官方
        微信

        关注官方微信

        返回
        顶部