Spark IDEA调试环境搭建-51CTO学堂

{{ interaction.likeNum == 0 ? (pageType === 'video' ? '抢首赞' : '点赞') : formatNumber(interaction.likeNum) }} {{ interaction.collectionNum == 0 ? '收藏' : formatNumber(interaction.collectionNum) }} {{ interaction.discussNum == 0 ? (pageType === 'video' ? '抢沙发' : '讨论') : formatNumber(interaction.discussNum) }}

提问 {{ interaction.noteNum > 0 ? interaction.noteNum + '篇笔记' : '记笔记' }} 离线观看

下载学堂APP

缓存视频离线看

报告问题离线观看

下载学堂APP

缓存视频离线看

课程介绍

讨论{{interaction.discussNum ? '(' + interaction.discussNum + ')' : ''}}

适合人群

1.具有基本的数据结构及软件开发技能 2.能使用linux 3.对大数据感兴趣的程序员 4.在校学生 5.希望进入大数据领域开发的人员

你将会学到

将全面掌握Spark生态体系，深入理解Spark性能优化的核心要点，成为一名专业的大数据工程师

深入理解Spark核心原理
精通Spark优化技巧
熟练使用Spark和Clickhouse进行分析
获得赠送《PyTorch深度学习实战》书籍的机会

课程简介

数据分析职业是一个多金的职业，数据分析职位是一个金饭碗的职位，前景美好，但是要全面掌握大数据分析技术，非常困难，大部分学员的痛点是不能快速找到入门要点，精准快速上手。

本课程采用项目驱动的方式，以Spark3和Clickhouse技术为突破口，带领学员快速入门Spark3+Clickhouse数据分析，促使学员成为一名高效且优秀的大数据分析人才。

学员通过本课程的学习，不仅可以掌握使用Python3进行Spark3数据分析，还会掌握利用Scala/java进行Spark数据分析，多语言并进，力求全面掌握；另外通过项目驱动，掌握Spark框架的精髓，教导Spark源码查看的技巧；会学到Spark性能优化的核心要点，成为企业急缺的数据分析人才；更会通过Clickhouse和Spark搭建OLAP引擎，使学员对大数据生态圈有一个更加全面的认识和能力的综合提升。真实的数据分析项目，学完即可拿来作为自己的项目经验，增加面试谈薪筹码。

课程涉及内容：

Ø Spark内核原理（RDD、DataFrame、Dataset、Structed Stream、SparkML、SparkSQL）

Ø Spark离线数据分析(千万简历数据分析、雪花模型离线数仓构建)

Ø Spark特征处理及模型预测

Ø Spark实时数据分析(Structed Stream)原理及实战

Ø Spark+Hive构建离线数据仓库（数仓概念ODS/DWD/DWS/ADS）

Ø Clickhouse核心原理及实战

Ø Clickhouse engine详解

Ø Spark向Clickhouse导入简历数据，进行数据聚合分析

Ø catboost训练房价预测机器学习模型

Ø 基于Clickhouse构建机器学习模型利用SQL进行房价预测

Ø Clickhouse集群监控，Nginx反向代理Grafana+Prometheus+Clickhouse+node_exporter