01.气温数据多重聚合
{{ interaction.likeNum == 0 ? (pageType === 'video' ? '抢首赞' : '点赞') : formatNumber(interaction.likeNum) }}
{{ interaction.collectionNum == 0 ? '收藏' : formatNumber(interaction.collectionNum) }}
{{ interaction.discussNum == 0 ? (pageType === 'video' ? '抢沙发' : '讨论') : formatNumber(interaction.discussNum) }}
分享
适合人群
对大数据有所了解,有一定编程基础
你将会学到
体验Spark技术,加深对大数据的认识,为后续做项目夯实基础。
- 体验Spark技术,加深对大数据的认识,为后续做项目夯实基础。
- 理解和熟悉Spark生态圈
课程简介
Spark最初由美国加州伯克利大学的AMP实验室于2009年开发,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序。
Spark主要具有如下优点:
Spark的计算模式也属于MapReduce,但不局限于Map和Reduce操作,还提供了多种数据集操作类型,编程模型比MapReduce更灵活;
Spark提供了内存计算,中间结果直接放到内存中,带来了更高的迭代运算效率;
Spark基于DAG的任务调度执行机制,要优于MapReduce的迭代执行机制。
Spark最大的特点就是将计算数据、中间结果都存储在内存中,大大减少了IO开销
Spark提供了多种高层次、简洁的API,通常情况下,对于实现相同功能的应用程序,Spark的代码量要比Hadoop少2-5倍。
但Spark并不能完全替代Hadoop,主要用于替代Hadoop中的MapReduce计算模型。实际上,Spark已经很好地融入了Hadoop生态圈,并成为其中的重要一员,它可以借助于YARN实现资源调度管理,借助于HDFS实现分布式存储。
Spark 是一个通用引擎,可用它来完成各种各样的运算,包括 SQL 查询、文本处理、机器学习等,而在 Spark 出现之前,我们一般需要学习各种各样的引擎来分别处理这些需求。因此大数据研发者需要进行Spark的学习。
展开更多
{{tips.text}}
{{ noteHeaderTitle }}
笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}
{{ hasMyNote ? '我的笔记' : '记笔记' }}
优质笔记
更新于:{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}
{{ detail.username }}
公开笔记对他人可见,有机会被管理员评为“优质笔记”
{{ noteEditor.content.length }}/2000
公开笔记
保存提问
讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。
记录时间点
记录提问时视频播放的时间点,便于后续查看
公开提问
提交课程大纲
自动连播
- 第一章 Spark基础day01
- 1-1试看 01.Spark介绍-安装-测试16:30
- 1-202.Spark shell实现word count26:04
- 1-303.Spark idea下编程scala版24:19
- 1-404.Spark idea下编程java版15:01
- 第二章 Spark基础day02
- 2-101.气温数据多重聚合25:46
- 2-202.气温数据多重聚合java实现16:04
- 2-303.标签生成scala48:12
- 2-404.标签生成Java34:18
- 2-505.spark集群部署22:56
- 2-606.spark集群上执行taggen25:26
58课时
大数据分析电视收视率项目实战教程(Hadoop、Hive升级Spark技术)
10364人学习
猿课教育
5.0
¥318.00
133课时
Spark实战视频课程(Spark基础知识+企业案例)
9530人学习
猿课教育
4.8
¥199.00
34课时
Hadoop(一)入门与环境配置视频课程
3586人学习
猿课教育
1.0
¥34.00
25课时
6期大数据之日志系统Flume技术教程(讲理论还讲实操)
3131人学习
猿课教育
5.0
¥98.00
49课时
Spark基础与提升第一季-核心编程视频课程
3086人学习
猿课教育
暂无评分
¥99.00
5课时
Hadoop安装与搭建
2637人学习
猿课教育
5.0
会员免费
35课时
爱奇艺实时流处理项目实战 (Spark Streaming)
2480人学习
猿课教育
4.5
¥238.00
14课时
Spark企业案例运用日志分析通过H5跨平台展示【综合业务】
1384人学习
猿课教育
5.0
¥19.00