Scala-day02-02.文件和正则表达式-爬虫实现网页
本课程授课老师
徐培成老师先后在软件公司人软件工程师、系统分析师、项目经理、软件架构师,主持开发了大产权交易系统,异构数据库协同系统、电信资源管理系统、互联网综合性调查等系统,对java技术、大数据(hadoop、storm、spark)、Python、机器学习、数据库技术、互联网应用、远程通信、网络编程、分布式应用、高可用性计算机网络集群等技术有着丰富的实战经验和深厚的技术功底。
开发环境
IDEA
Scala
Python
spark-2.1.0-bin-hadoop2.7
Scala是一门多范式的编程语言,一种类似java的编程语言 ,设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。
在此部分内,将更注重scala的各种语言规则与简单直接的应用,而不在于其是如何具体实现,通过学习本课程能具备初步的Scala语言实际编程能力。本部分课程也可以视为大家下面学习Spark课程的铺垫,供大家扫盲熟悉Scala,提前进行热身运动。
Python语言的部分大家在学习后可以完全学习Python的精髓,并通过这部分的学习给大家打好一个基础,在其他计算框架中多语言的使用上都会涉及到Python这门流行的语言。同时课程里会通过机器学习的案例让大家学习Python的同时去更好的理解机器学习。
Spark 是专为大规模数据处理而设计的快速通用的计算引擎,拥有Hadoop MapReduce所具有的优点;
但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
本部分内容多面涵盖了Spark生态系统的概述及其编程模型,深入内核的研究,Spark on Yarn,Spark Streaming流式计算原理与实践,Spark SQL,Spark的多语言编程以及SparkR的原理和运行。不仅面向项目开发人员,甚至对于研究Spark的学员,此部分都是非常有学习指引意义的课程。
公开笔记对他人可见,有机会被管理员评为“优质笔记”
{{ noteEditor.content.length }}/2000
讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。
课程大纲
- 第一章 Scala第1天
- 1-1试看 Scala-day01-01.Scala安装-体验scala09:04
- 1-2试看 Scala-day01-02.Scala操作符重载-appl14:18
- 1-3Scala-day01-03.Scala C风格printf24:31
- 1-4Scala-day01-04.Scalawhile循环99表08:05
- 1-5Scala-day01-05.for训话守卫条件和yield19:31
- 1-6Scala-day01-06.函数-带名函数-默认值-过程28:22
- 1-7Scala-day01-07.数组-变长数组-转换35:58
- 1-8Scala-day01-08.数组常用操作-sum-max-11:21
- 1-9Scala-day01-09.多维数组08:02
- 1-10Scala-day01-10.类型自动转换07:45
![大数据分析电视收视率项目实战教程(Hadoop、Hive升级Spark技术)](https://s2.51cto.com/images/202003/15/8a1401f09bb8cb029169bffea67f13aa.png?x-oss-process=image)
![Spark实战视频课程(Spark基础知识+企业案例)](https://s2.51cto.com/images/201611/c9a468407c8c1c641647935db6388f1fa77f80.jpg?x-oss-process=image)
![Hadoop(一)入门与环境配置视频课程](https://s2.51cto.com/images/202102/06/2f748eac76bac4872a1c45eeeba8d8a6.jpg?x-oss-process=image)
![6期大数据之日志系统Flume技术教程(讲理论还讲实操)](https://s2.51cto.com/images/202101/13/f3e7ce18f414abf21244f269a021e895.png?x-oss-process=image)
![Spark基础与提升第一季-核心编程视频课程](https://s2.51cto.com/images/201609/b7bd52464fc7d4e4c2866161ab4d11e73244ce.jpg?x-oss-process=image)
![Hadoop安装与搭建](https://s2.51cto.com/images/202002/11/c15573845f1e8cd07701ef6e8a51018e.png?x-oss-process=image)
![爱奇艺实时流处理项目实战 (Spark Streaming)](https://s2.51cto.com/images/202003/15/ff05709d1757c11d216063ef9af3e3b3.png?x-oss-process=image)
![Spark企业案例运用日志分析通过H5跨平台展示【综合业务】](https://s2.51cto.com/images/201608/d6277bd7023ef9f9956022cecad250bc59f05b.jpg?x-oss-process=image)