Spark GraphX图计算
一、课程优势
本课程有陈敬雷老师的清华大学出版社配套新书教材《分布式机器学习实战》人工智能科学与技术丛书,
新书配合此实战课程结合学习,一静一动,互补高效学习!
本课程由互联网一线知名大牛陈敬雷老师全程亲自授课,技术前沿热门,是真正的互联网工业级实战项目。
二、课程简介
Spark是用于大规模数据处理的统一分析引擎,一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室开发的通用内存并行计算框架,用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式,包括交互式查询和流处理。Spark的一个主要特点是能够在内存中进行计算,及时依赖磁盘进行复杂的运算,Spark依然比MapReduce更加高效。Spark同时也是一个分布式机器学习平台。
Spark大数据开发工程师在互联网公司的需求量非常大,是非常抢手的人才,而且薪资偏高,学好Spark大数据开发轻松达到月薪几万的水平!
那么想学好Spark应该掌握哪些核心技能呢?我们这个精品课就是让大家在最短的时间掌握Spark的最核心的技术!通过Spark框架理论+编程基础+项目实战的方式,让你快速成为Spark大数据开发工程师高手!
三、老师介绍
陈敬雷 充电了么创始人,CEO兼CTO
陈敬雷,北京充电了么科技有限公司创始人,CEO兼CTO,十几年互联网从业经验,曾就职于用友、中软、凡客、乐蜂网(唯品会)、猎聘网、人民日报(灵思云途)、北京万朝科技,曾任架构师、首席技术官、首席科学家等职务,对业务领域B端、C端、电商、职场社交招聘、内容文娱、营销行业都有着丰富的经验,在技术领域,尤其在大数据和人工智能方向有丰富的算法工程落地实战经验,其中在猎聘网任职期间主导的推荐算法系统项目获得公司优秀项目奖,推荐效果得到5倍的提升。
陈敬雷著有清华大学出版社两本人工智能书籍,分别是《分布式机器学习实战(人工智能科学与技术丛书)》、《自然语言处理原理与实战(人工智能科学与技术丛书)》。
目前专注于大数据和人工智能驱动的上班族在线教育行业,研发了充电了么app和网站,用深度学习算法、nlp、推荐引擎等技术来高效提升在线学习效率。
四、《分布式机器学习实战》新书介绍及最新热点技术解密如下:
陈敬雷老师的京东自营书名标题: 分布式机器学习实战(人工智能科学与技术丛书)
****************好评如潮**************
本书作者陈敬雷曾在多家一线大型互联网公司任职,也有过技术创业的背景,经历过从0到1,从1从100的技术发展历程,尤其在AI、大数据、机器学习、深度学习等方面有很强的理论基础和实战经验。《分布式机器学习实战》包含了目前主流互联网公司所采用的大数据、AI方面的系统架构、中间件、工具、机器学习/深度学习算法等,内容由浅入深,全面详实,强烈推荐给读者!
——陈兴茂 (猎聘CTO)
我读了这本书,有三点深切的体会,一、系统全面:本书把分布式机器学习的关键环节进行了系统化梳理,介绍了主流的技术和工具平台,同时对大数据技术也做了详细讲解,对内容的梳理全面丰富,是入门、参考、提高的有益工具书!二、深入浅出:通过大量的系统化讲课,配合丰富的素材、案例和实际操作场景介绍,可以说是不但授人以渔也同时授人以鱼!开卷有益!现学现用!活学活用!三、讲解清晰,思路明确:可以看出作者是有深厚的功底,是经过长期实践的经验总结,又融合了大量的最新结果,连同职业路径规划都详细做好,有此一书,是难得佳作!
——梅一多 博士(上海市青年拔尖人才获得者,阿里云最有价值技术专家,中基凌云科技有限公司联合创始人兼CTO)
《分布式机器学习实战》这本书非常贴近实战,含盖了目前各类应用场景的算法系统,对每个场景都有理论基础、源代码、算法解度等,深入浅出的讲解对于读者具有很强的实用性,做为大数据及人工智能领域的从业人员是必选的工具类参考书。
——杨正洪 博士(中央财经大学财税大数据实验室首席科学家)
此书的作者非常贴近实战,不“高来高去”讲一些宏观的概念,书中的每一个算法,每一个场景都是来自于当前的商业应用,对于读者来讲这是一本难得的实用宝典。
——刘冬冬(知名市场战略、生态系统和企业数字化转型专家,首席数据官联盟创始人,曾先后服务过统一集团、联想集团、百度、美国D&B集团、华为技术、海航科技集团等)
陈敬雷写的这本书理论联系实践,深入浅出,覆盖技术面广,并且有工业级的系统案例,包含目前比较热门的推荐算法系统、人脸识别、对话机器人等项目,对常见的大数据算法系统架构也做了详细讲解,是一本机器学习方面的佳作。本书不管是初学者、架构师、还是资深人士,都会开卷有益、有所收获。
——龙旭东(北京掌游智慧科技有限公司董事长,曾任海航科技集团CTO和文思海辉董事,北京大学计算机系学士+硕士)
公开笔记对他人可见,有机会被管理员评为“优质笔记”
{{ noteEditor.content.length }}/2000
讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。
课程大纲
- 第一章 Spark框架核心原理与技术、生态圈、安装部署
- 1-1试看 Spark原理与介绍15:00
- 1-2Spark和Hadoop的比较10:59
- 1-3Spark大数据生态圈04:04
- 1-4Spark MLlib机器学习13:01
- 1-5Spark GraphX图计算04:59
- 1-6Spark Streaming流式计算03:02
- 1-7Spark编程及常用函数介绍40:01
- 1-8Spark分布式集群环境安装搭建及项目案例19:17
- 第二章 大数据Spark项目开发实战及服务器部署全过程
- 2-1大数据Spark分布式大规模发送邮件项目实战01:52:35
- 2-2大数据Spark分布式操作Hbase项目实战01:28:12