Hadoop实战教学视频-----基于Zookeeper分步式队列系统集成案例

主要用Zookeeper实现分步式队列应用,包括:分布式消息中间件、业务系统升级方案、搭建Zookeeper的分步式协作平台、基于Zookeeper的程序设计、程序演示 几个方面的内容。

305人学习

高级6课时2017/01/10更新

二维码下载学堂APP缓存视频离线看

张丹
  • 课程介绍
  • 课程大纲

适合人群:

Hadoop算法工程师、大数据工程师、数据挖掘工程师

你将会学到:

主要用Zookeeper实现分步式队列应用,包括:分布式消息中间件、业务系统升级方案、搭建Zookeeper的分步式协作平台、基于Zookeeper的程序设计、程序演示 几个方面的内容。

课程简介:

从2011年开始,中国进入大数据风起云涌的时代,以Hadoop为代表的家族软件,占据了大数据处理的广阔地盘。开源界及厂商,所有数据软件,无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域,变成了大数据开发的标准。在Hadoop原有技术基础之上,出现了Hadoop家族产品,通过“大数据”概念不断创新,推出科技进步。

作为IT界的开发人员,我们也要跟上节奏,抓住机遇,跟着Hadoop一起雄起!

 

前言

本视频为Hadoop实战视频,在给Dataguru网络课程《Hadoop应用开发实战案例》培训时录制,软件系统集成一直是工业界的一个难题,像10年以上的遗留系统集成,公司收购后的多系统集成,全球性的分步式系统集成等。虽然基于SOA的软件架构,从理论上都可以解决这些集成的问题,但是具体实施过程,有些集成项目过于复杂而失败。

随着技术的创新和发展,对于分步式集群应用的集成,有了更好的开源软件的支持,像Zookeeper就是一个不错的分步式协作软件平台。本文将通过一个案例介绍Zookeeper的强大。

课程大纲

1.项目背景:分布式消息中间件

2.需求分析:业务系统升级方案

3.架构设计:搭建Zookeeper的分步式协作平台

4.程序开发:基于Zookeeper的程序设计

5.程序运行


讲师介绍

张丹,前况客创始人/CTO,精通R/Java/Nodejs多种编程语言,10年以上IT编程背景,多项SUN及IBM技术认证。丰富互联网应用开发架构经验,著有《R的极客理想—工具篇》、《R的极客理想—高级开发篇》图书。



展开更多

课程大纲-Hadoop实战教学视频-----基于Zookeeper分步式队列系统集成案例

  • 1

    项目背景ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品,是一个为分布式应用所设计的分布的、开源的协调服务,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。Zookeeper的安装和使用,请参考文章 ZooKeeper伪分布式集群安装及使用。ZooKeeper提供分布式协作服务,并不需要依赖于Hadoop的环境。

    [15:04]
  • 2

    需求分析通过一个案例,来解释如何进行分步式协作平台的系统设计。某大型软件公司,从事领域为供应链管理,随着业务的发展,公司业务规模继续扩大,跨国收购了多家公司,系统进行了二次升级,采用Zookeeper作为分步式中间件调度引擎。为了配合业务发展,IT系统也是越来越复杂的,从最早的主从数据库设计,到ESB企业系统总线的扩展,再到分步式ESB配合分步式消息系统,每一次的升级都需要软件技术的支撑。

    「仅限付费用户」点击下载“Hadoop_dev_14.pdf”

    [12:55]
  • 3

    架构设计基于zookeeper来构建一个分步式队列的应用,来解决需求分析的功能需求。下面内容,排除了ESB的部分,只保留zookeeper进行实现。采购数据,为海量数据,基于Hadoop存储和分析;销售数据,为海量数据,基于Hadoop存储和分析;其他费用支出,为少量数据,基于文件或数据库存储和分析。我们设计一个同步队列,这个队列有3个条件节点,分别对应采购(purchase),销售(sell),其他费用(other)3个部分。这里的同步队列的架构更详细的设计思路,请参考文章 ZooKeeper实现分布式队列Queue

    [15:29]
  • 4

    程序开发基于Zookeeper的程序设计,在真正企业开发时,实验环境应该与需求是一致的,但我的硬件条件有限,因些做了一个简化环境设置、3组实验数据、程序设计编写5个文件。采购金额,是基于Hadoop的MapReduce统计计算。销售金额,是基于Hadoop的MapReduce统计计算。其他费用金额,是基于本地文件的统计计算。利润,通过zookeeper分步式自动调度计算利润。Zookeeper调度,通过构建分步式队列系统,自动化程序代替人工操作。

    [16:36]
  • 5

    运行介绍运行整个的程序,包括以下3个部分。zookeeper服务器、hadoop服务器、分步式队列应用

    [07:33]
  • 6

    程序运行启动统计销售数据程序,设置启动参数1、2、3,只显示用户日志,忽略系统日志。在最后一步,统计其他费用数据程序运行后,从日志中看到3个条件节点都已满足要求。

    [14:14]
在线
客服
APP
下载

下载Android客户端

下载iphone 客户端

官方
微信

关注官方微信

返回
顶部