Hadoop实战教学视频-----基于Zookeeper分步式队列系统集成案例

1

项目背景ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品，是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。Zookeeper的安装和使用，请参考文章 ZooKeeper伪分布式集群安装及使用。ZooKeeper提供分布式协作服务，并不需要依赖于Hadoop的环境。

2

需求分析通过一个案例，来解释如何进行分步式协作平台的系统设计。某大型软件公司，从事领域为供应链管理，随着业务的发展，公司业务规模继续扩大，跨国收购了多家公司，系统进行了二次升级，采用Zookeeper作为分步式中间件调度引擎。为了配合业务发展，IT系统也是越来越复杂的，从最早的主从数据库设计，到ESB企业系统总线的扩展，再到分步式ESB配合分步式消息系统，每一次的升级都需要软件技术的支撑。

「仅限付费用户」点击下载“Hadoop_dev_14.pdf”

3

架构设计基于zookeeper来构建一个分步式队列的应用，来解决需求分析的功能需求。下面内容，排除了ESB的部分，只保留zookeeper进行实现。采购数据，为海量数据，基于Hadoop存储和分析；销售数据，为海量数据，基于Hadoop存储和分析；其他费用支出，为少量数据，基于文件或数据库存储和分析。我们设计一个同步队列，这个队列有3个条件节点，分别对应采购(purchase)，销售(sell)，其他费用(other)3个部分。这里的同步队列的架构更详细的设计思路，请参考文章 ZooKeeper实现分布式队列Queue

4

程序开发基于Zookeeper的程序设计，在真正企业开发时，实验环境应该与需求是一致的，但我的硬件条件有限，因些做了一个简化环境设置、3组实验数据、程序设计编写5个文件。采购金额，是基于Hadoop的MapReduce统计计算。销售金额，是基于Hadoop的MapReduce统计计算。其他费用金额，是基于本地文件的统计计算。利润，通过zookeeper分步式自动调度计算利润。Zookeeper调度，通过构建分步式队列系统，自动化程序代替人工操作。

5

运行介绍运行整个的程序，包括以下3个部分。zookeeper服务器、hadoop服务器、分步式队列应用

6

程序运行启动统计销售数据程序，设置启动参数1、2、3，只显示用户日志，忽略系统日志。在最后一步，统计其他费用数据程序运行后，从日志中看到3个条件节点都已满足要求。