hadoop的federation&HA

本套课程从零起始，由浅入深，逐层深入的讲解Hadoop系统架构。

从Hadoop集群构建，到常规Hadoop集群维护管理，到Hadoop的架构原理，到Mapreduce的工作原理剖析，到生产环境下的故障排查与调优处理

绝不仅仅是操作或者告诉你如何应用，而是从底层原理出发，结合源代码剖析Hadoop的Hadoop工作原理，其中涉及网络通信中的google protobuf串行技术与基于状态机的yarn调度框架中二次分发处理机制，基于线程池和NIO技术的底层IPC、RPC技术架构。同时，使用UML对Mapreduce的工作流程进行建模分析，编程领域涉及MR的链式处理、多输入控制、RecordReader的任务处理、传统关系型数据的高并发处理与全排序计算，数据倾斜处理，二次排序处理，团购网站中基于用户评论数据的标签生成的处理手段。生产环境下的hadoop namenode的HA配置详解与原理分析，手动、自动方式下的容灾演练，使用federation实现对namenode的负载均衡和水平扩展。