使用Flume采集日志

本系列课程将基于RedHat Linux 7.4版本、Hadoop 2.7.3、Spark 2 版本多面介绍大数据的整体内容，让学员深入理解并学习运行机制和原理，从而进一步学习大数据的相关内容。

赵渝强老师博客地址：http://collen7788.blog.51cto.com/

课程说明

==========================================================================

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。对于某些NoSQL数据库它也提供了连接器。Sqoop，类似于其他ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安全的数据处理。Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务来处理每个区块。
Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。

赵渝强老师：大数据系列视频课程

==========================================================================

1、Hadoop大数据迅速学习高级应用系列套餐

      https://edu.51cto.com/topic/1155.html    

2、Spark 2系列课程视频套餐

      https://edu.51cto.com/topic/1258.html 

3、大数据消息（Kafka）与实时处理（Storm）系统系列套餐

      https://edu.51cto.com/topic/1003.html 

4、NoSQL 数据库实战系列视频课程专题（上）

      https://edu.51cto.com/topic/955.html 

5、NoSQL 数据库实战系列视频课程专题（下）

      即将发布