独立IP统计KPIIP. JAVA-51CTO学堂

{{ interaction.likeNum == 0 ? (pageType === 'video' ? '抢首赞' : '点赞') : formatNumber(interaction.likeNum) }} {{ interaction.collectionNum == 0 ? '收藏' : formatNumber(interaction.collectionNum) }} {{ interaction.discussNum == 0 ? (pageType === 'video' ? '抢沙发' : '讨论') : formatNumber(interaction.discussNum) }}

提问 {{ interaction.noteNum > 0 ? interaction.noteNum + '篇笔记' : '记笔记' }} 离线观看

下载学堂APP

缓存视频离线看

报告问题离线观看

下载学堂APP

缓存视频离线看

课程介绍

讨论{{interaction.discussNum ? '(' + interaction.discussNum + ')' : ''}}

适合人群

Hadoop算法工程师、大数据工程师、数据挖掘工程师

你将会学到

让听众了解Web日志分析概述，通过案例介绍、KPI指标设计等方面进行需求分析，讲解算法模型和程序开发多面过程，下载Time的统计结果。

课程简介

主要用Hadoop处理Web日志数据，包括：Web日志分析概述，KPI指标设计，Hadoop并行算法，日志KPI系统架构，用Maven构建Hadoop项目，MapReduce程序实现几个方面的内容。

前言

本视频为Hadoop实战视频，在给Dataguru网络课程《Hadoop应用开发实战案例》培训时录制，Web日志包含着网站重要的信息，通过日志分析，我们可以知道网站的访问量，哪个网页访问人数最多，哪个网页最有价值等。一般中型的网站(10W的PV以上)，每天会产生1G以上Web日志文件。大型或超大型的网站，可能每小时就会产生10G的数据量。

对于日志的这种规模的数据，用Hadoop进行日志分析，是适合不过的了。

课程大纲

1. Web日志分析概述

2. 需求分析：KPI指标设计

3. 算法模型：Hadoop并行算法

4. 架构设计：日志KPI系统架构

5. 程序开发1：用Maven构建Hadoop项目

6. 程序开发2：MapReduce程序实现

讲师介绍

张丹，前况客创始人/CTO，精通R/Java/Nodejs多种编程语言，10年以上IT编程背景，多项SUN及IBM技术认证。丰富互联网应用开发架构经验，著有《R的极客理想—工具篇》、《R的极客理想—高级开发篇》图书。