Hadoop并行算法

295 未经授权,禁止转载了解课程

试看结束,购买课程后可继续观看

试看结束,本课程暂不对外售卖

课程介绍
讨论{{interaction.discussNum ? '(' + interaction.discussNum + ')' : ''}}
适合人群
Hadoop算法工程师、大数据工程师、数据挖掘工程师
你将会学到
让听众了解Web日志分析概述,通过案例介绍、KPI指标设计等方面进行需求分析,讲解算法模型和程序开发多面过程,下载Time的统计结果。
课程简介

主要用Hadoop处理Web日志数据,包括:Web日志分析概述,KPI指标设计,Hadoop并行算法,日志KPI系统架构,用Maven构建Hadoop项目,MapReduce程序实现  几个方面的内容。


前言

本视频为Hadoop实战视频,在给Dataguru网络课程《Hadoop应用开发实战案例》培训时录制,Web日志包含着网站重要的信息,通过日志分析,我们可以知道网站的访问量,哪个网页访问人数最多,哪个网页最有价值等。一般中型的网站(10W的PV以上),每天会产生1G以上Web日志文件。大型或超大型的网站,可能每小时就会产生10G的数据量。

对于日志的这种规模的数据,用Hadoop进行日志分析,是适合不过的了。


课程大纲

1. Web日志分析概述

2. 需求分析:KPI指标设计

3. 算法模型:Hadoop并行算法

4. 架构设计:日志KPI系统架构

5. 程序开发1:用Maven构建Hadoop项目

6. 程序开发2:MapReduce程序实现

 

讲师介绍

张丹,前况客创始人/CTO,精通R/Java/Nodejs多种编程语言,10年以上IT编程背景,多项SUN及IBM技术认证。丰富互联网应用开发架构经验,著有《R的极客理想—工具篇》、《R的极客理想—高级开发篇》图书。


展开更多
发布
头像

{{ item.user.nick_name }} {{ EROLE_NAME[item.user.identity] }}

置顶笔记
讨论图
{{ item.create_time }}回复
  • 删除

    是否确认删除?

    确认
    取消
  • {{ item.is_top == 1 ? '取消置顶' : '置顶'}}

    已有置顶的讨论,是否替换已有的置顶?

    确认
    取消
{{ tag.text}}
头像
{{ subitem.user.nick_name }}{{ EROLE_NAME[subitem.user.identity] }}
{{ subitem.create_time }}回复
删除

是否确认删除?

确认
取消
发布
讨论区空空如也,你来讲两句~
发布
{{tips.text}}
{{ noteHeaderTitle }} 笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}
{{ hasMyNote ? '我的笔记' : '记笔记' }}
优质笔记
更新于:{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}
头像
{{ detail.username }}

公开笔记对他人可见,有机会被管理员评为“优质笔记”

{{ noteEditor.content.length }}/2000

公开笔记
保存
提问

讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。

记录时间点
记录提问时视频播放的时间点,便于后续查看
公开提问
提交

课程大纲

自动连播
华为新版模拟器ENSP_Pro 优缺点介绍软考施行机考,大家觉得是好?还是不好?评论区一起讨论一下吧!华为新版模拟器ENSP_Pro安装方法①51CTO上线短视频功能了-大家可以关注下哦华为新版模拟器ENSP_Pro安装方法③华为新版模拟器ENSP_Pro安装方法②软考施行机考,选择题如何高效备考呢?软考备考的四阶段学习模型误删数据不用慌,峰哥5分钟教你恢复Linux下误删除数据数据库讲师风哥入驻短视频,祝51CTO继续发展壮大,为IT人成长赋能软考报名后,该如何准备?Excel一个公式搞定所有数据的分类整理Oracle数据库日常巡检方法华为模拟器哪个好用?运维讲师徐亮伟刚发布一则短视频,祝51CTO18周年生日快乐!互联网架构发展趋势华为2023新版模拟器ENSP-Pro安装方法①基于Linux部署—肖哥大数据架构与生态圈01轻松理解并熟悉TCP三次握手网络管理不能随便乱做,一定要注意规范和安全要求系统集成项目管理工程师:信息技术基础WPS表格-Excel实用微技巧Snort Inline工作模式配置实战6分钟get视频监控系统配置方法两种不同的Snort架构实战无人驾驶是怎么呈现的?shell脚本一天一练--day1利用ChatGPT自动生成思维导图按能源的支配能力划分人类还处于不完整的行星文明【王佩丰】Excel2010基础视频第1讲:认识Excel 2010什么是Power Pivothybrid怎么就成华为或H3C私有技术了?华为2023新版模拟器ENSP-Pro安装方法③基于Windows部署—肖哥从开发工程师到架构师的角色转变SQL基础实战课程(SQLServer)Oracle19c快速安装过程rac数据库如何识别存储磁盘并创建asm磁盘组快速学习网络技术的小秘密!前端李游携手短视频,祝51CTO18周年生日快乐!如何成长为高阶售前100秒快速学习React数据分析之电商数据整体任务分析SSM框架开发的商城项目(太值得学习啦)统计学和工作与生活的关系用Springboot + WebSocket开发一个在线聊天应用,好像不难Python处理Excel数据:什么是模块、包、库8分钟了解家庭宽带的接入方式什么是自动化运维轻松理解并熟悉TCP四次挥手状态转换普通人能够利用ChatGPT这波趋势吃到红利?
该课程为PDU课程
请前往PDU官网查看
我知道了