学习路径 > 大数据 > Spark > 大数据企业级真实案例系列视频专题

大数据企业级真实案例系列视频专题

企业级的大数据案例,真正满足学员的需求,让学员快速掌握企业级大数据开发流程。时下热门的flink和Prosto技术让你活学活用。

6

门课程

16230

人学习

38小时4分钟

课程总时长

长成学院

高级讲师

讲师评分:4.4

永久观看
 
系统化学习
 
24小时答疑
  资料一键下载
学习路径价 ¥486.00
立省486.00元

支持蚂蚁花呗分期

简单5步马上享受花呗分期:

1. 点击立即购买
2. 订单确认页, 点击 ”去支付“
3. 支付中心, 使用【支付宝】付款
4. 使用【支付宝】APP扫描付款二维码
5. 付款方式选择 花呗分期~ 搞定~

查看详情>>
总价 ¥972.00

第一阶段:  互联网常用的大数据指标+Hadoop案例

3门课程 20小时55分钟

互联网常用的大数据指标Hadoop流量统计案例电视收视率项目实战视频课程(大数据企业级案例)

  • 互联网常用的大数据指标系列视频课程

    23节 3小时21分钟
    课程目标:
    课程部分截图:01项目架构图介绍.avi 02项目流程图.avi 03项目流程图三.avi 04公司业务的介绍流程.avi 05网站分析实战.avi 06在集群上面开启hadoop并且创建对应的表.avi 07项目表字段对应的字段名.avi 08hive业务数据的导入过程.avi 09按天统计pv的sql语句.avi 10每天每个省份每个小时统计和统计每天页面访问量.avi 11统计总的访问人数,即访客.avi 12统计当天平均访问页面数.avi 13统计每个页面访客数和最早时间和最晚时间.avi 14平均网站停留时间.avi 15客户设备相关信息统计.avi          16来源统计的写法.avi 17用户地区访问量分布.avi 18当日回访人数占比.avi 19访客平均访问频度.avi 20独立用户平均访问时长.avi 21独立平均访问深度 .avi 22访问来源统计.avi 23来源的数据统计.avi 相关热门教程Scala从入门到企业级开发教程https://edu.51cto.com/course/11861.html

    课程大纲

    免费试看

  • 大数据分析​​电视收视率项目实战教程(Hadoop、Hive升级Spark技术)

    58节 13小时23分钟
    课程目标:
    本案例是国内的一家广电企业作为非洲国家的一个运营商,以用户收视行为数据作为基础数据,通过对频道和节目的分析,采用多维度统计分析的方法挖掘用户的收视行为特征。用以指导并辅助产品运营、用户增值消费导向、广告投放及节目和频道质量的把控,提升用户的粘度提供参考依据,针对卢旺达地区的收视行为做出了分析,并根据分析结果提出了一系列措施来吸引当地用户,提高收视率。通过此案例可以学习大数据整体开发流程,课程是围绕一个大数据整理流程而做的教学课程,让大家明白大数据不同技术的相互协调,从收集数据,过滤数据,数据分析,数据展示,调度的使用而开发的课程,而且怎么从hadoop,hive应用快速的过度到spark上面而做的整套流程。学完此课程可以企业流程做一个整体的认识。分布式集群环境搭建  Linux 搭建   hadoop安装(4台机器)  hive安装  flume 安装  sqoop 安装  Azkaban安装 php搭建第01节:项目的简介第02节:项目的背景第03节:项目流程演示第04节:讲课的内容和对应的知识点第05节:php展示统计分析之后的数据第06节:大数据架构介绍并且企业使用的测试集群环境和人员配置第07节:VM的安装第08节:centos的安装和网络配置第09节:通过第三方连接centos的方法第10节:CentOS的yum源更新已经关闭防火墙第11节:JAVA的安装和hadoop安装第12节:完全分布式搭建(上)第13节:完全分布式搭建(下)第14节:通过hadoop自带的demo运行单词统计第15节:写一个sh脚本,可以通过一台机器控制多台机器第16节:hadoop常用的命令简单介绍第17节:MAPREDUCE 示例编写及编程规范第18节:安装时间同步工具,让所有电脑进行同步第19节:Hive简介和工作流程第20节:Mysql的安装,centos7安装mysql注意点第21节:安装Hive,并且使用Hive做一个小案例第22节:把txt文件的数据导入到Hive表中第23节:Flume采集系统结构图第24节:Flume的安装部署和实战第25节:sqoop数据迁移和安装第26节:sqoop数据从hadoop里面导入到mysql里面第27节:sqoop数据从mysql里面导入到hadoop里面第28节:Azkaban介绍和安装第29节:Azkaban创建SSL配置和配置文件第30节:Azkaban实战通过5个不同场景介绍原理第31节:电视采集项目流程篇之通过linux日志收集数据到hdfs上面第32节:电视采集项目流程篇之通过MAPREDUCE 把收集数据进行清洗第33节:电视采集项目流程篇之清洗数据绑定到hive表中(上)第34节:电视采集项目流程篇之清洗数据绑定到hive表中(下)第35节:电视采集项目流程篇之根据hive绑定数据统计计算保存到hive表中第36节:电视采集项目流程篇之把hive表中数据导入到mysql中第37节:电视采集项目流程篇之安装php环境并且快速熟悉php语法第38节:电视采集项目流程篇之安装php和echarts进行结合展示图表第39节:电视采集项目流程篇之Azkaban调度脚本的编写第40节:电视采集项目流程篇之Azkaban流程调度演示,最终在php页面展示第41节:hadoop和hive项目怎么平滑的转到spark上面介绍第42节:spark的安装和使用第43节:Spark整体架构第44节:transformation和action介绍第45节:Spark SQL和DataFrame第46节:电视采集项目流程spark篇通过sparksql处理业务逻辑上第47节:电视采集项目流程spark篇通过sparksql处理业务逻辑下第48节:电视采集项目流程spark篇通过Azkaban调度spark第49节:项目总体总结第50节:简历指导

    课程大纲

    免费试看

  • Hadoop流量统计案例视频课程

    13节 4小时10分钟
    课程目标:
    01项目流量统计架构与基本环境的搭建02项目流量统计FlowBean的实现和序列化反序列化和比较排序03项目流量统计Mapper阶段的实现04项目流量统计reduce阶段的实现05项目流量统计排序的方案的考虑06项目流量统计主控制的写法07项目流量统计上传jar包和文件运行看效果08项目流量统计javabeen的tostring改写09项目流量统计排序的Map和reduce的写法10项目流量统计排序的主控制器和执行结果11项目流量统计排序的2个主控制器的合成写法12项目流量统计排序的二个控制器一次执行的方法和效果13项目流量统计排序的总体介绍

    课程大纲

    免费试看

第二阶段:  近实时运算的利器Prosto视频课程

1门课程 6小时14分钟

近实时运算的利器Prosto视频课程

  • Facebook数据查询引擎Presto教程

    36节 6小时14分钟
    课程目标:
    版本:presto-server-0.214.tar软件版本presto-cli-0.214-executableCentOS71、presto的起因hadoop ---hdfs----MR(java)-----hivehive底层原理用MR,速度比较慢,公司hadoop集群主要集中于晚上到凌晨,平日工作时间负载不是很高。但在工作时间内,公司业务人员有实时查询的需求,现在主要借助于hive提供业务人员的查询。hive是基于MR类的SQL查询工具,他会输入的查询SQL解析为MapReduce,能极大的降低使用大数据门槛,让一般的业务人员可以直接准对大数据进行查询,但是有一个利弊,它的查询基于MR,会让人等待比较着急,等待的时间可能是几个小时或者一天。 spark基于内存提高改良的hive,sql,现在factbook在hive上面开发一套利器,准对hive可以通过sql语句快速查询,presto。2、Facebook为何开发Presto Facebook的2011的数据仓库存储在少量大型hadoopfs集群,Hive是FaceBook在几年前专门为Hadoop打造的一款数据仓库工具,在以前,facebook的科学家和分析师一直靠hive进行数据分析.但hive使用MR作为底层计算框架,是专为批处理设计的,但是随着数据的不断增多,使用hive进行一个简单的数据查询可能要花费分钟或者几个小时,显然不能满足查询需求,FaceBooke也调研了其他比hive更快的工具,但是他们需要在功能有限的条件下做简单操作,以至于无法操作Facebook庞大的数据要求。2012年开始研究自己的框架--presto,每日可以超过1pb查询,而且速度比较快,faceBook声称Presto的性能比hive要好上10倍或者100倍,presto和hive都是facebook开发的 Presto是什么Presto是一个开源的分布式SQL查询引擎,适用于交互式查询,数据量支持GB到PB字节。Presto的设计和编写完全是为了解决Facebook这样规模的商业数据仓库交互式分析和处理速度的问题Presto可以做什么Presto支持在线数据查询,包括Hive kafka Cassandra关系数据库以及专门数据存储,一条Presto查询可以将多个数据源进行合并,可以跨越整个组织进行分析。Presto以分析师的需求作为目标,他们期望相应速度小于1秒到几分钟,Presto要么在使用速度的快的昂贵的商业方案,提高内存,要么是消耗大量的硬件进行快速查询。(128G 64G)架构图本套课程教给如何在企业环境中使用Presto技术。

    课程大纲

    免费试看

第三阶段:  Flink读取kafka数据

1门课程 5小时27分钟

Flink读取kafka数据保存到redis的解决方案视频课程

  • Flink读取kafka数据保存到redis的解决方案视频课程

    32节 5小时27分钟
    课程目标:
    大数据发展史:flink和storm sparkstreaming对比实时框架如何选择1:需要关注流数据是否需要进行状态管理 2:At-least-once或者Exectly-once消息投递模式是否有特殊要求 3:对于小型独立的项目,并且需要低延迟的场景,建议使用storm 4:如果你的项目已经使用了spark,并且秒级别的实时处理可以满足需求的话,建议使用sparkStreaming 5:要求消息投递语义为 Exactly Once 的场景;数据量较大,要求高吞吐低延迟的场景;需要进行状态管理或窗口统计的场景,建议使用flink准对以上知识我们通过flink读取kafka保存到redis方式快速让大家学习flink如何使用,以及我们如何搭建高性能的flink应用,这个课程属于快速实战篇。flink + kafka + redis 实时计算。

    课程大纲

    免费试看

第四阶段:  爱奇艺实时流处理项目实战

1门课程 5小时26分钟

爱奇艺实时流处理项目实战 (Spark Streaming)

  • 爱奇艺实时流处理项目实战 (Spark Streaming)

    35节 5小时26分钟
    课程目标:
    本课程授课老师张长志老师大数据项目讲师, 10余年软件研发及企业培训经验,曾为多家大型企业提供企业内训。 丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。中石化,中国联通,中国移动等知名企业提供企业培训服务。课程介绍本项目基于爱奇艺用户行为项目进行讲解,快速提升Spark Streaming实时计算项目经验。本项目从项目需求分析到数据采集,然后通过Spark Streaming完成业务统计,接着完成数据入库HBase,结尾通过SpringBoot结合echart完成数据可视化。课程特色1、基于爱奇艺用户行为项目进行讲解,项目真实且整个开发流程系统完整。2、该项目通过Spark Streaming完成对爱奇艺用户行为进行统计分析。3、课程内容进行了很多拓展,涉及大数据多方面的技能讲解。

    课程大纲

    免费试看

资料下载

课程名称 操作
互联网常用的大数据指标系列视频课程 付费用户专享
大数据分析​​电视收视率项目实战教程(Hadoop、Hive升级Spark技术) 付费用户专享
Hadoop流量统计案例视频课程 付费用户专享
Facebook数据查询引擎Presto教程 付费用户专享
Flink读取kafka数据保存到redis的解决方案视频课程 付费用户专享
爱奇艺实时流处理项目实战 (Spark Streaming) 付费用户专享

大数据企业级真实案例系列视频专题

¥972.00 ¥486.00
在线
客服
在线
客服

下载Android客户端

下载iphone 客户端

关注官方微信

返回
顶部