Hadoop实战案例视频课程-PeopleRank从社交网络中发现个体价值  

主要用Hadoop实现PageRank矩阵算法,包括:PeopleRank和PageRank,从社交网络中发现个体价值,PeopleRank算法,PeopleRank计算引擎系统架构,PeopleRank算法实现 几个方面的内容。

448人学习

高级5课时2016/08/23更新

二维码下载学堂APP缓存视频离线看

张丹
    • 畅销套餐
    • 精选套餐
    • 人气套餐
    • 尊享套餐
    • 高薪套餐
GoldenGate+ETL/Kettle专题(92个项目)
GoldenGate数据库容灾迁移01(OGG同构异构、数据库迁移、数据同步、容灾复制)
161563人学习
¥998.00
GoldenGate数据库容灾迁移02(OGG同构异构、数据库迁移、数据同步、容灾复制)
42387人学习
¥889.00
GoldenGate数据库容灾迁移03(OGG同构异构、数据库迁移、数据同步、容灾复制)
22306人学习
¥889.00
更 多 7 门 课 程
大数据运维架构师实战培训专题2.0
大数据运维架构师培训(1):Hadoop集群(HDFS,MR,Yarn),Zookeeper集群
78084人学习
¥499.00
大数据运维架构师培训(2):Hbase,Hive, Phoenix,Pig,Impala,Kudu
30778人学习
¥333.00
大数据运维架构师培训(3):Spark,Flink, Storm,Kafka,Solr
29651人学习
¥399.00
更 多 12 门 课 程
赵强-大数据课程之从Hadoop到Spark专题
赵渝强老师:Hadoop 2.x(一) 大数据基础实战视频课程
67213人学习
¥279.00
赵渝强老师:Spark系列视频课程之一:Scala编程语言视频课程
19759人学习
¥179.00
赵渝强老师:Spark 2系列视频课程之二:Spark Core
14650人学习
¥279.00
更 多 11 门 课 程
大数据运维工程师培训实战专题1.0(Hadoop生态圈)
大数据运维架构师培训(1):Hadoop集群(HDFS,MR,Yarn),Zookeeper集群
78084人学习
¥499.00
大数据运维架构师培训(2):Hbase,Hive, Phoenix,Pig,Impala,Kudu
30778人学习
¥333.00
大数据运维架构师培训(3):Spark,Flink, Storm,Kafka,Solr
29651人学习
¥399.00
更 多 5 门 课 程
大数据运维工程师培训实战专题1.0(Hadoop生态圈)
大数据运维架构师培训(1):Hadoop集群(HDFS,MR,Yarn),Zookeeper集群
78084人学习
¥499.00
大数据运维架构师培训(2):Hbase,Hive, Phoenix,Pig,Impala,Kudu
30778人学习
¥333.00
大数据运维架构师培训(3):Spark,Flink, Storm,Kafka,Solr
29651人学习
¥399.00
更 多 5 门 课 程
  • 课程介绍
  • 课程大纲

适合人群:

Hadoop算法工程师、大数据工程师、数据挖掘工程师。

你将会学到:

主要用Hadoop实现PageRank矩阵算法,包括:PeopleRank和PageRank,从社交网络中发现个体价值,PeopleRank算法,PeopleRank计算引擎系统架构,PeopleRank算法实现 几个方面的内容。

课程简介:

本视频为Hadoop实战视频,在给Dataguru网络课程《Hadoop应用开发实战案例》培训时录制,主要用Hadoop实现PageRank矩阵算法,包括:PeopleRank和PageRank,从社交网络中发现个体价值,PeopleRank算法,PeopleRank计算引擎系统架构,PeopleRank算法实现 几个方面的内容。


前言

从2011年开始,中国进入大数据风起云涌的时代,以Hadoop为代表的家族软件,占据了大数据处理的广阔地盘。开源界及厂商,所有数据软件,无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域,变成了大数据开发的标准。在Hadoop原有技术基础之上,出现了Hadoop家族产品,通过“大数据”概念不断创新,推出科技进步。如果说Google改变了互联网,那么社交网络就改变人们的生活方式。通过社交网络,我们每个个体,都是成为了网络的中心。


我们的互联网,正在从以网页信息为核心的网络,向着以人为核心的网络转变着。于是有人就提出了,把PageRank模型应用于社交网络,定义以人为核心的个体价值。这样PageRank模型就有了新的应用领域,同时也有了一个新的名字PeopleRank。


博客原文PeopleRank从社交网络中发现个体价值

   

课程大纲

1. 项目背景:PeopleRank和PageRank
2. 需求分析:从社交网络中发现个体价值
3. 算法模型:PeopleRank算法
4. 架构设计:PeopleRank计算引擎系统架构
5. 程序开发:PeopleRank算法实现

   

讲师介绍   

张丹,精通R/Java/Nodejs多种编程语言,10年以上IT编程背景,多项SUN及IBM技术认证。丰富互联网应用开发架构经验,著有《R的极客理想—工具篇》、《R的极客理想—高级开发篇》图书。


      

       

展开更多

课程大纲-Hadoop实战案例视频课程-PeopleRank从社交网络中发现个体价值  

  • 第1章Hadoop开发应用实战----PeopleRank从社交网络中发现个体价值  (1小时24分钟5节)

  • 1-1

    项目背景PeopleRank和PageRank把PageRank模型应用于社交网络,定义以人为核心的个体价值。这样PageRank模型就有了新的应用领域,同时也有了一个新的名字PeopleRank。关于PageRank的介绍,请参考文章:PageRank算法R语言实现下面我们将从一个PeopleRank的案例来解释,如何从社交网络中发现个体价值。案例介绍:以新浪微博为例,给微博中每个用户进行评分!从新浪微博上,把我们的关注和粉丝的关系都找到。我们的任务是,需要给这些账号评分!方法一,简单求和:评分=关注数+粉丝数+微博数方法二,加权求和:评分=a*关注数+b*粉丝数+c*微博数

    [13:33]
  • 1-2

    PeopleRank算法模型基于PageRank的理论,我们以每个微博账户的“关注”为链出链接,“粉丝”为链入链接,我们把这种以人为核心的关系,叫PeopleRank。关于PageRank的介绍,请参考文章:PageRank算法R语言实现通过R语言实现的计算模型,已经比较符合我们的评分标准了,下面我们把PeopleRank用MapReduce实现,以满足对海量数据的计算需求。

    「仅限付费用户」点击下载“hadoop-peoplerank..pdf”

    [17:51]
  • 1-3

    算法模型用R语言构建PeopleRank的算法原型1. 构建邻接矩阵2. 变换概率矩阵3. 递归计算矩阵特征值4. 标准化结果5. 对结果排序输出

    「仅限付费用户」点击下载“code.zip”

    [21:35]
  • 1-4

    程序开发Win7的开发环境 和 Hadoop的运行环境 ,请参考文章:用Maven构建Hadoop项目。开发步骤:1. 微博好友的关系数据: people.csv2. 初始的PR数据:peoplerank.csv3. 邻接矩阵: AdjacencyMatrix.java4. PeopleRank计算: PageRank.java

    「仅限付费用户」点击下载“data.zip”

    [19:48]
  • 1-5

    程序运行和结果解读程序运行1. PR标准化: Normal.java2. 启动程序: PageRankJob.java第一名是用户18,第二名是用户11,第三名是用户6,第三名与之前R语言单机计算的结果有些不一样,而且PR值也稍有不同,这是因为我们迭代10次时,特征值还没有完全的收敛,需要更多次的迭代计算,才能得矩阵的特征值。程序API的实现,请参考文章:PageRank算法并行实现我们通过PageRank的模型,成功地应用到了社交网络,实现了PeopleRank的计算,通过设计数据挖掘算法,来取代不成熟的人脑思想。算法模型将更客观,更精准。

    [11:59]
在线
客服
APP
下载

下载Android客户端

下载iphone 客户端

官方
微信

关注官方微信

返回
顶部