关注公众号 领VIP会员
下次再说
【大数据 Hadoop生态 Spark 2.x 多案例】Spark SQL快速入门到精通

独家

下载课程

下载学院APP

缓存视频离线看

微信公众号
收藏(31)

【大数据 Hadoop生态 Spark 2.x 多案例】Spark SQL快速入门到精通

课程目标: SparkSql提供了一种强大的类Sql操作的数据分析方式,目前SparkSql是大数据企业用得...

4.1分 共19课时 共4小时45分钟 更新时间: 30天前

2424小时内答疑

课时永久观看

退15分钟内无条件退款

  1. 仅限付费视频课程适用
  2. 购买后15分钟内可以找到客服进行沟通退款
  3. 下载资料后不再享有退款特权
  4. 客服(Tel:400-101-1651)
  5. 最终解释权归51CTO学院所有

专属资料下载

课程介绍

课程大纲

学习资料

学员评价

课程目标
SparkSql提供了一种强大的类Sql操作的数据分析方式,目前SparkSql是大数据企业用得最多的Spark组件之一,熟练使用SparkSql进行大数据分析,是进入大数据公司工作的必备技能!
适用人群
从事大数据研发、刚毕业的想从事大数据工作的学生及在校的学生。想转行大数据的开发人员。
课程简介
  • SparkSql概述及发展史

    从第一个sql on hadoop数据分析引擎hive的出现,到后来为解决查询效率而出现的shark,到spark开发团队抛弃shark转而全力开发sparksql,以及后来独立发展的hive on spark项目。技术在发展,在不断的更新,新的技术在不断的出现。这一节课主要讲述SparkSql的发展史

  • 【实战】SparkSql2.0结果保存为CSV文件

    SparkSql可以将分析的结果保存到外部文件,这节课主要讲解使用SparkSql分析数据,将结果保存到HDFS上的csv文件中

  • 【实战】SparkSql保存结果为json文件

    SparkSql将分析的结果保存到json这种标准的javascript对象中,其优势直接可以使用javascript脚本语言读取json文件内容做相应的处理

  • 【实战】SparkSql保存结果为parquet文件

    SparkSql将分析的结果保存为parquet文件,parquet文件格式是一种列式存储的文件格式,并且自带压缩,默认的压缩采用snappy,因此可以极大的降低磁盘存储空间,且其列式存储方便数据的读取,提升读取数据的效率。parquet文件格式是公司生产环境中使用最广泛的存储格式。

  • 【实战】SparkSql保存结果到hdfs的text文件

    用时候为了方便,我们通常将数据以文本的形式直接存储在分布式文件系统HDFS中,在SparkSql中提供了text方法,数据分析的结果直接以text文本形式写到文件中

  • 【实战】Sparksql保存结果到关系型数据库mysql

    有时候数据分析计算的结果需要保存到关系型数据库如mysql中,供其他的业务部门读取使用。例如直接从mysql数据库中读取处理好的数据来制作报表等。SprakSql中通过jdbc方法这个接口将分析的结果写入mysql中

  • 【实战】SparkSql读取CSV文件创建dataframe和视图

    SparkSql可以将分析结果保存到csv文件中,自然也能够从csv文件中读取文件的内容形成dataframe,并且可以基于dataframe注册成临时的视图,在视图上做sql操作。

  • 【实战】SparkSql读取json文件创建dataframe和视图

    SparkSql可以将结果保存为json文件自然也可以从json文件读取内容来生成dataframe对象,并且基于dataframe对象可以做sql操作。注意在读json文件的时候不需要指定option("header",true),因为json自带属性信息,这些信息会被作为schema读取到dataframe中,但默认的类型是string类型

  • 【实战】SparkSql使用RDD创建dataframe和视图

    在数据分析的过程中,有时候会遇到这样一种处理场景:需要将RDD转换为dataframe,因为dataframe这样一种高层的API上有更丰富的算子操作,例如保存为csv,json,关系型数据库的接口,因此会涉及到RDD转换为dataframe的场景,这节课主要讲解使用RDD来创建dataframe和视图

  • 【实战】SparkSql读取HDFS文本文件创建dataframe和视图

    有时候我们需要使用存储在HDFS上的纯文本文件来创建dataframe做数据分析,但是要知道,纯文本文件是没有shcema信息的,那怎样才能创建dataframe呢?答案是自己构建schema,再加上读取文件形成的RDD,就形成dataframe。我们需要使用StructFiled创建字段信息,使用StructType创建schema信...

  • 【实战】SparkSql读取Parquet文件创建dataframe和视图

    在企业生产环境中,使用最多的保存格式是parquet,因为其列式存储且自带压缩。不但节约了存储空间,还提高了读取数据的速度。parquet文件中带有schema信息和类型信息,因此我们不必指定option("header",true)

  • 【实战】SparkSql读取关系型数据库数据创建dataframe和视图

    在比较传统的公司,有大量的数据是存放在关系型数据库中的,我们要对存放在关系型数据库中的数据作分析,需要加载关系型数据中的数据。SparkSql通过jdbc方法可以从关系型数据库中读取记录进行数据分析。

  • 【实战】SparkSql读取Hive表数据_Hive环境安装

    从SparkSql的发展史可以看到,Shark最初从Hive发展而来,以此发展到最后SparkSql是兼容hive的,就是说在SparkSql中可以直接访问HIve的表,并且直接通过sql语句操作hive中的表,这节课我们先讲解hive的安装配置

  • 【实战】SparkSql共享Hive元数据配置

    SparkSql要共享Hive的元数据,那得让SparkSql知道Hive的元数据存放在哪个地方,因此需要配置。配置需要在Spark根目录下的conf目录中加入hvie-site.xml文件。

  • 【实战】SparkSql读取Hive表数据创建dataframe和视图

    SparkSql共享了Hive的表之后,那我们尝试在SparkSql中读取Hive表来进行数据分析,创建视图。。。

  • 【实战】SparkSql中的UDF用户自定义函数

    写过sql语句的人都知道,sql中要对字符串,日期进行处理,有专门的函数,这些函数是内置的函数,那可不可以自定义函数进行处理呢?答案是,YES!,我们通过实现UDF就可以做到,前提是需要在sparksession的Udf的register方法进行注册.......

  • 【实战】SparkSql常见的API使用

    SparkSql是基于dataframe实现的类sql处理引擎,它上面的接口比rdd可要多得多,那我么如何探索并且使用这些接口来处理业务呢?一个简单的方法是打开spark-shell,在交互式命令窗口中通过双击TAB键会智能的提示。。。。。

  • 【实战】SparkSql实战之分析PM2.5数据_上

    学了这么多,是该给自己一个交代了,那这一节我们通过一个开源的数据。chengdu2016年的pm2.5数据来做分析。统计分析2016年成都pm2.5的分布情况及平均值情况......故事刚刚开始

  • 【实战】SparkSql实战之pm25数据分析_下

    pm2.5分析就要完成了,新鲜空气即将到来,下期我们将讲解sparkstreaming流式处理.........

加载中
所属章节 资料名称 文件大小 下载
相关资料推荐

暂时还没有学习资料~

5

    1
    非常糟

    2
    很差

    3
    一般

    4
    很好

    5
    非常好

    • 0%
    • 0%
    • 0%
    • 0%
    • 0%
    加载中
    没有了哦~

    讲师介绍

    张敏

    张敏

    讲师评分:4.5

    大数据工程师,算法工程师,在线培训讲师

    学院服务

    关注公众号领取
    免费VIP会员

    讲师推荐学习路径

    学习路径一 Spark基础+SparkSql+Spark内核+流数据视频课程套餐

    4门课 立省:¥76.09 合计:¥269.91 购买

    学习路径二 Spark基础+Spark中级数据处理+Spark内核分析视频课程套餐

    3门课 立省:¥51.87 合计:¥195.13 购买

    2366人学习过

    订阅专栏更多

    推荐图书

    7日学霸榜 有2366人与你一起学习

    课程介绍

    课程大纲

    学习资料

    学员评价

    ¥ 99.00

    课程评价

    发表客观评价,上限可得35学分(会员可得70学分)

    【大数据 Hadoop生态 Spark 2.x 多案例】Spark SQL快速入门到精通

    该课程已有 人评价

    课程与描述相符

    老师的讲解表达

    老师的答疑服务

    匿名

    在线
    客服
    在线
    客服

    下载Android客户端

    下载iphone 客户端

    关注官方微信

    返回
    顶部