Spark大数据处理及机器学习【基于Python的Spark 2.3**版】

中级对于想转行或学习大数据的Python学员,基于已有的Python知识,学习Python大数据,你们拥有巨大的优势。大部分框架使用类Java语言实现,对于Python学员,PySpark是使用Python作为开发语言的程序员的福音,借助PySpark,Python开发人员可以轻松学习大数据。

5分 更新: 2018/08/28

收藏( 179 下载课程 二维码 下载学堂APP 缓存视频离线看 学习社群 二维码 关注公众号 加入官方群

66390 学习人数 28小时26分钟 105课时
课程权益 15分钟内无条件退款 1、仅限付费视频课程适用
2、购买后15分钟内可以找到客服进行沟通退款
3、下载资料后不再享有退款特权
4、客服(Tel:400-101-1651)

下载资料后不支持
24小时内答疑 随时随地观看课程
  • 课程介绍
  • 课程大纲
  • 学员评价
  • 其他课程 29
  • 专题套餐

适合人群:

Python Spark 大数据 机器学习 数据挖掘 云计算 人工智能 Docker

课程目标:

对于想转行或学习大数据的Python学员,基于已有的Python知识,学习Python大数据,你们拥有巨大的优势。大部分框架使用类Java语言实现,对于Python学员,PySpark是使用Python作为开发语言的程序员的福音,借助PySpark,Python开发人员可以轻松学习大数据。

课程简介:

        自2013年开始出现的大数据概念及伴随出现的以Hadoop,Spark为代表的分布式大数据处理技术,大数据一词让人耳熟能详。大部分框架使用类Java语言实现,对于Python学员,PySpark是使用Python作为开发语言的程序员的福音,借助PySpark,帮助Python开发人员完成大数据任务。

spark.png

        本课程主要讲解Spark技术,借助Spark对外提供的Python接口,使用Python语言开发。涉及到Spark内核原理、Spark基础知识及应用、Spark基于DataFrame的Sql应用、机器学习及深度学习等内容。由浅到深的带大家深入学习大数据领域最火的项目Spark。帮助大家进入大数据领域,抓住大数据浪潮的尾巴。


    软件版本:     

  • Hadoop2.7.3

  • Spark2.3.0

  • Scala2.11.8

  • Python2.7.12

  • Jdk-8u101-linux-x64

  • Docker 1.12.6

  • Apache-hive-2.3.2-bin

  • Mysql-5.5.45-linux2.6-x86_64

  • Mysql-connector-java-5.1.37-bin


   内容涉及:   

  • pyspark 基础模块

  • pyspark.sql 模块

  • pyspark.ml 基于DataFrame的机器学习模块

  • pyspark.mllib package 基于RDD的机器学习模块

  • 中间还会涉及到云计算中的docker容器技术,课程的学习环境就是使用Docker三个容器搭建的分布式环境

  • pyspark中Numpy、Pandas、Scikit-learn的互操作和相互对比

展开更多

课程大纲-Spark大数据处理及机器学习【基于Python的Spark 2.3**版】

资料下载
  • 第1章 课程简介

    12分钟1节

  • 1-1

    课程简介 课程简介

    [12:12] 开始学习
  • 第2章 Docker知识快速入门

    3小时53分钟22节

  • 2-1

    什么是Docker技术

    「仅限付费用户」点击下载“docker课程笔记【整理】.rar”

    [08:21] 开始学习
  • 2-2

    为什么要使用Docker 为什么要使用Docker

    [04:53] 开始学习
  • 2-3

    Docker中的基本概念 Docker中的基本概念

    [05:43] 开始学习
  • 2-4

    Docker安装 Docker安装

    [04:14] 开始学习
  • 2-5

    Docker获取镜像 Docker获取镜像

    [08:19] 开始学习
  • 2-6

    Docker创建镜像(1) Docker创建镜像

    [09:06] 开始学习
  • 2-7

    Docker创建镜像(2) Docker创建镜像

    [10:25] 开始学习
  • 2-8

    Docker本地导入镜像 Docker本地导入镜像

    「仅限付费用户」点击下载“docker - 副本.zip”

    [07:26] 开始学习
  • 2-9

    Docker保存、载入、删除镜像 Docker保存、载入、删除镜像

    [05:14] 开始学习
  • 2-10

    Docker容器的创建启动和停止 Docker容器的创建启动和停止

    [11:19] 开始学习
  • 2-11

    Docker命令进入容器后台 Docker命令进入容器后台

    [08:59] 开始学习
  • 2-12

    Docker命令导入导出和删除容器 Docker命令导入导出和删除容器

    [07:46] 开始学习
  • 2-13

    Docker公有仓库Docker Hub Docker公有仓库Docker Hub

    [10:26] 开始学习
  • 2-14

    Docker私有仓库的创建 Docker私有仓库的创建

    [08:36] 开始学习
  • 2-15

    Docker中的数据卷 Docker中的数据卷

    [15:26] 开始学习
  • 2-16

    Docker制作数据卷容器 Docker制作数据卷容器

    [10:30] 开始学习
  • 2-17

    Docker数据卷容器实现备份恢复及迁移 Docker数据卷容器实现备份恢复及迁移

    [11:06] 开始学习
  • 2-18

    Docker容器绑定外部端口和IP Docker容器绑定外部端口和IP

    「仅限付费用户」点击下载“docker课程笔记.zip”

    [11:27] 开始学习
  • 2-19

    Docker容器互联 Docker容器互联

    [08:19] 开始学习
展开更多

5

学员评分

  • 0%
  • 0%
  • 0%
  • 0%
  • 0%
超过  “大数据系统”   99%的课程

    1
    非常糟

    2
    很差

    3
    一般

    4
    很好

    5
    非常好

      展开更多
      加载中
      没有了哦~
      仅需¥399.00
      关注公众号 领VIP会员
      下次再说

      点击打包下载,即可获取该课程全部资料

      打包下载
      16周年庆满减满200减20元 满400减40元
      已减20元,再买1.00元减50
      是否单独购买该课程?
      直接购买 去凑单
      在线
      客服
      APP
      下载

      下载Android客户端

      下载iphone 客户端

      官方
      微信

      关注官方微信

      返回
      顶部