Docker创建镜像(2)

6.9万 未经授权,禁止转载了解课程
课程介绍
讨论{{interaction.discussNum ? '(' + interaction.discussNum + ')' : ''}}
适合人群
Python Spark 大数据 机器学习 数据挖掘 云计算 人工智能 Docker
你将会学到
对于想转行或学习大数据的Python学员,基于已有的Python知识,学习Python大数据,你们拥有巨大的优势。大部分框架使用类Java语言实现,对于Python学员,PySpark是使用Python作为开发语言的程序员的福音,借助PySpark,Python开发人员可以轻松学习大数据。
课程简介

        自2013年开始出现的大数据概念及伴随出现的以Hadoop,Spark为代表的分布式大数据处理技术,大数据一词让人耳熟能详。大部分框架使用类Java语言实现,对于Python学员,PySpark是使用Python作为开发语言的程序员的福音,借助PySpark,帮助Python开发人员完成大数据任务。

spark.png

        本课程主要讲解Spark技术,借助Spark对外提供的Python接口,使用Python语言开发。涉及到Spark内核原理、Spark基础知识及应用、Spark基于DataFrame的Sql应用、机器学习及深度学习等内容。由浅到深的带大家深入学习大数据领域最火的项目Spark。帮助大家进入大数据领域,抓住大数据浪潮的尾巴。


    软件版本:     

  • Hadoop2.7.3

  • Spark2.3.0

  • Scala2.11.8

  • Python2.7.12

  • Jdk-8u101-linux-x64

  • Docker 1.12.6

  • Apache-hive-2.3.2-bin

  • Mysql-5.5.45-linux2.6-x86_64

  • Mysql-connector-java-5.1.37-bin


   内容涉及:   

  • pyspark 基础模块

  • pyspark.sql 模块

  • pyspark.ml 基于DataFrame的机器学习模块

  • pyspark.mllib package 基于RDD的机器学习模块

  • 中间还会涉及到云计算中的docker容器技术,课程的学习环境就是使用Docker三个容器搭建的分布式环境

  • pyspark中Numpy、Pandas、Scikit-learn的互操作和相互对比

展开更多
发布
头像

{{ item.user.nick_name }} {{ EROLE_NAME[item.user.identity] }}

置顶笔记
讨论图
{{ item.create_time }}回复
  • 删除

    是否确认删除?

    确认
    取消
  • {{ item.is_top == 1 ? '取消置顶' : '置顶'}}

    已有置顶的讨论,是否替换已有的置顶?

    确认
    取消
{{ tag.text}}
头像
{{ subitem.user.nick_name }}{{ EROLE_NAME[subitem.user.identity] }}
{{ subitem.create_time }}回复
删除

是否确认删除?

确认
取消
发布
讨论区空空如也,你来讲两句~
发布
{{tips.text}}
{{ noteHeaderTitle }} 笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}
{{ hasMyNote ? '我的笔记' : '记笔记' }}
优质笔记
更新于:{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}
头像
{{ detail.username }}

公开笔记对他人可见,有机会被管理员评为“优质笔记”

{{ noteEditor.content.length }}/2000

公开笔记
保存
提问

讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。

记录时间点
记录提问时视频播放的时间点,便于后续查看
公开提问
提交