spark-ui页面使用介绍

1104 未经授权,禁止转载了解课程
课程介绍
讨论{{interaction.discussNum ? '(' + interaction.discussNum + ')' : ''}}
适合人群
大数据技术人员、架构、运维、开发、测试、云计算等
你将会学到
kubernetes(k8s)独立部署任意版本spark operator,可离线部署
课程简介


Spark Operator on Kubernetes(k8s)视频教程介绍:

1. 基于两套kubernetes环境分别演示不同版本spark operator部署

2. 手把手操作踩坑消缺

3. 原始部署方式,更直观了解spark operator

4. 学习后可以选择任意spark operator版本自由部署,适用于离线部署



常见错误或踩坑解决分析:

【错误1】

rawResources failed to read Resources: Load from path ../crds failed: '../crds' must be a file" 

【错误2】

error validating "spark-operator.yaml": error validating data: ValidationError(Deployment.spec.template.metadata): unknown field "initializers" in io.k8s.apimachinery.pkg.apis.meta.v1.ObjectMeta; if you choose to ignore these errors, turn validation off with --validate=false

【错误3】

ProtocolException: Expected HTTP 101 response but was '403 Forbidden'

io.fabric8.kubernetes.client.KubernetesClientException:

Exception in thread "main" io.fabric8.kubernetes.client.KubernetesClientException:

【错误4】

failed to create or update CustomResourceDefinition sparkapplications.sparkoperator.k8s.io:

unable to recognize "spark-operator-crds.yaml": no matches for kind "CustomResourceDefinition" in version "apiextensions.k8s.io/v1beta1"




常见问题
问:不懂spark开发可以学习spark operator么
答:可以,熟悉linux基本使用,了解docker和kubernetes更完美,spark测试程序会提供示例和源码。
问:spark operator视频手把手演示部署么
答:是的,从告诉怎么准备获取安装包文件开始,然后一步步部署,遇到坑和问题也会分析解决方法和思路,而且适用于离线环境部署。
问:spark operator视频是基于什么环境和版本部署的
答:1. kubernetes环境两套,分别是当前latest版本和1.19.x版本(1.18.x也完全一样) 2. spark operator版本两套,分别是当前latest版本和operator2.4.x版本 3. 学员可以根据实际情况选择版本,不一样和视频一致
展开更多
发布
头像

{{ item.user.nick_name }} {{ EROLE_NAME[item.user.identity] }}

置顶笔记
讨论图
{{ item.create_time }}回复
  • 删除

    是否确认删除?

    确认
    取消
  • {{ item.is_top == 1 ? '取消置顶' : '置顶'}}

    已有置顶的讨论,是否替换已有的置顶?

    确认
    取消
{{ tag.text}}
头像
{{ subitem.user.nick_name }}{{ EROLE_NAME[subitem.user.identity] }}
{{ subitem.create_time }}回复
删除

是否确认删除?

确认
取消
发布
{{pageType === 'video' ? '讨论区抢占沙发,可获得双倍学分' :'讨论区空空如也,你来讲两句~'}}
发布
{{tips.text}}
{{ noteHeaderTitle }} 笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}
{{ hasMyNote ? '我的笔记' : '记笔记' }}
优质笔记
更新于:{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}
头像
{{ detail.username }}

公开笔记对他人可见,有机会被管理员评为“优质笔记”

{{ noteEditor.content.length }}/2000

公开笔记
保存
提问

讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。

记录时间点
记录提问时视频播放的时间点,便于后续查看
公开提问
提交