腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据与云原生
专栏成员
举报
3
文章
2489
阅读量
1
订阅数
订阅专栏
申请加入专栏
全部文章(3)
spark(3)
java(1)
linux(1)
文件存储(1)
vr 视频解决方案(1)
kubernetes(1)
存储(1)
大数据(1)
数据结构(1)
任务调度(1)
搜索文章
搜索
搜索
关闭
Spark源码分析-存储实现
spark
vr 视频解决方案
数据结构
文件存储
java
BlockManager是spark的存储子系统,spark涉及的RDD数据,shuffle数据,BroadCast广播变量等都是依托BlockManager来存取的。spark中的数据都以block的形式存在,block可以在BlockManager之间进行复制和同步。BlockManager之间通过spark的网络基础NettyRPC互通block元数据和数据的有无。
leslizhang
2022-03-30
612
0
Spark源码分析-Spark-on-K8S任务调度
linux
spark
任务调度
kubernetes
由于stage的划分和调度是spark作业逻辑层面上的事,不涉及到物理集群资源,我们不需要关心。
leslizhang
2022-03-30
818
0
Spark源码分析-作业提交(spark-submit)
大数据
spark
存储
前面提到,spark向yarn提交作业的client类是org.apache.spark.deploy.yarn.YarnClusterApplication
leslizhang
2022-03-30
1.1K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档