大数据--spark-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

大数据--spark

专栏成员

1

文章

277

阅读量

1

订阅数

Spark性能优化调优

大数据 spark

1、内存： spark的dirver和executor内存及对应spark作业参数涉及内存调优就三个参数：spark.driver.memory ，-executor-memory 和 spark.yarn.executor.memoryOverhead 2、并发：在 Spark 应用程序中，尽量避免不必要的 Shuffle 操作。例如，使用合适的转换操作（如 map、filter）来代替需要 Shuffle 的操作（如 reduceByKey）。这样可以减少数据的传输和磁盘读写，提高并发性能及 SQL脚本涉及并发优化就1个参数：spark.sql.shuffle.partitions 3、CPU：spark的executor的CPU核数和对应spark作业参数（不建议改）涉及内存调优就1个参数：-executor-cores

2024-01-09

2770

没有更多了

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态