有可能知道特定Spark作业使用的资源吗？
特定Spark作业使用的资源可以通过Spark的监控和调优工具来获取。Spark提供了多种方式来监控和调优作业的资源使用情况。
- Spark Web UI：Spark提供了一个Web界面，可以通过访问该界面来查看特定作业的资源使用情况。在Web界面中，可以查看作业的执行进度、任务的分配情况、内存和CPU的使用情况等。
- Spark History Server：Spark还提供了一个历史服务器，可以用于查看已经完成的作业的资源使用情况。通过访问历史服务器，可以查看作业的执行时间、资源使用情况、任务的执行情况等。
- Spark监控器：Spark还支持与第三方监控工具集成，例如Ganglia、Graphite等。通过这些监控工具，可以实时监控特定作业的资源使用情况，并进行性能调优。
对于特定Spark作业使用的资源，可以关注以下几个方面：
- 内存：可以查看作业使用的内存量，包括堆内存和堆外内存的使用情况。如果发现内存不足，可以考虑增加内存分配或者调整作业的内存管理策略。
- CPU：可以查看作业使用的CPU资源，包括CPU的使用率和核心数。如果发现CPU资源不足，可以考虑增加CPU分配或者调整作业的并行度。
- 磁盘：可以查看作业对磁盘的读写操作情况，包括磁盘的读写速度和磁盘空间的使用情况。如果发现磁盘IO瓶颈，可以考虑优化作业的数据读写方式或者增加磁盘容量。
- 网络：可以查看作业的网络传输情况，包括网络带宽的使用情况和网络延迟。如果发现网络传输较慢，可以考虑优化数据传输方式或者增加网络带宽。
推荐的腾讯云相关产品：腾讯云的云服务器（CVM）和弹性MapReduce（EMR）可以用于部署和运行Spark作业。云服务器提供了灵活的计算资源，而弹性MapReduce则提供了大规模数据处理的能力。
腾讯云云服务器（CVM）产品介绍链接：https://cloud.tencent.com/product/cvm 腾讯云弹性MapReduce（EMR）产品介绍链接：https://cloud.tencent.com/product/emr
相关·内容
我借鉴了使用多租户Spark集群的想法。群集按需为特定租户执行作业。 是否有可能“知道”特定作业使用的特定资源(出于支付原因)？例如，如果作业需要自动分配kubernetes中的几个节点，那么是否可以跟踪启动这些资源分配的是哪个Spark作业</em
浏览 12提问于2019-09-26得票数 0
回答已采纳
1回答
我的问题类似于其他关于“初次工作没有接受任何资源”的海报。我阅读了他们的建议，但仍然无法从Java提交这份工作。我想知道是否有人有更多的经验安装火花看到一个明显的失误，或知道如何排除这一点？conf.set("spark.cores.max","1");
conf.set("
浏览 4提问于2016-11-22得票数 3
1回答
我有几个python作业需要用spark来执行。不过，python代码并没有使用任何spark特定的分布式库。它只是使用pandas、scipy和sklearn来操作数据。我使用以下命令提交要触发的作业：spark-submit --master spark://ip:7077 python_code.py
当我提交几个这样的
浏览 2提问于2016-04-29得票数 0
我正在使用以下命令连接到DSE (Spark)： .setAppName(name)使用DSE 5.0.8工作正常(Spark 1.6.3)，但现在失败，DSE 5.1.0收到以下错误：
java.lang.AssertionError: Unknown application typeat org.apache.spark.depl
浏览 1提问于2017-04-27得票数 2
1回答
如我们所知，默认的最小容器大小是1024MB我已经在虚拟盒中设置了一个Hadoop集群<1-Master & 3-Datanodes>。输入文件大小：500MB和复制因子3 (所有具有所有块的节点)
2.是否可以指定在特定节点上运行的作业？
浏览 0提问于2018-02-24得票数 0
我使用java8和spark 2.4.1编写我的火花作业，其中我使用TypeSafe加载属性文件，即位于"resources“文件夹中的application.properties，其内容如下所示在程序中，我在提交火花作业(即火花提交)时，加载与下面传递的“环境”变量相同的"dev“变量。如何在提交火花提交作业时传递"applicatio
浏览 2提问于2019-07-31得票数 0
2回答
我一直在阅读Spark的源代码，但我仍然无法理解Spark是如何独立实现资源隔离和分配的。例如，Mesos使用LXC或Docker来实现容器，以限制资源。那么，如何独立地实现这一点。例如，我在一个执行器中运行了10个线程，但是Spark只给了执行器一个内核，那么如何保证这10个线程只在一个cpu内核上运行。
经过下面的测试代码，发现火花独立资源分配在某种程度上是假的。我只有一个执行者(执行者)，只给执行者一个核心(机
浏览 10提问于2016-11-26得票数 3
回答已采纳
详细说明：
SparkSession.builder .appName(SPARK_APP_NAME) .config("spark.executor.memory"，"1G")
我想知道的是:在
浏览 1提问于2019-02-12得票数 1
我运行了一个spark任务，在纱线上分配了大量的资源，而且这个任务持续了很长时间。 最后，spark作业的任务只是活动的一个核心和两个核心。我想知道不活跃的资源是不是可以被其他spark工作或mr工作使用。 或者只完成第一个spark作业，资源就可以被其他作业使用。
浏览 12提问于2021-08-09得票数 0
回答已采纳
发出API调用以提交作业。响应状态-它正在运行核心1/2使用
根据，我使用的是部署模式=集群(不是客户端)，因为我有一个主1从站，并且提交API是通过
浏览 3提问于2016-07-13得票数 7
1回答
为了提高性能，您必须使用不同的信任来启动每个任务，请参见下面的作业类型示例。，那么你如何用不同的会话同时启动多个火花作业呢？等
解决问题的可能方法：
启动另一个JVM只是为了启动另一个SparkSession，我可以称之为sess
浏览 2提问于2017-03-09得票数 1
回答已采纳
我有一个火花独立集群，没有安装其他作业调度程序。我想知道spark-submit是否可以用作火花作业和非火花作业的作业调度程序(例如，不是为spark编写的scala，也不是不使用RDD的)？根据我的测试，spark-submit被用来提交非火花作业并成功地运行作业.但以下是我的问题：
下
浏览 3提问于2017-09-14得票数 0
回答已采纳
我正在使用rapidminer从大数据集中提取规则。Radoop是对hadoop生态系统的扩展，sparkRM操作符允许进行fp-growth，从从hive检索数据到探索分析。我正在开发：-windows 8.1 -hadoop 6.2 -spark 1.5 -hive 2.1我已经将spark-default-conf配置如下：我有</em
浏览 10提问于2018-12-17得票数 0
; check your cluster UI to ensure that workers are registered and have sufficient resources错误，例如一个简单的命令这是我开始使用spark-shell --master yarn --num-executors 1时的纱线日志spark.master
浏览 28提问于2019-08-06得票数 0
1回答
我提到了链接，并对纱线的工作原理有了合理的理解。纱线可以有多租户应用程序运行，例如，先生，火花等.有谁能帮助RM如何知道什么样<em
浏览 4提问于2018-03-30得票数 2
2回答
假设您有Spark +独立集群管理器。您使用一些倾诉打开了星火会话，并希望与不同的参数并行启动SomeSparkJob 40次。
如何在作业失败时重新启动火花应用程序？这可能是有用的</em
浏览 3提问于2017-03-17得票数 2
回答已采纳
(纱线上的火花)我们在纱线模式下使用火花，集群有120个节点。昨天，一个火花作业创建了200个执行程序，而在node1上创建了11个执行程序，在node2上创建了10个执行程序，其他执行程序在其他节点上平均分配。由于node1和node2上有这么多的执行者，所以任务运行得很慢。
如何选择要运行执行程序的节点？根据纱线resourceManager？
浏览 0提问于2018-02-05得票数 2
回答已采纳
我看到spark对kubernetes有很大的吸引力。它比在Hadoop上运行spark更好吗？这两种方法都运行在分布式方法中。有人能帮我理解一下在kubernetes上运行spark和在Hadoop生态系统上运行spark之间的区别/比较吗？
谢谢
浏览 0提问于2018-06-26得票数 13
3回答
在Yarn和EMR上运行Spark 1.3.1。当我运行spark-shell时，一切看起来都很正常，直到我开始看到像INFO yarn.Client: Application report for application_1439330624449_1561 (state: ACCEPTED)这样的消息。同时，我无法使用Spark shell。
我不明白为什么会发生这种事。
浏览 0提问于2015-09-19得票数 5
回答已采纳
我使用Apache Mesos在集群模式下运行Apache Spark。但是，当我启动Spark-Shell运行一个简单的测试命令(sc.parallelize(0 to 10，8).count)时，我收到以下警告消息：如果我查看Mesos WebUI，
浏览 0提问于2016-03-10得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
