如何继续向执行者提交任务
向执行者提交任务可以通过以下几种方式：
- 任务管理工具：使用任务管理工具可以将任务分配给执行者，并设置截止日期和优先级。一些常见的任务管理工具包括Trello、Asana和Jira等。这些工具可以帮助团队成员跟踪任务的进度，并进行实时的协作和沟通。
- 电子邮件：通过电子邮件向执行者发送任务描述和相关的附件。在邮件中明确任务的截止日期和期望的结果，并提供必要的上下文信息。执行者可以通过回复邮件来确认接受任务，并在完成后发送回反馈或结果。
- 即时通讯工具：使用即时通讯工具如Slack、微信或企业内部通讯工具，直接与执行者进行沟通。可以通过私聊或群组的方式将任务指派给执行者，并实时跟踪任务的进展。
- 会议或电话：对于一些复杂或紧急的任务，可以通过会议或电话与执行者进行沟通。在会议中明确任务的要求和期望的结果，并确保执行者理解任务的重要性和紧急性。
总结起来，向执行者提交任务需要明确任务的描述、截止日期和期望的结果，并选择合适的沟通工具进行任务分配和跟踪。在任务提交后，及时与执行者进行沟通和反馈，确保任务按时完成并达到预期的效果。
（注：腾讯云相关产品和产品介绍链接地址请参考腾讯云官方网站或咨询腾讯云客服人员获取最新信息。）
相关·内容
2回答
我使用两个线程池，每个线程池用于不同的目的(它们的目的与这个问题无关)。池都是从相同的初始线程创建的，如下所示：
private ScheduledExecutorService pool1
= Executors.newCachedThreadPool(new ManagerFactory(group, "Cached"));
private ExecutorService pool2
= Executors.newScheduledThreadPool(3, new ManagerFactory(group, "Scheduled"));
M
浏览 8提问于2014-12-15得票数 1
回答已采纳
我有以下测试代码。
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.FutureTask;
class MyTask extends FutureTask<String>{
@Override
protected void done() {
System.out.println("Done");
}
public MyTask(Runnab
浏览 0提问于2009-11-11得票数 5
回答已采纳
1回答
我只想在AWS EMR集群中的任务节点上运行我的火花执行器，而纱线标签是实现这一目标的方法之一。我可以在提交火花时指定标签。我想实现以下目标
在群集start-up.Associate期间，向在自动缩放.期间加入我的集群的任何节点添加自定义标签。
我想这样做，这样我就可以通过确保所有的执行者都能在现场运行来降低集群的成本。
浏览 7提问于2021-05-28得票数 0
我正在开发一个从串行设备读取数据的JavaFX应用程序，并在新设备连接到计算机时显示一个通知。
我有一个任务DeviceDetectorTask，它扫描所有端口，并在连接新设备时创建一个事件。此任务必须每3秒提交一次。
当检测到一个设备时，用户可以按一个按钮来读取其中包含的所有数据。这是由另一个任务ReadDeviceTask执行的。此时，当ReadDeviceTask运行时，不应该执行扫描操作(我不能同时读取和扫描一个端口)。因此，一次只能运行两项任务中的一项。
我的实际解决办法是：
public class DeviceTaskQueue {
private ExecutorSer
浏览 3提问于2016-02-17得票数 0
回答已采纳
1回答
我最近尝试在审查模式下提交数据，但遇到了一些意想不到的问题。有没有人尝试过在审查模式下提交数据？如果是，你能和我分享一些示例代码吗，因为我现在真的被卡住了。
浏览 18提问于2021-08-02得票数 0
1回答
传统的ThreadPoolExecutor仅在没有空闲的核心线程可用于传入任务时，才使用提供的BlockingQueue来对项进行排队。如果有空闲的核心线程，执行器会尝试将线程直接分配给传入的任务。
我想要一个稍微不同的行为。我希望所有任务都被强制提交给BlockingQueue和executor服务，以便仅从队列中轮询任务。
我相信，poll()返回null不一定意味着队列是空的，这一假设已经实现了ThreadPoolExecutor。
传统ThreadPoolExecutor中的核心线程只有在任务通过execute()方法提交给executor时才会创建。现在，如果我覆盖execute()
浏览 0提问于2017-08-23得票数 1
2回答
我在实现run()方法时使用了Java。在运行方法中有一些连接到服务器，当它确实失败时，我对线程执行不再感兴趣，我想退出它。我做了这样的事：
class MyRunnable implements Runnable {
@Override
public void run() {
// connect to server here
if (it failed) {
return;
}
// do something else
}
}
现在，我使用自己的线程工厂将这个可运行的程序提交到
浏览 6提问于2015-07-10得票数 2
回答已采纳
3回答
嗨，目前，我有以下的代码，利用Asycn任务和计时器。
我的异步任务基本上是尝试从URL发送HTTP方法，在URL中，来自服务器的响应可能会根据连接和加载而变化。
我想要做的是有一个时间异步的任务。在这里，它将每隔X秒安排一个AsyncTask，但是如果目前正在进行一个异步任务，我必须首先杀死它。那就开始一个新的。
下面是我目前掌握的代码：
private static boolean running = false;
Timer myTimer;
protected void onCreate(Bundle savedInstanceState) {
/* REST OF C
浏览 3提问于2014-02-12得票数 0
我正在学习AWS EMR上的星火。在这个过程中，我试图理解执行者(-num- executor )和执行者核心(--executor-core)之间的区别。有谁能告诉我这里吗？
此外，当我试图提交以下工作时，我会出错：
spark-submit --deploy-mode cluster --master yarn --num-executors 1 --executor-cores 5 --executor-memory 1g -–conf spark.yarn.submit.waitAppCompletion=false wordcount.py s3://test/spark-exa
浏览 4提问于2016-04-25得票数 10
我有一个非常大的只读数据，我希望同一个节点上的所有执行器都能使用。在星火里这有可能吗。我知道，你可以广播变量，但是你能广播很大的数组吗？在遮罩下，它是否在同一节点上的执行者之间共享数据？这如何能够在运行在同一节点上的执行器的JVM之间共享数据？
浏览 4提问于2016-10-22得票数 15
我试图学习Java并发性教程。当我运行这个程序的时候，它就被卡住了。谁能帮我弄明白原因吗？
public class App
{
public static void main( String[] args ) {
ExecutorService executorService = Executors.newFixedThreadPool(10);
// Submit a task and accept the placeholder object for return value
Future<Integer> futu
浏览 8提问于2022-09-22得票数 0
1回答
我有一个四节点星系团。一个节点是主从节点，另外三个是从节点。我编写了一个示例应用程序，它加载文件，创建数据框架，并运行一些spark SQL。当我像下面这样从主节点提交应用程序时，它正在产生输出：-
./spark-submit /root/sample.py
但是当我像下面这样与主人一起提交时，它会说：“文件不存在错误。
./spark-submit --master spark://<IP>:PORTNO /root/sample.py
我正在从样例文本文件创建一个RDD :-
lines = sc.textFile("/root/testsql.txt")
浏览 0提问于2016-12-05得票数 1
回答已采纳
我试图了解星火如何在引擎盖下洗牌依赖关系。因此，我有两个问题：
在火花中，执行者如何知道必须从哪些其他执行者中提取数据？
- Does each executor, after finishing its map side task, update its status and location to some central entity ( may be driver) and reduce side executor first contact driver to get location of each executor to pull from and then pul
浏览 4提问于2017-02-08得票数 11
回答已采纳
在编写代码时，我需要确保在提交结果之前线程池中没有线程正在运行(为了避免丢失数据，我应该在提交中输入数据)。为此，我用：
while (_executor.getActiveCount() > 0)
{
try
{
Thread.sleep(10); // milliseconds
}
catch (InterruptedException e)
{
// OK do nothing
}
}
但是，一位同事在评论中指出，getActiveCount的文档声明：
返回活动线程的大致数目。
执行任务。
那么，在池中仍然有活动线程
浏览 3提问于2013-12-18得票数 1
回答已采纳
我正在Spark2.2.0和Scala2.11.11上运行一个submit作业，在Mesos 1.4.2上运行一个SBT。
我对丢失的任务和未注册的执行者有问题。以下是症状：
MesosCoarseGrainedSchedulerBackend启动任务，直到到达spark.cores.max为止。例如，它在这里启动6个任务：
18/06/11 12:49:54 DEBUG MesosCoarseGrainedSchedulerBackend: Received 2 resource offers.
18/06/11 12:49:55 INFO MesosCoarseGrainedSchedul
浏览 1提问于2018-06-11得票数 1
回答已采纳
1回答
apache独立设置中的所有工作人员都显示了以下消息。工人:执行者应用程序-20150902151146-0001/6完成与州杀死exitStatus 1
得到这个信息的原因是什么。
浏览 0提问于2015-09-02得票数 5
我必须在星星之火-提交集群部署模式和独立模式：
如何将节点指定为火花集群中的驱动节点
在我的例子中，驱动节点被动态地分配给火花。
如何从本地自动发布应用程序
在我的例子中，我必须将app的jar部署到每个节点，因为我不知道哪个节点将是驱动节点。
PS :我的提交命令是：spark-submit --master spark://master_ip:6066 --class appMainClass --deploy-mode cluster file:///tmp/spark_app/sparkrun
浏览 1提问于2017-07-04得票数 2
我正在学习如何使用spark，我有一个简单的program.When，我运行了jar文件，它给了我正确的结果，但我在stderr file.just中有一些错误，如下所示：
15/05/18 18:19:52 ERROR executor.CoarseGrainedExecutorBackend: Driver Disassociated [akka.tcp://sparkExecutor@localhost:51976] -> [akka.tcp://sparkDriver@172.31.34.148:60060] disassociated! Shutting down.
1
浏览 2提问于2015-05-19得票数 3
Apache Tomcat多次说：
web应用程序/MyServlet似乎启动了一个名为Po-61-Thing-2的线程，但未能阻止它。这很可能造成内存泄漏。
这很危险吗？servlet应该能够处理10.000个请求/天。当线程完成时，如何关闭它们？
class Worker {
private final CountDownLatch startSignal;
private final CountDownLatch doneSignal;
private final int threadNumber;
Worker
浏览 3提问于2014-08-04得票数 15
回答已采纳
让我们说，我们有一个火花作业运行在集群模式，其中集群管理器是纱线。
集群模式
用户向集群管理器提交一个预编译的JAR、Python .集群管理器告诉特定的节点管理器启动应用程序母版。是火花驱动程序，然后在应用程序母版上运行。驱动程序将包含转换和操作的用户代码转换为一个名为DAG的逻辑计划。然后将DAG转换为物理执行计划应用程序主程序，然后与集群管理器通信并协商资源。请求资源(如首选执行器位置和容器数量)。
此时，集群管理器是分配纱线容器还是应用程序主服务器分配纱线容器？集群管理器是否也会创建火花执行器，或者应用程序主程序是否会这样做？
浏览 0提问于2020-05-31得票数 0
回答已采纳
Java为您提供了可以构建的Executor和ExecutorService接口，并附带了几个具体实现(ThreadPoolExecutor和ScheduledThreadPoolExecutor)。
我对Java并发性完全陌生，很难找到几个非常类似的相关问题的答案。与其把所有这些小问题弄得杂乱无章，我决定把它们捆绑在一起，因为很可能有一种方法可以一蹴而就(可能是因为我没有看到这里的全貌)：
实现自己的Executor/ExecutorService是常见的做法吗？在什么情况下，你会这样做，而不是使用上述两种混凝土？在什么情况下，这两种混凝土比“土生土长”更可取？
我不明白所有并发集合
浏览 1提问于2012-06-29得票数 1
回答已采纳
我刚开始使用Spark查询，并试图理解它在幕后的作用。
我在星火词汇中遇到过“核心”这个词，但仍然很难抓住这个词。
我知道- 1 core = 1 task.
我的问题-
能解释一下core到底是什么意思吗？是否显示了目前分配给我工作的cores的数量？如果是，那么我在哪里可以看到它呢？如果我在Spark中发现运行tasks的次数较少，是否有办法增加分配给我的工作的cores数量，这样火花可以提交更多的任务并使我的工作运行得更快?
请给我建议。
浏览 2提问于2021-03-18得票数 0
这里是Java 8和Spark2.4.5(Scala2.12)。我对火花也很陌生。
我正在试图了解代码何时在星火驱动节点上执行以及何时提交给工人/执行者。
具体来说，当您创建一个SparkContext和SparkSession实例时，这些实例化是否总是发生在驱动程序上？或者，是否可以仅在常规的olde‘JVM应用程序上创建SparkContext/SparkSession实例(即:既不是火花驱动程序，也不是工人/执行器的Java应用程序)？
会话读取也是如此。例如，当我读取如下CSV文件时：
sparkSession.read()
.format("csv")
.lo
浏览 2提问于2020-03-27得票数 0
回答已采纳
我在气流中有一个任务，它将文件从GitHub下载到本地文件系统。把它传递给火花提交，然后删除它。我想知道这会不会产生什么问题。
这是否可能是在两个不同的dag运行中同时运行相同任务的工作人员引用同一个文件？
示例代码->
def python_task_callback():
download_file(file_name='script.py')
spark_submit(path='/temp/script.py')
delete_file(path='/temp/script.py')
浏览 2提问于2021-08-23得票数 1
回答已采纳
我正在尝试理解Apache Spark调度程序到底是如何工作的。为此，我设置了一个包含一个master和两个worker的本地集群。我只提交了一个应用程序，它简单地读取4个文件(2个小文件(~10MB)和2个大文件(~1.1 the ))，连接它们并收集结果。另外，我在内存中缓存了这两个小文件。
我正在使用FIFO.I运行独立的集群模式，我知道阶段是如何形成的，但我不知道数据流是如何确定的(箭头)。当我查看SparkUI时，我注意到每一次，即使阶段以相同的方式形成，箭头(我猜是数据流和控制流)也是不同的。这就像是调度器不确定地工作。
我已经读过Jacek Laskowski的书中的相关章节(关
浏览 0提问于2018-02-27得票数 0
3回答
由Runnable运行的任务( )提交()任务安全吗？如果使用任何标准Java执行器，会导致死锁吗？如果我想防止标准执行器的死锁，我是否应该使用或避免任何特定的配置？我猜想将任务提交给不同的执行者是安全的，但是将任务提交给运行原始任务的执行者会怎么样呢？
浏览 4提问于2014-04-25得票数 0
1回答
我正在斯帕克做一些测试，我意识到我的一些任务需要很长时间才能完成，因为可以从TaskMetrics中提取调度器延迟时间。我知道关于这个主题已经有一些问题，比如这个，但是答案还没有被接受，它说等待打开时隙的任务被认为是调度器延迟，我认为这不是真的(据我所知，如果一个任务没有一个进入执行器的插槽，它就不会开始生成度量标准)。
我有点搞不懂这个延迟是从哪里开始的。我想知道这个延迟时间是否也考虑到了从纱线客户端接受的应用程序到提交应用程序的第一个作业之间的时间。换句话说，在应用程序被接受的这段时间：
这个正在运行的地方：
浏览 0提问于2016-06-03得票数 0
回答已采纳
1回答
这可能是一个补救问题，但我只是重复了一下，我需要澄清一些事情。如果我有一个管理5个线程的固定线程池，并且我有150个任务A实例和150个任务B实例.任务B依赖于任务A的完成，因此它可以阻止等待任务A，而任务A和B的任务都被提交到相同的固定线程池中，这会导致线程饥饿吗？当一个任务阻塞时，它不会释放该线程来执行另一个任务。对吗？
浏览 2提问于2014-11-15得票数 0
回答已采纳
我有一个要求，更新文件内容从多个操作，可以在同一时间发生。
我需要对每个请求进行排队，并逐个更改每个请求的文件内容。
我使用android广播接收器接收用于更改文件内容的事件。
如何将此事件排队并进行更改以逐个提交请求。
请提供一些建议，如果可能，请提供任何链接，我可以参考。
浏览 0提问于2014-03-13得票数 0
回答已采纳
2回答
这里是我的火花集群细节-内存- 29.3GB和10个核心。
现在我负责这项工作，
火花-提交-主火花://hadoop-主:7077-执行器-内存1g -执行器-核心2/家庭/hduser/评级-抗衡.1g
但是，当我单击已完成的应用程序时，我会看到5个执行者正在执行。
火花如何决定执行5名执行者？
浏览 3提问于2017-03-02得票数 2
回答已采纳
1回答
动态资源分配和排队应用程序
、、、、
根据这个
启用星火动态资源分配时，所有资源都分配给第一个可用的提交作业，从而导致随后的应用程序排队。若要允许应用程序并行获取资源，请将资源分配到池中并运行这些池中的应用程序，并允许抢占在池中运行的应用程序。
我自己也观察到了这种行为，但是我目前正在处理一个小集群，只有两个节点(m3.xlarge在EMR上)和一个主节点(r3.xlarge)。我看到的是，如果我提交多个星火应用程序(对spark-submit的不同调用)，当我在EMR上查找我的资源管理器时，所有的应用程序都会被接受，但一次只运行一个。
现在，这可能是因为我阅读的文件大约是2GB，而且我的资源已经用完了。我还尝试使用Spa
浏览 10提问于2017-10-31得票数 0
1回答
我正在尝试管理基于Patient的资源CRUD (如病人、操作者等)的FHIR workflow。
对于不同系统之间的工作流处理，我希望使用task资源，但我不想管理订阅资源及其体系结构。
所以我对通知的管理有一个疑问。
正确的方法是:不同的系统必须在服务器上应用轮询操作，才能知道是否有需要使用的task资源？或者是服务器来警告不同的系统？
我想使用的服务器FHIR是R4。
编辑
我们希望创建一个关于三个系统之间数据交换的互操作性平台。每个系统都已经在生产中，是由不同的软件公司开发的，我们不能在它们上工作。
实际上，每个系统都没有一个服务器FHIR (作为工作流体系结构的选项B)。
每个系统都
浏览 6提问于2020-04-20得票数 0
回答已采纳
1回答
问题陈述：
我有一个5000的id，指向数据库中的行。可能超过5000
每个Runnable都检索给定id的数据库中的行，并执行一些耗时的任务。
公共类BORunnable实现可调用的{ public BORunnable(String branchID){ this.branchID=branchID；} public setBranchId(String branchID) { this.branchID=branchID；} public Properties call(){ //Get branchID //执行一些耗时的任务。只需1秒即可完成返回propObj；}
我将把
浏览 1提问于2014-08-27得票数 0
1回答
我有这样的场景(这是Java伪代码)：
有一条主线：
1)创建一个C类型数组的实例：
C[] arr = new C[LARGE];
2)创建(通过执行CPU绑定操作)将arr填充到池P1的任务：
for (int i = 0; i < populateThreadCount; i++) {
p1.submit(new PopulateTask(arr, start, end))
}
每个任务在arr中填充不同范围的索引，因此此时池P1中的线程之间不需要同步。
3)主线程等待所有填充任务完成。
4)一旦arr被填充，主线程创建并提交将arr内容上传(IO绑定操作)的任务，并将其提交到
浏览 6提问于2015-04-21得票数 6
回答已采纳
1回答
基于这个问题，我可以在动态的基础上打开新的vm。
我使用的是火花动态分配，当我使用spark.dynamicAllocation.minExecutors=10时，突然爆发的数据火花打开新的执行器非常缓慢地导致长队。
当我在突然突发时将spark.dynamicAllocation.minExecutors=200更改为更大的数字时，它会非常快地打开新的执行程序，并且队列可以清除。
我的问题是，在这种情况下，我们是否必须将这一点定得很高呢？
浏览 5提问于2017-02-01得票数 1
回答已采纳
2回答
为了进行html解析，我实现了一个生产者/消费者模式。我的问题是，在生产者完成了任务之后，我可以阻止消费者，并且一个附加条件的缓冲区被激活了。例子：
我有一个制片人和5个消费者。制作人停止工作是因为它的任务已经完成了。那么消费者怎么会知道生产者已经完成了它的工作呢？我已尝试执行：
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.LinkedBlockingQueue;
public class MainTest {
public static void main(String[] args)
浏览 4提问于2010-12-28得票数 0
回答已采纳
说：
内存一致性效应:在将Runnable对象提交给Executor之前，线程中的操作会发生--在它开始执行之前，也许在另一个线程中。
Java语言规范的哪一部分保证了这一点？还是仅仅因为实现使用了一些内部同步？(如果是这样的话，举个例子就太好了。)因此，在实现自定义Executor时，我应该知道这个需求吗？
浏览 3提问于2016-01-09得票数 6
回答已采纳
2回答
我有一个Dataproc集群：
master -6核心
工作人员{0-7}-6核心
最大分配:内存:24576，vCores:6
有两个火花流作业要提交，一个接一个
首先，我尝试使用默认配置提交spark.dynamicAllocation.enabled=true。
在30%的情况下，我发现第一个作业几乎捕获了所有可用内存，第二个任务排队等待了很长时间的资源。(这是一个流作业，每批占用一小部分资源)。
我的第二次尝试是改变动态分配。我提交了相同的两个配置相同的作业：
spark.dynamicAllocation.enabled=false
spark.executor.memory=12g
浏览 2提问于2019-03-04得票数 1
回答已采纳
我有ThreadPoolExecutor和下一个params：
corePoolSize = 20
maximumPoolSize = 100
workQueue = new LinkedBlockingQueue(10)
每秒钟我提交1k任务。任务代表一些IO操作，需要1-2s。其中一些被拒绝了。这是意料之中的。我使用自定义AbortPolicy在拒绝之前记录线程池状态。
在日志中我看到了一些我无法解释的东西。信息如下：
java.util.concurrent.ThreadPoolExecutor@3e6be2d8Running，池大小= 100，活动线程= 2，排队任务= 10，完成任务
浏览 0提问于2020-08-04得票数 3
回答已采纳
我有一个任务管道(流水线中的每个任务都有不同的并行性要求)，每个任务在不同的ExecutorService中工作。任务工作在数据包上，所以如果我们有10个数据包，那么10个任务将提交给service1，每个数据包一个任务。一旦提交给service1的任务实际调用了，它就可能提交一个新的任务来进一步处理service2、service3的数据集。
以下代码运行良好，即：
在将所有内容提交给shutdown()后，在service1上调用service1
在关闭()之前提交的所有任务实际运行完毕后，awaitTermination()才会返回。--然后在shutdown()上调用servi
浏览 10提问于2012-06-08得票数 2
回答已采纳
1回答
我正在用scala编写一个与kafka进行火花流连接的程序，我得到了以下错误：
18/02/19 12:31:39 ERROR Executor: Exception in task 0.0 in stage 3.0 (TID 39)
org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {prensa4-0=744}
at org.apache.kafka.clients.
浏览 0提问于2018-02-19得票数 2
我正在做一个javaFX项目，用户只需浏览几个文件，创建一个队列，单击start upload并在指定的路径上开始上传这些文件。现在，当用户单击“暂停”按钮时，必须暂停上载过程，当单击“恢复”时，必须从已暂停的位置重新启动该进程。因此，到目前为止，我已经通过Executors.newSingleThreadExecutor()创建了一个对象队列(Files)，并提交了任务。在我的例子中，采取类是众所周知的项目。现在，当用户单击“暂停”按钮时，我调用executorService的快门现在()方法。当用户单击简历时，我创建了一个全新的Executorservice实例。但是，当我通过execut
浏览 6提问于2013-10-05得票数 3
回答已采纳
1回答
当我使用yarn cluster向--num-executers=4提交spark作业时，我可以在spark UI中看到，在集群中的4个节点中分配了4个执行器。在我的火花应用程序中，我从不同的HDFS位置接受不同步骤的输入。但在执行过程中，分配的执行者保持不变。
我怀疑spark是否为data-locality，做了什么，因为它从一开始就选择了节点，而不管输入数据位于哪里(至少在HDFS的情况下是这样)？
我知道地图缩小在某种程度上是这样的。
浏览 1提问于2016-09-12得票数 2
需要了解何时使用spark.dynamicAllocation.enabled --使用它的优点和缺点是什么？我排队等待工作的提交。
上午9:30 ->作业A在启用dynamicAllocation的情况下提交。
上午10:30 ->作业B在启用dynamicAllocation的情况下提交。
注意:我的数据是巨大的(对10 on的数据进行转换处理)。
哪一份工作在分配执行者给工作A或工作B方面有优先权，以及火花如何协调b/w 2申请？
浏览 2提问于2017-05-27得票数 1
回答已采纳
1回答
在spark中，我想知道在工作之间发生了什么，并寻找减少工作的任何方法，特别是在收集之后和写拼图之前。我看到了一个很长的休息时间，然后提交拼花，几乎1分钟。考虑到整个应用程序需要2分钟，它需要很大的比例。这种中断通常意味着所有的工人都会被触发并收集数据吗？即使如此，棋盘前的间隔比其他动作(如收集或第一动作)更长。谢谢
这是图像
浏览 0提问于2018-06-20得票数 0
1回答
我想在亚恩的客户上做火花作业。我有两个节点，每个节点都有以下配置。
我得到了“ExecutorLostFailure(遗嘱执行人1丢失)”。
我已经尝试了大部分星火调优配置。我已经减少到一个执行者丢失，因为最初我得到了6个执行者失败。
这些是我的配置(我的火花-提交)：
提交火花组装-1.0-SNAPSHOT.jar -h hdfs://hdp-节点-1.zone24x7.lk:8020 -p 800
我的数据大小是6GB，我正在工作中做一个groupBy。
def process(in: RDD[(String, String, Int, String)]) = {
i
浏览 2提问于2015-11-11得票数 5
3回答
Swing计时器和耗时任务
、、、、
我正在开发一个Swing应用程序。我需要在后台运行一些任务，因此需要在TrayIcon上显示消息。在一些固定的延迟之后，这些任务必须反复执行，所以我研究并发现Swing计时器是一个很好的选择。然而，与此同时，这些任务可能会耗费时间，而且我不希望GUI冻结或类似的东西(因此，为了满足最后的要求，我应该使用Worker代替)。问题是，工作线程不允许我以固定的延迟和“永远”的方式执行这个任务。
我不知道如何解决这一问题，因此，任何帮助都将不胜感激:)
浏览 2提问于2013-11-29得票数 1
回答已采纳
我是新来的火花，我试图添加一个当地的罐子，以激发提交使用--罐子。我的命令是./spark-submit --jars /home/parallels/Downloads/my_jar_name
然而，它似乎不适用于这样的反馈。我想知道它的原因和如何解决它。
浏览 9提问于2018-01-06得票数 1
我看到大约3018项任务失败了，因为大约有4名执行者死亡。
执行者摘要(如下面的Spark )有一个完全不同的统计数据。在3018人中，约有2994人正确完成。我的问题是，
还会再试一次吗？
是否存在覆盖/限制此设置的配置？
浏览 0提问于2018-11-20得票数 0
回答已采纳
我正在运行EMR (6.6)上的火花节约(6.6)，并启用托管缩放。我们有时会有很长一段时间(45m)的SQL堆栈，直到一个新的请求到达服务器并释放它。
当发生这种情况时，我们看到在任务节点上有一个执行器，EMR要求杀死它。
这种行为的原因是什么？怎样才能避免呢？
浏览 1提问于2022-08-08得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
