我有一个周期性挂起的spark作业，使我的AWS EMR集群处于一个应用程序正在运行但实际上集群被卡住的状态。我知道，如果我的工作没有停滞不前，它将在5小时或更短的时间内完成。如果在那之后它仍然在运行，这是作业被卡住的迹象。Yarn和Spark UI仍然是响应式的，只是执行器被任务卡住了。背景:我使用的是一个短暂的EMR集群，它在终止之前只执行一个步骤，所以<em
浏览 26提问于2019-01-10得票数 1
2回答
我想在EMR spark集群上设置一系列spark步骤，如果花费的时间太长，则终止当前步骤。但是，当我ssh进入主节点并运行hadoop job -list时，主节点似乎认为没有作业在运行。我不想终止集群，因为这样做会迫使我为我正在运行的任何集群购买一个全新的小时。有没有人可以帮我在不终止整个集群的情况下终止EMR中的s
浏览 2提问于2016-01-27得票数 14
回答已采纳
我用Scala编写了在EMR中运行集群的代码。另外，我还有一个用Scala编写的Spark应用程序。我想在EMR集群上运行此Spark应用程序。但我可以在第一个脚本(启动EMR集群)中执行此操作吗？我想用SDK完成所有这些操作，而不是通过控制台或CLI。它必须是一种自动化，而不是单一的手工作业(或最小化手动作业)。基本上；
启动电子病历群集->在电子病历->上运行<em
浏览 1提问于2020-03-23得票数 0
1回答
我启动了一个EMR集群，其规格如下：
星火作业是相关的经过几次尝试后，似乎每次火花作业大约在1小时零15分钟内终止(我可以在Spark中看到完成的作业，我可以在S3中看到很好的输出)。但是EMR集群在关闭前挂在20到30分钟之间。为什么EMR<
浏览 3提问于2018-05-18得票数 0
我正在使用Amazon Elastic MapReduce (Amazon EMR)编写应用程序。计算结束后，我需要对他们创建的文件执行一些工作，因此我需要知道作业流何时完成其工作。以下是检查作业流是否已完成的方法：您还可以在De
浏览 3提问于2012-05-26得票数 12
我已经在亚马逊EC2上建立了一个Hadoop集群，提供了NameNode/DataNode和其他一些服务。我的摄取作业将数据带入EC2 HDFS集群(比方说hdfs://ec2-hdfs/)。我正在启动一个新的Amazon EMR集群来运行我的计算。一旦处理完成，我将终止EMR集群。
我需要在EMR中运行的spark作业的输入是在EC2 HDFS (hdfs:
浏览 10提问于2019-07-16得票数 0
3回答
现在，我有一个AWS Step函数来创建、运行和终止EMR集群作业。我想添加一个超时功能，以停止作业并在集群被卡住或运行时间过长的情况下终止集群(例如，让一个输入变量"TIMEOUT_AFTER_X_HOURS": 12与集群信任一起传递到状态机，这将自动停止作业，如果集群在
浏览 3提问于2019-11-01得票数 4
回答已采纳
我有Airflow作业，它们在EMR集群上运行得很好。我需要的是，假设我有4个airflow作业，需要EMR集群20分钟才能完成任务。为什么不呢?我们可以在DAG运行时创建一个EMR集群，一旦作业完成，它将终止创建的EMR集群。
浏览 4提问于2019-03-19得票数 2
如何通过AWS Lambda使我的PySpark代码与AWS EMR一起运行？我是否必须使用AWS Lambda创建一个自动终止的EMR群集来运行一次S3存储的代码？
浏览 0提问于2020-06-03得票数 0
1回答
我有一个带有Yarn Fair scheduler的AWS EMR集群设置。目前，如果我启动一个大型作业(作业A)，它会启动并占用集群的所有CPU和内存。如果我启动第二个作业(作业B)，而群集正在从作业A耗尽资源，它将进入已接受状态，但不会运行。即使打开了自动缩放并且向群集中添加了新节点，也会将新资源分配给作业A，而不是作业B。同时，作业B会继续等待，直到
浏览 16提问于2019-09-07得票数 0
我编写了一个shell脚本，它调用spark-sumit向yarn cluster模式的yarn提交一个应用程序。当应用程序启动时，客户端进程(提交应用程序的进程)会被终止吗？
浏览 15提问于2020-05-25得票数 0
回答已采纳
3回答
我想按需执行火花作业。因此，只有当我接收到触发器事件时，我才希望使用与此触发器事件一起到达的输入来执行火花作业。由于触发事件并不频繁，所以我不想使用星火流。我的目标是在AWS EMR集群中部署该工具。我希望能够按需创建EMR集群(按触发器)，在那里执行Spark作业并关闭群集。有什么好的例子说明如何处理Scala中的这些操作吗？
浏览 2提问于2018-02-02得票数 1
回答已采纳
通过Terraform，我想创建一个EMR集群，启动一个Spark Job，并在作业完成时终止该集群。我在Terraform文档()中找到了这个步骤机制，但我在谷歌上没有找到任何关于Spark Job的示例(一个谢谢你的帮忙
浏览 0提问于2019-02-27得票数 1
1回答
我有一个spark-streaming作业，运行在EMR上，由气流排定。我们每周都要优雅地终止这个电子病历集群。但是，当我向运行中的kill应用程序发出SIGTERM或spark-streaming信号时，它在气流DAG中报告为“失败”任务。这将阻止DAG进一步移动，防止下一次运行触发。有什么方法可以杀死正在运行的spark-streaming应用程序来标记成功，或者让DAG完成，即使它认为任务失败了？
浏览 1提问于2018-07-23得票数 0
下面是我正在努力实现的目标的高级图片:我想用spark作为一个计算来训练一个模型，所有这些都是在SageMaker中使用他们的训练Job。我希望使用SageMaker培训作业设置，这样我就可以使用SM超参数优化工作来为LightGBM找到最佳的超级参数。我感到困惑的是，从本质上说，要使用星火计算后端，我需要运行一个EMR集群，所以SDK也必须处理这个问题。但是，我看不出上面的API是如何做到的。
浏览 3提问于2022-01-24得票数 2
回答已采纳
1回答
是否有可能等到EMR集群被终止？
、、、、
我正在尝试编写一个组件，它将启动一个EMR集群，在该集群上运行一个Spark管道，然后在管道完成后关闭该集群。我有两个具体问题：
对emr.runJobFlow的调用在提交结果后立即返回。有什么方法可以让它阻塞直到<em
浏览 0提问于2019-06-13得票数 2
回答已采纳
我的工作流程如下：
将数据从S3上传到Redshift。不过，我还想不出如何实现自动化，这样我的过程就会产生一个EMR集群，引导正确的安装程序，并运行我的python脚本，它将包含用于解析和编写的代码。有没有人有任何例子，教程，或经验，他们可以与我分享，以帮助我学习如何做到这一点？
浏览 7提问于2016-04-19得票数 17
回答已采纳
我有大约88个EMR集群在我的AWS账户中终止。如何清理销毁的EMR集群列表？AWS会清理这个列表吗？谢谢!
尼古拉斯
浏览 3提问于2014-05-06得票数 14
我在Hadoop集群中使用的是HDFS 2.7.3和Spark2 2.0.0。当我启动Spark2 Thrift服务器时，它成功地启动了，但从配置单元用户自动开始运行一个作业，它似乎永远挂起。如果我手动终止该作业，它将再次使用新的applicationId启动一个新作业。
但是如果我停止Spark2 Thrift服务器，它就会终止作业。你能帮我理解一下这个问题吗？
浏览 0提问于2017-04-21得票数 3
2回答
我想以编程方式杀死一个EMR流任务。如果我从EMR或boto客户端杀死它，它就会在EMR中消失，但它在Hadoop集群中仍然是活动的(参见)。只有当我通过Hadoop资源管理器并从那里杀死它时，作业才会终止。如何通过编程实现相同的功能呢？
浏览 10提问于2022-10-27得票数 0
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
