2回答
我试着用下面的命令 $ yarn应用程序-list -appState已完成 它给了我所有已完成工作的列表，但我的目的是为昨天的最后一次完成工作。此外，该列表不会在详细信息中不给出日期。startedTimeBegin=122&startedTimeEnd=124”(122 & 125是epoc时间示例)’ 它也没有抛出具体的细节。我实际上是外壳脚本，以获得纱线完成
浏览 32提问于2021-02-09得票数 0
我知道，历史服务器显示已完成的星火应用程序。
您能帮我理解上面图片中的“主动工作”、“持续时间”和“阶段:成功/总计”项目吗？
浏览 5提问于2018-09-01得票数 2
回答已采纳
如何优雅地停止数据节点上的纱线角色，并等待datanode上所有正在运行的作业完成状态成功。这是在数据节点上停止纱线角色的安全方法吗？
这是一个优雅的纱线角
浏览 14提问于2021-12-29得票数 1
回答已采纳
我知道我的查询很大，大约需要300秒来执行。但我认为这是某个BigQuery的错误，所以我想知道为什么会发生这个错误。以下是显示错误的图像：
浏览 1提问于2014-08-02得票数 2
2回答
的过程。最后，如果第二个答案是真的，这个过程是否有可能暂停一段时间？我做了一些研究，发现最重要的解决方案是hadoop中的和类。
但是，由于我不确定上面的工作流程，我不知道我要挂起哪些过程，并使用这些工具继续工作。它
浏览 3提问于2016-03-21得票数 2
回答已采纳
1回答
我对oozie完全陌生，我正在创建一个工作流来运行一个hive查询，只需使用select语句显示一个表格的数据，但是一旦我提交了作业，它就会出现以下错误。JA017:与行动0000000-150519212325700相关联的未知hadoop作业job_local1866275230_0001 -oozi@adstest。这次行动失败了！下面是我的hive-site.xml<?xml version="1.0"?>
<?lastErrorNod
浏览 2提问于2015-05-20得票数 0
我有一个yml文件，其中包含数据源的路径。如下所示： 存储桶:s3://data_source/file.csv 我希望将作业更改为仅获取标题附加了昨天的文件，例如: file-2021-10-21.csv 所以基本上是这样的:存储桶:s3://data_source/file-{昨天}.csv 如何在yaml文件中定义它？
浏览 40提问于2021-10-21得票数 1
该应用程序是复杂生态系统的一部分，我们正在使用Yarn跟踪所有作业的状态。现在，对于某些特定的业务场景，我们需要将火花作业标记为“失败”，但我遇到了Gotcha情况，因为无论我在火花作业错误/异常中提出什么，或者System.exit(123)作业在Yarn中被标记为已完成，finalstatus都是成功的。}我在火花工作中尝试过的事情：
抛出新异常(
浏览 2提问于2016-10-31得票数 3
回答已采纳
在主节点上，我使用以下命令在纱线集群中启动Flink会话：这是每个TaskManager的最大内存和插槽，让我根据所选的实例类型设置它另外，当查看纱线节点管理器时，我发现在其中一个核心节点上只有一个容器在运行。纱线资源管理器显示，该应用程序仅使用50%的群集。使用当前的设置，我假设我可以运行并行性设置为8 (2 TaskManagers * 4插槽)的
浏览 0提问于2019-07-08得票数 0
回答已采纳
如何使用gcloud或python获取失败的dataproc作业列表及其开始时间？我在文档中没有看到太多关于这方面的信息。
浏览 1提问于2019-08-20得票数 1
目前，除了内存使用之外，我无法监控CronJobs上的任何参数(在Kubernetes中)。在亚马逊网络服务CloudWatch中，有没有办法监控CronJob的完成/失败？谢谢。
浏览 14提问于2020-04-07得票数 3
这可能是一个超负荷的任务，我希望我问的是正确的问题。但基本上，是否有人经历过这种权限问题，并知道如何绕过它？如果我完全删除这两个阶段/作业，并且只在一个阶段/作业下运行它，那么它完全没有问题。我只是想看看如何将任务分开(有比下面显示的更多的任务，但我简化了它)。如果我在一个阶段或一个作业内运行所有的任务，那么就能工作，并且我不会得到任何错误。我尝试过使用PublishPipelineArtifac
浏览 2提问于2021-06-14得票数 1
1回答
如何获取slurm作业状态(例如，已完成、失败、超时...)在作业完成时(在提交脚本中)？也就是说，我想写来单独跟踪超时/失败的作业。
目前我使用退出代码，但是超时的作业也会得到退出代码0。
浏览 9提问于2020-06-05得票数 1
回答已采纳
除了下面的例外，我所有的映射器都失败了。我只展示了最后一次简洁的失败。@Override Configuration conf = getConf()所以我在想，这可能与运行它的服务器上的配置或数据状态有关吗？该作业在本地计算机上的Docker容器中运行的测试表上运行良好，但在
浏览 2提问于2016-09-21得票数 3
回答已采纳
我很难在ActiveRecord中构建这个查询：因此，查询应该包括完全没有打印作业或仅中止打印作业的文档。ActiveRecord::Baseend
我的第一次尝试是获取所有已完成</
浏览 2提问于2016-04-15得票数 0
回答已采纳
如何在开始作业时传递其他java属性？VERSION}-all.jar“-yD env.java.opts="-Dconfig.file='config/jobs/twitter-analysis.conf'”
也就是说，我试图使用的方法，但到目前为止，它还不能适用于Flink的当前版本(1.10.1)
此属性将等效于Apache中的spark.driver.extra
浏览 6提问于2020-06-24得票数 0
回答已采纳
也许我是个糟糕的探索者，但我在文档中找不到答案，所以我只想在这里试试运气。我知道写GCS似乎不是原子的，在作业运行的过程中会产生部分输出分区。但是，我已经尝试过通过数据流将数据转储到BQ中，并且在作业声称成功之前，输出表似乎不会公开给用户。
浏览 6提问于2016-08-05得票数 1
回答已采纳
1回答
当我使用火花提交，所有成功完成的工作留下了大量的历史之后。当作业失败时，所有日志似乎都丢失了。从历史链接，你可以看到我唯一的线索是在nohup.out，因为我运行星星之火-在nohup下提交。那个日志表示执行者开始消失。错误YarnScheduler:丢失的执行器4
如何才能使纱线保
浏览 0提问于2015-10-15得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
