2回答
我使用亚马逊弹性MapReduce (Amazon )创建了一个工作流程，但由于一些未知的原因，它失败了。然后，我试图通过AWS管理控制台终止作业流，但是“终止”按钮被禁用。然后，我尝试使用CLI终止作业流，它显示了作业流被终止，但是当通过CLI和管理控制台中的弹性MapReduce选项卡看到它时，它仍然显示为在作业流列表中失败。
请让我知道如何
浏览 4提问于2012-04-14得票数 3
回答已采纳
下面的代码片段将演示如何以流模式将数据写入文件。但是，当应用程序开始运行时，我检查了输出目录，发现没有写入数据，_SUCCESS也不存在
每个分区(例如：p_day=2021-04-30\p_hour=18\p_min=52)包含大约58个文件(每个文件是空文件如果我用'format' = 'parquet',更改'format' = 'csv',并保持其他代码不变，则应用程序工作并成功地写入数据，就像csv和_SUCCESS出现在每个分区中一样。
浏览 0提问于2021-04-30得票数 1
1回答
在我的应用程序中，我有一个作业类，如下所示。此作业类的实例表示特定的作业运行。作业可以有多个检查点，每个检查点可以有多个命令。在任何一天，都有大约100000个不同的工作在运行。作业信息在文件系统中持久化。我想在Python中设计一个用于查询这些作业对象的用户界面。例如，用户应该能够查询
在x和y间隔之间运行的所有作
浏览 1提问于2018-09-30得票数 5
回答已采纳
我已经进行了大量的研究，但还没有找到一种方法来部署在特定时间框架内的吊舱。我已经找到了cron的工作，但这似乎是为终止自己的吊舱，而我的应该是不断运行。有没有办法用这种方式把我的吊舱部署在库伯奈特斯上？或者，我是否应该设置吊舱本身，以便根据其内部时钟运行其预期的应用程序？
浏览 0提问于2018-07-10得票数 3
回答已采纳
我已经执行了"Kubernetes Up and Running“一书中的示例，其中运行了一个带有工作队列的pod，然后创建了一个k8s作业来消耗队列上的所有工作。我的期望是，一旦一个k8s作业完成，它的豆荚就会被删除，但是kubectl get pods -o wide显示豆荚仍然存在，尽管它报告了0/1的容器，并且它们似乎仍然分配了ip地址--参见下面的输出。何时从kubectl get pods的输出中移除已
浏览 2提问于2018-07-08得票数 23
我可以通过带有null的IsProcessInJob检查我的进程是否在作业中。但我需要处理这份工作。我该怎么做？
我们有一个自动化系统，可以将进程封装在作业对象中。但是，我们必须调用提供给我们的脚本，该脚本正在此作业对象之外启动一个进程。因此，我们需要手动添加该过程，以便如果作业失败并必须被终止，它也会被终止。
浏览 2提问于2017-06-14得票数 0
回答已采纳
1回答
我正在编写一个仅地图的sparkSQL作业，它看起来像val df = lines.map { line => ... }.toDF("col0", "col1")由于作业需要相当长的计算时间，我希望保存并保留成功终止的任务的结果，即使整个作业失败或被
浏览 9提问于2016-07-21得票数 1
回答已采纳
我可以知道当这个任务管理器崩溃时，存储在Flink任务管理器中的状态发生了什么变化吗？假设状态存储是rocksdb，是否会将这些数据传输到其他正在运行的任务管理器，以便为数据处理准备好完整的状态数据？
浏览 15提问于2019-01-11得票数 1
回答已采纳
在这种情况下，我想运行几个autosys作业，如果它运行超过30分钟，终止它并自动重新运行它。我试过跟随吉尔：term_run_time:30提前谢谢。
浏览 4提问于2017-05-18得票数 1
回答已采纳
2回答
当作业在集群中运行时，如果突然NameNode失败，那么作业的状态(失败或终止)是什么？这在内部是如何工作的？
浏览 4提问于2015-12-30得票数 3
我的jenkins作业触发了一个docker进程来运行。一旦退出，我希望我的Jenkins工作立即失败。我能想到的逻辑是退出1；在bash脚本中，根据轮询检查docker状态，假设每4秒就会使Jenkins作业失败。我知道这不是一个理想的解决方案，因为Jenkins作业<
浏览 2提问于2019-06-25得票数 0
我面临的问题，aws自动标度+边框繁忙的工作。我有4个实例在自动缩放组中运行，多个Sidekiq进程在这些实例上运行。所有使用相同redis的实例。如果我的一个实例当时正在终止，那么他的繁忙队列中的作业就会被推入失败状态。它应该将这些作业排队。我在/etc/rc0.d文件夹中添加了一个脚本，它将在instace终止时杀死侧翼进程，但我的作业仍然
浏览 2提问于2016-03-02得票数 2
我正在做一个使用Flink向S3写入数据的POC。程序不会给出错误。但是，我也没有看到任何用S3编写的文件。new Tuple2<>(token, 1)); } }请注意，我已经在配置中设置了s3.access-key和s3.secret-key的值，并通过将它们更改为不正确的值进行了测试(我在不正确的值上得到了错误)
有什么提示可能出了什么问题吗？
浏览 1提问于2021-04-30得票数 0
1回答
有没有办法在作业中存储过程中使排定作业终止(停止、退出、停止执行、报告失败)？例如，我在TRY块中有一些检查查询，它们执行RAISERROR (59834,16,1)以转到CATCH块发送一封电子邮件，说明检查查询发现了一个糟糕的情况，作业必须停止。59834这个数字是随意的，但很具体。但是，每次我测试作业时，即使我引发了一个错误，作业也会继续执行；它从不报告失败。我尝试在CATC
浏览 1提问于2014-05-08得票数 0
我有一个Spring批处理作业运行4次day.Once作业启动，它检查前一个作业的状态。如果以前的作业状态为“已启动”，则作业已中止。我有一个问题要检查一下。问题是，如果一个作业检查前一个作业状态失败，其状态将为"failed“，下一个作业将开始处理，因此两个实例将并行运行。因此，我们必须手动停止one.This强制我们一致地监视<em
浏览 0提问于2013-06-18得票数 0
我有大约88个EMR集群在我的AWS账户中终止。如何清理销毁的EMR集群列表？AWS会清理这个列表吗？谢谢!
尼古拉斯
浏览 3提问于2014-05-06得票数 14
当flink的内部作业失败时，如何使纱线上的flink应用程序终止或失败？无论有多少作业失败，应用程序仍在运行，因此无法立即发现问题。你有什么想法吗？
浏览 1提问于2018-03-22得票数 0
我使用Apache读取kafka主题中的数据，并将其存储在服务器上的文件中。我使用FileSink存储文件，它按日期和时间顺序创建目录结构，但没有创建日志文件。/flink/testlogs/2021-12-08--07 我希望日志文件应该每15分钟写一次到一个新的日志文件。下面是密码。
浏览 5提问于2021-12-08得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
