1回答
我想安排一个每月的作业，从今天起在每个月的同一天运行。我希望今天是第一次运行。例如，今天是11:00，时间是上午10点。我如何安排一个每月在2号上午11点运行的每月作业，必须先运行11/2。
浏览 7提问于2020-11-03得票数 0
我的气流调度器由于某种原因而下降，当我重新启动它时，所有的DAGS都同时触发了。就好像它正在从失去的工作中迎头赶上。而且，当我修改DAG时，工作流触发。
浏览 9提问于2022-09-12得票数 0
回答已采纳
3回答
我们的hadoop集群中有火花批处理作业和和火花流作业。我们遇到了气流，这符合我们对“编写、调度和监控工作流的平台”的需求。使用气流图和剖面图不是什么问题。我遇到了一个问题：
这说明这是可能的，而不是为什么你不应该。
浏览 1提问于2019-02-20得票数 10
我对气流调度和触发还比较陌生。我们创建的气流作业很少自动每天运行，但是，如果我们可以安排每天的工作，但在周末(周六和周日)暂停，我们想要探索各种选择。是否有一种方法可以这样安排气流作业，或者我们可以使用CRON表达式指定可以触发作业的日期、时间吗？
非常感谢你的帮助。
浏览 9提问于2022-10-20得票数 0
回答已采纳
我尝试通过airflow rest api在一秒钟内触发一个airflow作业两次以上，发现只有一个触发成功。如果调度气流作业，则最短时间为1秒。
那么有没有办法在亚秒级内触发气流作业？
浏览 0提问于2020-03-28得票数 0
2回答
工作流调度器或工作流调度程序有一个公共部分，可以帮助用户构建DAG、调度和跟踪实验、作业和运行。而且气流支持不同的语言API，并且有很大的社区，我们可以用气流来构建我们的ML工作流吗？
浏览 2提问于2019-11-26得票数 12
回答已采纳
我想知道气流任务是否可以在HTTP上得到请求时执行。我对气流调度部分不感兴趣。我只想用它代替芹菜。
谢谢。
浏览 6提问于2017-02-22得票数 32
回答已采纳
1回答
我的团队有多个气流工作。频繁运行的作业是得到调度和正常运行的，但运行的作业很少不被调度和跳过。
我主要想要创建一个健康检查DAG，以便在我的作业没有计划和没有运行时得到通知。
浏览 2提问于2019-10-01得票数 2
我使用气流来调度火花作业和使用一个conf.properties文件。我想改变这个文件在气流UI，而不是在服务器CLI。我该怎么办？？
浏览 4提问于2022-08-15得票数 1
回答已采纳
我的用途是使用气流控制许多跨微服务的定期工作。我正在尝试的解决方案是使用气流作为一个集中式作业调度器，并通过进行http调用触发作业。这些工作中有一些会持续很长时间。超过10分钟或最多1小时。如何从气流中定期检查这些工作的状态？如果远程任务已经完成，但气流不知道工作成功怎么办？我能把完成工作的事件发布给卡夫卡，让气流收听卡夫卡的工作状态吗？
浏览 0提问于2018-12-01得票数 2
回答已采纳
1回答
我有两种类型的工作:火花批处理作业和火花流作业。气流是用来工作的已经停止了。但我想把它用于我的流媒体工作。有人能为我的流媒体工作提供一些想法或其他工具吗？
浏览 3提问于2021-10-28得票数 1
回答已采纳
1回答
我们目前有一堆独立的作业运行在不同的服务器上&正在使用crontab进行调度。我们的目标是有一个跨服务器的所有作业的单一视图，以及它们是否成功运行等等。气流是我们正在考虑使用的工具之一，以实现这一点。但是我们的服务器配置非常不同。是否可以设置气流，以便DAG1 (以及气流调度器& webserver)在server1上运行，DAG2在没有RabbitMQ的server2上运行。
浏览 1提问于2022-01-14得票数 0
我们使用气流来调度作业。为了在一个孤立的环境中运行我们的代码，我们有通过BashOperator和docker组成的气流生成作业。所以每个气流任务都会创建一个容器。例如，当作业设置为在气流web接口中失败时，日志指示发送了一个SIGTERM，并且该进程不再存在。气流及其部件本身在码头集装箱中运行(见下面的码头组成)。看着气流工人的容器，我们看到这个过程确实被扼杀了。
然而，当我们看到码头ps，我们看到码头容器实际上仍
浏览 4提问于2022-11-16得票数 1
1回答
我正在评估气流作为作业调度工具。( 1)我们能否创建很少的用户，如管理员、开发人员和只读用户？( 2)我们能实现对气流UI 3的访问控制吗？是否有任何dag部署机制？
浏览 0提问于2019-05-29得票数 3
我想了解像Hadoop MapReduce作业/火花作业/Hive脚本/Pig脚本这样的ETL作业通常是如何部署在on premises生产/开发环境中的。它们是否总是使用像Apache气流或Apache这样的调度器来部署和运行？
我假设这些作业几乎从不独立运行，而且总是使用调度程序运行，即使它是一个简单的调度bash脚本。这个准确吗？
浏览 0提问于2021-10-29得票数 1
我有一个关于Apache气流和Metaflow()之间的区别的问题。据我所知，Apache气流只是一个作业调度程序，它运行任务。基本上意味着，Metaflow可以在Apache气流上执行吗？
我的理解正确吗？如果是，是否可以将Metaflow DAG转换为Apache气流DAG？
浏览 7提问于2022-01-03得票数 2
回答已采纳
Airbnb (一家开源气流公司)说，早在2015年，他们在气流集群中只有6个节点，为5000个工作岗位提供服务。
我是不是漏掉了什么？
浏览 3提问于2017-04-16得票数 2
回答已采纳
我们需要通过使用sqoop作业从外部关系数据库中提取数据来加载Amazon桶。我已经创建了一个shell脚本，其中包含sqoop作业来执行我提到的任务。我知道，我们可以通过shell脚本或Informatica自己的调度程序本身调用Informatica工作流。我在前面使用了Autosys，其中我们将shell脚本配置为作业，并在此shell脚本完成后触发Informatica工作流，以保持依赖关系。我的问题是，我们是否有任何开源调度程序可以在AWS中配置Informatica作业？
谢
浏览 5提问于2018-10-29得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
