气流调度月度作业
是指在航空领域中对航班和航空公司进行优化和调度的一项工作。通过合理安排航班的起降时间、航线选择以及航班间隔等，以提高航班的效率和准时率，同时保证航空公司的经济效益和乘客的满意度。
气流调度月度作业的主要目标是优化航班的起降顺序和时间，减少飞机在地面等待的时间，最大程度地提高航班的准点率。此外，还可以根据航班的需求和实际情况，进行航线的调整和优化，提高整体的飞行效率。
在实际应用中，气流调度月度作业可以应用于航空公司、航空交通管理机构、机场等领域。航空公司可以通过进行气流调度，提高航班的准时率，减少航班延误和取消的情况，提升乘客的满意度。航空交通管理机构可以利用气流调度来优化航空交通流量，提高空中交通的安全性和效率。机场可以通过气流调度来合理安排航班的起降顺序，减少跑道拥堵和等待时间，提高运行效率。
腾讯云提供了一系列与航空业务相关的解决方案和产品，包括云计算、大数据、人工智能等技术。具体推荐的产品包括：
- 云服务器（CVM）：提供高性能、可扩展的计算能力，可用于支持航空业务的应用程序和服务。详情请参考：腾讯云云服务器
- 云数据库 MySQL 版（CDB）：提供高可用性、可扩展的数据库服务，适用于航空业务的数据存储和管理。详情请参考：腾讯云云数据库 MySQL 版
- 人工智能服务：包括语音识别、图像识别等技术，可用于航空业务中的语音交互和图像处理等场景。详情请参考：腾讯云人工智能服务
通过以上推荐的腾讯云产品，航空公司、航空交通管理机构和机场可以实现对气流调度月度作业的优化和管理，提高航班的准时率和运营效率，从而提升整个航空行业的服务质量和竞争力。
相关·内容
1回答
我有两种类型的工作:火花批处理作业和火花流作业。
我想用气流来安排和管理它们。
气流是用来工作的已经停止了。但我想把它用于我的流媒体工作。有人能为我的流媒体工作提供一些想法或其他工具吗？
浏览 3提问于2021-10-28得票数 1
回答已采纳
2回答
云数据流作业的调度
、、、
所以，我已经完成了在Dataflow中创建一个工作。此工作处理ETL从PostgreSQL到BigQuery。所以，我不知道用气流来做调度。如何利用气流来共享作业数据流？
谢谢
浏览 17提问于2022-12-02得票数 0
我们想要达到的目标：
我们希望使用气流来管理我们的机器学习和数据管道，同时使用Kubernetes来管理资源和调度作业。我们想要实现的是气流组织工作流(例如，各种任务依赖关系)。在失败时重新运行作业)和Kubernetes来编排基础结构(例如集群自动标度和单个作业分配到节点)。换句话说，气流将告诉库伯奈特集群该做什么，而库伯奈特斯决定如何分配工作。同时，我们也希望气流能够监测各个任务的状态。例如，如果我们有10个任务分散在一个由5个节点组成的集群中，那么气流应该能够与集群进行通信，并且报告显示了这样的情况:3项“小任务”已经完成，1项“小任务”已经失败，并将重新运行，其余的6项“大任务”仍在运
浏览 0提问于2018-06-19得票数 15
回答已采纳
我有一个关于Apache气流和Metaflow()之间的区别的问题。据我所知，Apache气流只是一个作业调度程序，它运行任务。Netflix的Metaflow是一个数据流库，它以DAG的形式创建机器学习管道(可用数据流)。基本上意味着，Metaflow可以在Apache气流上执行吗？
我的理解正确吗？如果是，是否可以将Metaflow DAG转换为Apache气流DAG？
浏览 7提问于2022-01-03得票数 2
回答已采纳
2回答
我正试图找出气流在多租户环境中的工作原理。具体来说，需求应该如下所示：
两个团队，TeamA和TeamB正在使用一个单独的气流实例。
团队的A和B都有自己的服务用户帐户: serviceUserA和ServiceUserB，它们应该在这两个帐户下运行作业。
出于安全考虑，团队A不应该能够创建在ServiceUserB下运行的作业，反之亦然。
在这一点上，我还不清楚要求3是否可以满足气流，但没有给每个团队一个单独的气流实例。有什么办法可以做到这一点吗？
浏览 6提问于2017-09-10得票数 8
请原谅，如果我问了一个非常业余的问题，但在阅读了多线程，帖子，推荐信等之后.我仍然不明白这些不同之处。
我目前的理解是：
(1)传统码头由3名码头工人组成：
Scheduler，它管理作业队列的调度，该队列管理多个作业工作者的队列，后者管理每个队列的工作。
我从这个来源读到：
Docker + Apache气流将组成一个与上述3个码头相同的码头:第二个方法)
Worker(Airflow：，因为在气流中，我们可以设置调度程序，也可以设置队列)
我看了这个教程：
我首先从这两个来源和其他来源了解到，但我对以下情况感到困惑：
，因为我可以使用对接-组合来构建所有的服务，我所需要的只是一个码头(第二
浏览 1提问于2020-08-31得票数 0
回答已采纳
3回答
我们的hadoop集群中有火花批处理作业和和火花流作业。
我们希望在同一个平台上对它们进行调度和管理。
我们遇到了气流，这符合我们对“编写、调度和监控工作流的平台”的需求。
我只想能够停止和启动火花流的工作。使用气流图和剖面图不是什么问题。
我的问题是，除了失去一些功能(图表、分析)之外，为什么我不应该使用气流来运行火花流作业？
我遇到了一个问题：
这说明这是可能的，而不是为什么你不应该。
浏览 1提问于2019-02-20得票数 10
1回答
我们目前有一堆独立的作业运行在不同的服务器上&正在使用crontab进行调度。我们的目标是有一个跨服务器的所有作业的单一视图，以及它们是否成功运行等等。
气流是我们正在考虑使用的工具之一，以实现这一点。但是我们的服务器配置非常不同。是否可以设置气流，以便DAG1 (以及气流调度器& webserver)在server1上运行，DAG2在没有RabbitMQ的server2上运行。
本质上，我想实现类似于这里给出的第一个答案(或者只是在DAG级别上)：以最快和最简单的方式实现！
谢谢
浏览 1提问于2022-01-14得票数 0
1回答
我的团队有多个气流工作。频繁运行的作业是得到调度和正常运行的，但运行的作业很少不被调度和跳过。
我主要想要创建一个健康检查DAG，以便在我的作业没有计划和没有运行时得到通知。
浏览 2提问于2019-10-01得票数 2
我在库伯奈特星系团上有1.10.5气流。
DAG是用Kubernetes运算符编写的，这样它们就可以在执行时在k8s集群上为DAG中的每个任务旋转豆荚。
我有10个工作节点。
气流产生的豆荚是在气流运行的同一节点上创建的。当许多豆荚不得不旋转时，它们都在同一个节点上排队，这使得由于节点上缺乏资源而导致许多结荚失败。
同时，所有其他9个节点被使用非常少，因为我们有巨大的负荷只用于气流作业。
如何使气流使用k8s集群的所有工作节点？
我不使用任何节点关联或节点选择器。
浏览 7提问于2022-02-08得票数 0
我正尝试在DC/OS上使用Airflow安排'docker run‘作业。这需要从包含气流的码头容器内启动码头集装箱的能力。我可以在OSX上做到这一点，但只需运行：
docker run \
-p 8080:8080 \
-v /var/run/docker.sock:/var/run/docker.sock {image name}
有没有使用DC/OS做这件事的等效方法？
浏览 3提问于2017-12-04得票数 1
我在EC2实例上有一个带有一个工作节点的芹菜apache气流设置。对于代码部署，用户触发部署，将代码包复制到s3；一些与下面的脚本有关的脚本将代码包从s3复制到实例；实例触发所有与气流相关的服务的重新启动。
我希望这样，无论何时我需要修改代码，理想情况下，任何当前正在运行的作业都应该继续运行，而无需使用集群设置。
我在想，也许可以找到一种方法来重新启动web服务器和调度程序，而不重新启动工作人员，这样就可以解决这个问题。
浏览 0提问于2019-07-24得票数 1
1回答
气流调度，重新运行失败的任务
、、、、
我对气流相当陌生，虽然我已经能够为读(数据存储)和写(Bigquery)编写代码。我无法安排我的工作/任务。我想每2小时运行一次工作，从一个来源读取前2小时的数据。现在，如果任务失败，我想手动重试它，但是对于特定的2小时，它是要运行的。我怎样才能做到这一点？我想到了几件事：
存储原计划运行的作业id和时间范围。在重试时，我可以从sqlite或其他数据库读取它。
气流有一个内置的变量，指向该作业的执行时间，我可以在代码中使用它。
我应该考虑其他的选择吗？或者上面的任何一个？
浏览 1提问于2018-10-28得票数 2
我在一个团队中工作，使用一个大型云提供商来管理我们所做的事情。每天早上在我开始工作之前，我都有一份有计划的工作，它在云中支撑着一个开发环境，每天晚上，我都有一项计划好的工作，它再次把一切都搞砸了。该开发环境包括Apache气流的一个实例，而作业所做的另一件事是运行一个包含一个任务的气流DAG。对于这个DAG，我有一个间歇性的问题，DAG会运行，但是偶尔该任务的任务实例无法被调度。今天上午发生了这种情况，下面是任务实例的详细信息：
在这种情况下：
调度程序正在运行，并且绝对不是在重负载下运行(没有其他的运行)
据我所知，它还没有运行
我有一个简单的方法来解决这个问题，我会重新启
浏览 4提问于2020-04-17得票数 2
我有一个气流调度器开始设置--run-duration 86400 (24小时)。在此之后，调度程序“死亡”并将自动重新启动。只要没有在24小时之前开始的长时间工作(比如2小时)，这项工作就会很好。在这种情况下，我让一个调度程序进程处理我的长时间运行的任务，而所有其他进程都是僵尸(失效)。在长时间运行的作业期间，将不处理其他作业。
我和LocalExecutor一起工作。
我的问题是：
是否保存以便允许调度程序无限期运行(没有--run-duration或–num_runs)？
芹菜或丹克遗嘱执行人也会发生类似的事情吗？
浏览 3提问于2018-09-17得票数 1
2回答
我对气流很陌生。
我的目标是从现在开始每天运行一个守护程序，从1小时开始。
我真的误解了气流计划的“间隔终止调用”规则。
来自文档(气流文档)
请注意，如果您在一天的schedule_interval上运行DAG，那么在2016-01-01T23:59之后不久将触发印上2016-01-01 -01的运行标记。换句话说，作业实例在它所涵盖的期间结束后就会启动。
我将schedule_interval设置为：
schedule_interval="00 15 * * *"
和start_date如下：start_date=datetime(year=2019, month=
浏览 0提问于2019-08-07得票数 1
回答已采纳
1回答
使用带有LocalExecutor的气流回填，池可用插槽似乎被忽略了。如下图。我知道这在几年前就已经提出了，但这仍然是一个问题吗？
Pool Slots Used Slots Queued Slots
workerpool0 3 0 0
workerpool2 3 12 0
已尝试重新启动webserver服务器和计划程序。
在BashOperator中定义池。
BashOperator(
task_id='sleep.%d'%i,
bash_command='sleep %d'%(i+
浏览 2提问于2019-06-09得票数 1
我们在k8s中有很多长时间运行的内存/cpu密集型作业，它们都是在google平台上的kubernetes上与芹菜一起运行的。然而，我们在交付的scaling/retrying/monitoring/alerting/guarantee方面有很大的问题。我们想从芹菜转向更先进的框架。
有一个比较：，但这还不够。
气流：
具有较好的支持社区~400 vs ~12标签SO，13k星vs ~3.5k星
python定义流的方式比使用yamls更好
作为产品的GCP支持:云编写器
更好的仪表板
一些不错的操作员，比如电子邮件操作员
Argoproj：
对Kubernet
浏览 0提问于2019-07-15得票数 8
我们遇到了一个kubernetes排队的大问题。
我们通过工作流管理器(即气流)向集群管理器( AWS批处理)提交作业。由于AWS批处理中存在限制，无论提交到队列的作业数量如何，该批处理同时执行的作业数量等于集群中可用的vCPU。为了克服AWS批处理的这个限制，我们计划通过AWS批处理迁移到Kubernetes。
但是，我们不确定kubernetes是如何处理这个问题的，在探索过程中，我们在下面的链接中得到了队列的示例。
在这些示例中，我们需要将任务写入队列，并通过代码从队列中读取任务。但是，这里所解释的情况并不是我们要找的。在我们的示例中，airflow的Kubernet
浏览 0提问于2018-04-17得票数 4
来自：
注意，如果您在一天的schedule_interval上运行DAG，在2016-01-01T23:59之后不久将触发印有运行邮票的2016-01-01。换句话说，作业实例在它所涵盖的期间结束后就会启动。
这个特性很伤人。
例如，我有每天运行的etl作业，schedule_interval是0 1 * * *，所以它将触发2019-09-22 01:00:00作业在2019-09-23 01:00:00。但是我的etl正在处理start_date之前的所有数据，这意味着数据范围介于(历史，2019-09-2300:00:00)之间，我们不能使用datetime.now()，因为这无法再
浏览 1提问于2019-09-23得票数 1
我正在学习Apache气流，并尝试编写hello world版本的它。
我已经用python版本3.8和下面的包含dag和任务的代码安装了airflow版本2.0
import datetime
import logging
from airflow import DAG
from airflow.operators.python import PythonOperator
def greet_hello():
logging.info("Hello World")
dag = DAG("FirstDag", start_date=dateti
浏览 7提问于2021-02-07得票数 2
回答已采纳
我想了解像Hadoop MapReduce作业/火花作业/Hive脚本/Pig脚本这样的ETL作业通常是如何部署在on premises生产/开发环境中的。
它们是否总是使用像Apache气流或Apache这样的调度器来部署和运行？
我假设这些作业几乎从不独立运行，而且总是使用调度程序运行，即使它是一个简单的调度bash脚本。这个准确吗？
如果我也能得到一些关于这个话题的阅读材料，那也是非常有帮助的。
浏览 0提问于2021-10-29得票数 1
我的气流在CeleryExecutor模式下运行+进程12，除了打开statsd之外，所有的事情都运行正常：
statsd_on = True
statsd_host = localhost
statsd_port = 8125
statsd_prefix = airflow
计划程序可以渲染作业，但作业未运行，计划程序日志出现以下错误：
[SQL: SELECT count(*) AS count_1
FROM task_instance
WHERE task_instance.pool = %(pool_1)s AND task_instance.state IN (%(state_1
浏览 5提问于2020-02-28得票数 0
我有一个DAG定义，它动态地将任务从配置添加到DAG，例如：
for k, v in config.iteritems():
bash_task = BashOperator(task_id='{}_task'.format(k), ...)
...
如果我向config添加了更多的项，那么气流调度程序会重新运行所有以前的作业吗?或者我必须手动执行(通过运行airflow scheduler或airflow backfill)？
浏览 2提问于2016-12-14得票数 2
2回答
机器学习平台是商业领域的热门词汇之一，其目的是为了促进ML或深度学习的发展。
工作流调度器或工作流调度程序有一个公共部分，可以帮助用户构建DAG、调度和跟踪实验、作业和运行。
有许多机器学习平台都有工作流调度器，如、、等。
我的问题是，气流和Kubeflow管道或其他ML平台工作流调度器的主要区别是什么？
而且气流支持不同的语言API，并且有很大的社区，我们可以用气流来构建我们的ML工作流吗？
浏览 2提问于2019-11-26得票数 12
回答已采纳
3回答
如何在高可用性中部署apache气流(正式称为airbnb的气流)调度器？
--我不是问后端DB或RabbitMQ，它们显然应该部署在高可用性配置中。
我的主要关注点是调度程序-有什么特别的事情需要做吗？
浏览 5提问于2016-09-19得票数 11
我想知道气流任务是否可以在HTTP上得到请求时执行。我对气流调度部分不感兴趣。我只想用它代替芹菜。
所以一个例子就是这样的操作。
用户提交请求某些报表的表单。
后端接收请求并向用户发送请求已收到的通知。
后端然后调度作业使用气流立即运行。
然后，气流执行一系列与DAG相关的任务。例如，先从红移中提取数据，从MySQL中提取数据，对两个结果集进行一些操作，将它们组合起来，然后将结果上传到S3，发送一封电子邮件。
无论我在网上读到什么，您都可以通过在命令行上执行airflow ...来运行气流作业。我想知道是否有一个python可以执行同样的事情。
谢谢。
浏览 6提问于2017-02-22得票数 32
回答已采纳
我只是在学习阿帕奇气流。据我所知，执行日期与触发进程运行的实际时间并不相同。
请注意，如果您在一天的schedule_interval上运行DAG，那么在2016-01-01T23:59之后不久将触发印上2016-01-01 -01的运行标记。换句话说，作业实例在它所涵盖的期间结束后就会启动。让我们重复一下，调度程序在开始日期后，在周期结束时运行作业一个schedule_interval。
我谦卑地问:有人知道这个决定的原因吗？用这个名字来称呼开始日期似乎有些困惑，在开始日期到底是什么？在执行日期执行什么？
浏览 16提问于2022-08-21得票数 0
4回答
我是新的气流，并试图设置气流运行ETL管道。我能安装
气流，气流
波斯特格斯
芹菜
狂犬病
我能够测试运行教程守护进程。当我尝试调度作业时，调度器能够将它取出来，并将我在UI上看到的作业排队，但是任务没有运行。有人能帮我解决这个问题吗？
下面是我的配置文件：
[core]
airflow_home = /root/airflow
dags_folder = /root/airflow/dags
base_log_folder = /root/airflow/logs
executor = CeleryExecutor
sql_alchemy_conn = po
浏览 13提问于2017-04-20得票数 10
Apache气流平台中有一个任务，它通过SQL通过熊猫数据帧来提取数据。数据大小超过600 K。以下是代码：
def stage1_data_extract(**kwargs):
sql="some sql logic"
df1 = pd.read_sql(sql, conn)
df1 = df1.loc[:, ~df1.columns.duplicated()]
return df1
我观察到，当Apache气流任务返回任务中的上述数据帧时，Apache气流挂起，我需要手动关闭所有进程，以使服务器重新启动和运行。
看起来，气流任务的资源/
浏览 0提问于2019-04-26得票数 1
我正在开发一个基于容器的Apache气流应用程序。我的环境由以下组件组成：
气流调度器
气流网络服务器容器
气流芹菜花容器
气流工人容器(1)
等。
我对这个模式的理解是，我可以拥有一个调度器和一个webserver容器，这些容器只需要一个气流所必需的依赖项，然后我就可以有一个工作节点(或多个)来运行我的DAG所需的一切。
当我尝试以这种方式使用它时(例如，在worker节点中添加和使用一个模块，假设它是crypto模块)，我在前端得到一个DAG Import Error异常，它是这样的：ModuleNotFoundError: No module named &#
浏览 1提问于2021-04-29得票数 3
我在试着理解气流是怎么回事。我已经用catchup=False参数设置了我的DAG。但是，当我启用它时，它只是从start_date运行作业。我还尝试将airflow.cfg设置为False，但也没有成功。
此外，我一直在尝试了解清除和回填的工作原理。看起来，如果当前日期在start_date之前，clear将仅将状态设置为NULL，但如果当前日期在start_date之后，将清除状态并触发该日期的dag。我希望清除任何日期，只需将当天流水线的状态设置为None，就像在start_date之前一样。
这是一个已知的气流缺陷吗？我的用例是能够清除任何日期范围，然后在相同的日期范围上运行回填。
浏览 8提问于2019-11-11得票数 0
2回答
我对阿帕奇气流很陌生。我在Google上安装了气流。我有两个管道正在运行，从API获取数据并将它们存储到BigQuery。我面临的问题是气流调度器不是自动运行的。我必须手动运行它每天使用“气流调度器”命令。第二天，当我打开气流时，我看到消息“调度器似乎没有运行”。然后，我必须再次手动运行te命令来启动调度程序。我正在使用SequentialExecuter。这和这事有什么关系吗。
有没有其他人面临过这个问题。
浏览 2提问于2021-09-28得票数 0
回答已采纳
1回答
气流容错
、、、、
我有两个问题：
首先，Kubernetes执行器是什么意思?换句话说，如果一个工作节点出现故障，会发生什么？
第二个问题，整个气流服务器有可能停机吗？如果是，是否有自动运行的备份来继续工作？
注:我最近开始学习气流。提前感谢
这是我在学习apache气流时面临的一个理论问题，我已经阅读了文档，但没有提到如何处理容错。
浏览 7提问于2022-11-17得票数 0
1回答
目前，我们要求通过气流在Dataproc上运行火花作业。
我们能够通过气流在Dataproc上运行Spark，并能够在GCP控制台上检查日志。
但是想知道是否有一种方法可以从气流中获取Dataproc作业id并将Dataproc作业日志下载到GCS桶中？
浏览 5提问于2022-03-09得票数 2
我对airflow非常陌生，所以请原谅noobie的问题。 正如标题所说，我有一个已标记为失败的气流dag，但仍然由气流调度器运行。我在我的日志里看到了。我可以杀死一个进程，但是调度器一直在另一个进程中重新生成它。我怎么才能阻止它呢？
浏览 10提问于2020-08-24得票数 0
回答已采纳
我们使用气流来调度作业。为了在一个孤立的环境中运行我们的代码，我们有通过BashOperator和docker组成的气流生成作业。所以每个气流任务都会创建一个容器。这是很好的工作，但我们注意到一个问题的工作是过早终止。
例如，当作业设置为在气流web接口中失败时，日志指示发送了一个SIGTERM，并且该进程不再存在。气流及其部件本身在码头集装箱中运行(见下面的码头组成)。看着气流工人的容器，我们看到这个过程确实被扼杀了。
然而，当我们看到码头ps，我们看到码头容器实际上仍然活着！显然，这是非常危险的，因为根据气流图形用户界面不再运行的潜在长时间运行的任务实际上正在消耗资源。
对如何处理这件事有
浏览 4提问于2022-11-16得票数 1
1回答
我希望有人能澄清TensorFlow与它的依赖关系(Beam、AirFlow、Flink等)
我指的是TFX的主页面：等等。
在示例中，我看到了三个变体： taxi_pipeline_flink.py、taxi_pipeline_kubeflow.py、taxi_pipeline_simple.py
梁的例子？
没有“梁”的例子，也很少描述它的用途。
假设即使没有安装气流，taxi_pipeline_simple.py也会运行，这是正确的吗？我认为没有，因为它使用"AirflowDAGRunner“。如果没有，那么你能运行TFX只有梁和它的转轮吗？如果是的话，为何没有这样的例子呢？
F
浏览 0提问于2019-05-17得票数 6
回答已采纳
情况：
气流1.10.6
今天是十一月十八日晚上八点
airflow.cfg.default_timezone =系统(即欧洲/柏林)
我想每天晚上八点零五分运行我的新"sample_job“。
我的配置：
default_args = {
'owner': 'Airflow',
'start_date': datetime.datetime(year=2019,month=11,day=18,hour=20,minute=0),
'execution_timeout' : ti
浏览 5提问于2019-11-18得票数 0
我有一个简单的工作流来设计，其中将有4个批处理作业一个接一个地运行，每个作业在多节点主从架构中运行。
我的问题是AWS批处理可以使用作业队列管理简单的工作流，也可以管理多节点并行作业。现在，我应该使用AWS批次还是气流？
有了气流，我可以使用KubernetesPodOperator和作业将运行在Kubernetes集群。但气流本身并不支持多节点并行作业。
注意:批处理作业是用java编写的，使用支持主/从架构的Spring远程分区框架。
浏览 10提问于2022-01-25得票数 2
回答已采纳
1回答
气流芹菜作业卡在运行状态
、、、
我正在尝试用CeleryExecutor设置气流。我使用postgres作为数据库，使用rabbitmq作为消息代理。所有airflow计划作业都将进入running状态，但它们永远不会运行。我在rabbitmq日志或airflow日志中没有看到任何错误。任何帮助我们都将不胜感激
下面是我的代理和后端urls
broker_url = amqp://guest:guest@127.0.0.1/airflow
celery_result_backend = db+postgresql://airflow:airflow@127.0.0.1:5432/airflow
sql_alchemy_c
浏览 3提问于2018-09-12得票数 0
我非常困惑的是，气流如何在新的DAG代码与调度器的变化。有人能澄清气流调度器如何与新代码一起工作吗？每次更改DAG中的代码时，是否都需要停止并重新运行airflow scheduler？或者，我可以设置--num_runs 1并在每次进行新更改时运行它吗？
谢谢!
浏览 0提问于2018-07-17得票数 2
回答已采纳
我对气流调度和触发还比较陌生。我们创建的气流作业很少自动每天运行，但是，如果我们可以安排每天的工作，但在周末(周六和周日)暂停，我们想要探索各种选择。是否有一种方法可以这样安排气流作业，或者我们可以使用CRON表达式指定可以触发作业的日期、时间吗？
非常感谢你的帮助。
浏览 9提问于2022-10-20得票数 0
回答已采纳
我的用途是使用气流控制许多跨微服务的定期工作。我正在尝试的解决方案是使用气流作为一个集中式作业调度器，并通过进行http调用触发作业。这些工作中有一些会持续很长时间。超过10分钟或最多1小时。
如何从气流中定期检查这些工作的状态？如果远程任务已经完成，但气流不知道工作成功怎么办？我能把完成工作的事件发布给卡夫卡，让气流收听卡夫卡的工作状态吗？
浏览 0提问于2018-12-01得票数 2
回答已采纳
1回答
我正试图为经常性的工作设置一个气流集群，例如每小时5分钟的每小时工作。作业运行但启动时间总是比计划时间(执行时间)晚一小时。
dag = DAG(dag_id="dag_id",
description=d'some jobs',
schedule_interval="5 * * * *",
default_args=default_args,
start_date=datetime(2019, 7, 24), catchup=True)
任务实例属性：
execut
浏览 0提问于2019-08-08得票数 0
回答已采纳
1回答
我用CeleryExecutor在库伯奈特运行气流。气流提交和监测火花作业使用。
我的流火花作业的运行时间非常长(除非它们失败或被取消，否则它们将永远运行)。当流作业运行时，气流工作者的吊舱被杀死时，会发生以下情况：
关联的任务变成僵尸(运行状态，但没有心跳的进程)
当气流回收僵尸时，任务被标记为失败。
火花流作业继续运行
，我怎么能强迫工人在我的火花工作关闭之前杀死它呢？
我试过用一个术语信号杀死芹菜工人，但显然这会导致芹菜停止接受新任务，等待当前任务完成()。
浏览 4提问于2020-07-28得票数 0
2回答
从气流中，我们可以通过DataprocSubmitJobOperator提交数据作业。
我们可以通过GCP控制台在开发环境中停止数据处理，但不能在生产环境中停止。
如果以dataproc作业id作为参数，我们可以通过气流直接杀死数据作业吗？
浏览 5提问于2022-05-19得票数 4
回答已采纳
1回答
我正在努力管理气流降落(创建、执行等)。通过java后端。目前，在创建了一个守护进程并将其放置在气流的dags文件夹中之后，我的后端一直在尝试运行这个守护进程。但是，它不能运行，直到它的空气流量调度器，这可能需要相当一段时间，如果有更多的dags。我想知道是否有任何事件，气流发射，我可以点击，以检查新的dags处理的调度程序，然后触发，执行命令从我的后端。或者有一种方式或配置，气流将自动启动，一旦它处理它，而不是我们触发它？
浏览 3提问于2020-12-30得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
