我希望从DB中获取值，并为每个值并行运行任务。DB可以在每次调用中返回更多/更少的值。def values_from_db(): returnvalues
task1(val) >> task2(
浏览 17提问于2020-09-24得票数 0
回答已采纳
下面是我想要实现的预期流和依赖项设置：
不正确的任务依赖集-它只接受并显示列表中最后一个表的依赖项，如下所示:列表中的start==> create_table_list==> {LAST_TABLE_NAME
浏览 0提问于2020-10-30得票数 0
1回答
我使用的气流1.9.0与自定义SFTPOperator。我在我的DAG中有代码，用来轮询SFTP站点来查找新的文件。如果找到任何文件，则为动态创建的任务创建自定义任务id，并检索/删除文件。看起来，气流all服务器和气流调度器每秒钟迭代一次所有的DAG，并实际运行检索directory_list的代码。这意味着我正在访问SFTP站点~2x每秒来验证和提取文件列表。我看到了一个帖子，它可以检查任务是否正在执行，但这并不理想，因为我必须创建一个长期运行的任
浏览 0提问于2018-08-03得票数 2
回答已采纳
1回答
场景当API响应发生变化时，假设现在有90行，那么就会从dagbag中删除10个dag，因为dyamic文件没有创建这些dag，但是这些dag仍然存在于气流UI中。此外，有时我看到这些dag的某些任务处于计划状态(因为dag的代码在dagbag中不存在，所以它们不能进入运行状态)，我必须手动杀死这些任务，然后暂停这个进程。
在找？我想知道是否有任何方法(
浏览 25提问于2022-08-31得票数 0
我如何配置气流(mwaa)，使它将在同一时间(早上6点PST)，每天考虑何时部署？
start_date = previous_five_am
似乎每当我通过将start_date设置为前一天早上5时进行部署时，无论我何时部署进程或执行气流更新
浏览 2提问于2021-02-20得票数 3
1回答
如何从气流任务中获取xcom，并使用这些值创建其他任务。python_callable=another_function, )
我试图实现的预期结果是基于任务1返回值的两个新任务。是否可以基于函数的返回创建新任务？
浏览 9提问于2022-11-10得票数 0
回答已采纳
1回答
我有一个DB表，它看起来像：dataset1 2020-11-07 10:30
从数据库读取所有数据集name和last_successful。我怎样才能在气流中做到这一点？我不想为每个数据集创建单独的任务，因为数据集的列表将不断增加。
浏览 5提问于2020-11-07得票数 0
回答已采纳
1回答
在我们的DAG中，我们只有15个任务(5个虚拟任务，2个CloudDataFusionStartPipelineOperator任务，8个python任务)。不幸的是，在我们的DAG中，我们必须处理一些传递的参数(通过REST )、和许多动态计算任务之间的信息()，因此我们依赖于气流的XCOM功能。这意味着在气流的DB中读取大量数据。在可能的情况下，我们使用用户定义的宏来配置任务，以延迟数据库读取( XCOM的执行)
浏览 4提问于2022-04-10得票数 2
回答已采纳
1回答
我目前正在开发一个DAG，它在一个DAG定义中为不同的数据集执行相同的任务。需要从某些配置访问数据集及其架构的列表。我对在哪里存储配置有自己的想法，但我不知道如何读取配置，而不是根据这种信任的结果对任务进行迭代。python_callable=_scheduling
但这导致了以下图表：我想要做到的是：
从此调度程序任务</em
浏览 8提问于2022-08-08得票数 0
我想安装马奎兹和气流在码头，但我得到错误时，执行后。我使用图像比尼米/气流docker-compose.yml image: postgres:13 - "5432:5432"=airflow - MARQUEZ_PASSWORD=marquez
- MARQUEZ_DB=marquez/docker/init-db.
浏览 1提问于2022-08-12得票数 0
1回答
我在一个组织中工作，它有大量令人尴尬的手工任务，涉及多个数据库(内部和外部)、多种文件类型/格式，以及大量的数据集。将json和元数据文件上载到其他地方
我的最终目标是快速交换块，比如"csv_to_json“函数和"csv_to_xlsx”函数，用于不同的处理任务。我看到的一些问题是，Luigi不太擅长处理动态文件名，当我不知道zip文件中有多少文件时，就很难创建N个分支。这也是非常基本的，似乎没有太多的社区支持。从气流文档中也可以看到：“这是一个微妙但非常重要的问题:一般来说，如果
浏览 6提问于2022-08-23得票数 2
如果任务1成功，我希望执行任务2，如果任务1失败，我希望运行任务3，如果需要，我希望分配另一个流程。
基本上，我想在没有ssh操作符的气流中运行有条件的任务。
浏览 0提问于2018-04-18得票数 4
回答已采纳
我想提取一个特定任务的所有执行时间在一个气流达格。我宁愿再写一封达格。=='failed','flag'] = 1
我也想这样做，但这次我要提取“my_dag”的任务信息我已经尝试过给定的解决方案，但是它返回"None"，尽管我知道任务和dag正在运行。
浏览 0提问于2020-09-28得票数 0
我对Apache气流很陌生，所以我不确定气流的所有特性。Id :d001 ,一旦主dag (它是为创建动态dags而构建的)运行并获取这个条目，就会创建一个dag，并将dag_id更新回数据库Id : d001 ,我面临的挑战是，一旦主dags
浏览 2提问于2020-06-29得票数 1
最近，我对气流进行了如此多的测试，以至于在运行execution_date时遇到了一个问题。 delta=timedelta(minutes=5))
以上代码是我日常工作流程的开始部分，第一个任务是在实际工作之前再等待在Web中，我可以看到类似于scheduled__2016-09-20T00:00:00的东西，任务在2016-09-21T00
浏览 6提问于2016-09-21得票数 22
1回答
我在Ariflow 2.2.3中工作，我不知道如何用过去的执行日期触发我的进程。当我使用Config单击触发器dag时，我将日历更改为我想要的日期，但当我单击run时，我看到了运行，但它没有运行。你知道如何用过去的约会来触发一个达格吗？
浏览 9提问于2022-11-21得票数 0
1回答
我正在读取外部文件中的元素列表，并遍历元素以创建一系列任务。A1 -> A2 ..想知道这样的用例是否已经有了模式？
浏览 3提问于2021-03-06得票数 11
回答已采纳
1回答
对于一个任务，有许多帮助任务-从文件/db获取/保存属性、验证、审核。这些辅助方法并不费时。一个样本DAG流，这个场景中的建议是什么：
为每个助手任务创建一个任务假设有足够的资源，气流任务的开销是多少？
浏览 4提问于2020-09-23得票数 3
回答已采纳
云服务器
ICP备案
对象存储
腾讯会议
云直播
腾讯云开发者
