1回答
我们是否可以在TEZ中对生成的DAG计划实施自定义DAG计划？如果可能，如何实现？
hive、directed-acyclic-graphs、tez
我希望使用由我创建的自定义DAG计划，而不是使用由Hive中的TEZ生成的DAG计划。有可能吗？如果是，谁能解释一下？
浏览 2提问于2017-07-28得票数 0
回答已采纳
1回答
我们是否可以限制在Apache Airflow中随时运行的DAG数量
workflow、airflow、directed-acyclic-graphs
我们可以限制在Apache Airflow中随时运行的DAG的数量吗？ 我们对环境中的资源是有限制的。是否有限制编号的配置。DAG在某个时间点作为一个整体在气流中运行？在DAG中运行的max_active
浏览 27提问于2020-07-17得票数 1
0回答
子任务中的AirFlow dag id访问
oozie、airflow
我有一个包含三个bash任务的DAG，计划每天运行。有没有办法做到这一点？我正在寻找与Oozie类似的功能，在那里我们可以在工作流xml或java代码中访问WORKFLOW_ID。谁能告诉我AirFlow的文档是关于“如何在AirFlow DAG中使用内置变量和自定义<
浏览 1提问于2016-07-11得票数 3
回答已采纳
1回答
空气流量1.10.10 DAG的计划变更
airflow、airflow-scheduler
我正在使用气流1.10.10，并想知道如何改变Aiflow DAG的时间表。我在线检查了一下，在大多数评论中，它建议更改DAG的日程，用新的dag_id创建新的DAG，或者更改现有DAG的dag_id，并给出新的schedule_interval。试图更改现有DAG的计划将不
浏览 4提问于2021-02-24得票数 0
回答已采纳
1回答
为apache气流任务获取unique_id
python、bash、airflow
我是.In公司，我是ETL管道公司，目前我们正在使用Crontab和自定义Scheduler(内部开发) .Now，我们计划为我们的所有数据管道线路场景.For实现apache气流，在探索每个任务实例/Dag .When I无法找到unique_id的特性的同时，搜索了大多数解决方案，最终在宏和模板.But中完成，没有一个没有为任务提供uniqueID，
浏览 6提问于2017-09-15得票数 5
回答已采纳
1回答
带有非计划上游DAG的气流外部任务传感器
airflow、airflow-2.x
我们在混合ETL系统中使用气流。我的意思是说，我们的一些DAG不是计划好的，而是外部使用气流API触发的。我们正在尝试执行以下操作:在计划的DAG (DAG1)中拥有一个传感器，该传感器可以感知外部触发的DAG (DAG2)中的</
浏览 9提问于2022-05-04得票数 3
1回答
气流清除自动触发任务？
airflow
我正在运行airflow clear -t task_regex -s 2019-02-23 -e 2019-02-24 dag_id来清除任务，然后重新运行。这是我可以更改的设置吗？而且，它看起来只让其中的一些人排队运行，而不是其他人。换句话说，在清除任务后，一半的日期有一个绿色的盒子，另一半有一个白色的盒子。
浏览 2提问于2019-02-27得票数 0
嗨，我是阿帕奇气流的新手，我有很多依赖的人，让我们说
如果不可能，
浏览 0提问于2018-10-09得票数 1
3回答
Tez执行引擎与Mapreduce执行引擎在Hive中的比较
amazon-web-services、hive、mapreduce、tez、bigdata
在Hive中，Tez引擎和Map还原引擎有什么不同?在哪个进程中使用哪个引擎更好(例如:联接、聚合？)
浏览 5提问于2017-01-13得票数 6
回答已采纳
5回答
Apache Tez架构说明
hadoop、hive
我想知道是什么让Apache Tez的hive比map reduce的Hive快得多。我不能理解DAG的概念。
任何人都有很好的参考资料来理解Apache TEZ的体系结构。
浏览 0提问于2014-08-27得票数 8
5回答
Airflow:通过UI在airflow中创建DAG
airflow、airflow-scheduler
Airflow老兵请帮帮忙 我正在寻找cron的替代品，偶然发现了apache airflow。 我们有一个设置，其中多个用户应该能够创建他们自己的DAG并计划他们的作业。我们的用户是可能不知道如何编写DAG python文件的混合用户。此外，他们可能无法访问运行airflow的服务器。 是否可以通过UI创建气
浏览 155提问于2018-02-26得票数 21
回答已采纳
1回答
从命令行界面手动触发的DAG错误地记录CeleryExector的任务成功
python-3.x、redis、celery、airflow
我正在使用airflow版本的1.10.11，并有一个简单的测试DAG，看起来像这样： provide_context=True当我通过UI手动调用任务时，它成功了，没有任何问题，并产生了预期的输出：
当我调用@ 2020-07-30 02:46:07+00:00: manual__2020-07-30T02:46:
浏览 45提问于2020-07-30得票数 0
1回答
在气流中，如何在满足条件后才重试一项任务？
airflow、scheduler、directed-acyclic-graphs
假设我们有两个DAG，每个DAG只包含一个任务：DAG的运行可能会失败，因为任务B必须消耗的每小时数据还不可用(还没有由任务A生成)。在这种情况下，我们应该等待DAG A在重新尝试任务B之前再次运行。
您将<e
浏览 0提问于2022-10-16得票数 0
3回答
有没有可能在气流中有一条不符合任何时间表的管道？
airflow、google-cloud-composer
我需要有管道，将执行手动或编程，是否可能与气流？看起来现在每个工作流都必须绑定到一个计划中。
浏览 0提问于2018-05-23得票数 3
回答已采纳
1回答
使用BigQueryInsertJobOperator从UI手动触发DAG时出现“无效作业id”错误
airflow、google-cloud-composer
我试图使用"BigQueryInsertJobOperator“从composer中触发一个存储过程。Dag在按计划触发时运行良好，但是当它从气流UI手动触发时，它会出现以下错误。只在创建的作业id中有字母数字和“_”。它没有1024个字符长。手动触发和计划触发都是可能的。请帮帮我！
编辑-1：-如果我们从末端配置作业id，它就能工作。但是，如果BQ自动生成作业id，则会
浏览 1提问于2021-11-02得票数 0
回答已采纳
1回答
支持手动执行和计划执行
airflow、airflow-scheduler
最近，我们将这个dag转换为每周运行一次，我发现气流调度程序“在计划周期结束时而不是在开始时触发DAG运行”。我根本没想到会这样。我不是在讨论气流调度器的设计，而是想找一些关于如何编写手动触发和预定间隔的DAG的建议。以下是我的具体困境：
以避免调度程序使用我可以使用{{ next_ds_nodash }}期间的开始，但是手动触
浏览 3提问于2020-04-06得票数 2
回答已采纳
1回答
在气流中通过异常
exception、airflow
我是Airflow的新手，我计划使用BashOperator类运行Python脚本文件。我想了解例外在两种情况下应该如何工作：
异常如何从R或Python文件传递到BashOperator到DAG？例如，对R脚本文件的调用应该在BashOperator<em
浏览 0提问于2019-06-03得票数 1
回答已采纳
1回答
FROM子句中子查询的结果集中的select中是否使用表索引？
sql、sql-server
我在Server中有一个有超过5000万行的表，所以我的表中有一些复合索引。有3，4列的索引。在这种情况下，我确实需要在FROM子句中使用子查询。结构的示例(索引是: column2、column3、column4 )：from column1, column2, column3myTable) as MYSUBQUERY column2 = 99 and column3 = 999
浏览 4提问于2020-01-21得票数 0
回答已采纳
2回答
使用Airflow按需并有计划地运行参数化作业
celery、airflow
作业采用特定于客户的参数，通常在几分钟内完成。目前，作业是由客户在创建新报告或请求刷新现有报告时按需触发的。
现在，我想添加计划，以便每天运行作业，并自动刷新报告。我也喜欢将我的工作表达为DAG并从任务重试中获益的想法。我可以看到如何使用Airflow来运行调度的批处理作业，但我不确定我的用例。如果我将我的作业表示为Airflow DAG
浏览 0提问于2020-10-28得票数 0
云服务器
对象存储
ICP备案
云点播
语音识别
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号