我使用apache airflow(v1.8.1)进行工作流管理。使用4个月后，当我想跳到dag中时，树状视图页面变得太慢。此页面的加载时间需要几分钟。看起来树视图页面只有在有一棵大而复杂的树的时候才会很慢。从chrome devtools中，我可以看到页面太大(295M)：你有什么想法吗？
浏览 22提问于2018-02-07得票数 1
2回答
我希望使用apache airflow或apache falcon来完成这项任务。请让我知道，如果你有任何建议，使用什么工具和如何开始这个项目。请同时链接任何与apache falcon相关的文档。
浏览 19提问于2019-07-18得票数 1
我使用constraints https://raw.githubusercontent.com/apache/airflow/constraints-2.0.1/constraints-3.7.txt我为PSQL创建了数据库和用户名，并为Rabbitmq创建了用户和设置权限，并能够在15672端口访问其WebUI。我能够运行airflow WebUI服务器和计划程序，并访问airflow WebUI没有任何问
浏览 27提问于2021-03-23得票数 0
我想在airflow环境中使用我的DAG连接到SQL server，所有的库都应该包含在我的docker映像中，以便它创建连接sql server的环境。
浏览 1提问于2019-07-26得票数 0
2回答
在Apache Airflow UI中，顶部的计时器会自动更新：但为了跟踪特定DAG运行的进度，我必须不断单击刷新按钮：有没有人知道是否有一种方法可以将airflow ui配置为自动更新树视图(如果图表视图也具有相同的功能，那就更好了。)
浏览 1提问于2020-10-16得票数 2
下面都是运行airflow scheduler airflow webserver airflow worker的[2018-11-17 22:03:45,810] {{base_executor.py:132}} DEBUG - Calling the <class 'airflow.executors.c
浏览 1提问于2018-11-17得票数 3
回答已采纳
气流版本- 2.3.0 Helm图-Apache-气流/气流extraSecrets: {}# extraSecrets:
# '{{ .Release.Name }}-airflow-connections'AIRFLOW_CONN_AWS: 'base64_encoded_aws_conn
浏览 8提问于2022-11-11得票数 0
回答已采纳
Starting in Airflow 2.0, trying to overwrite a task will raise an exception.Due to this warning, the dags showing in web UI are also some example dags included with apache airflowI have setup **AIRFLOW_HOME** and it also picks up dags from there.下面是我试图运行的守护程序：
imp
浏览 4提问于2020-10-13得票数 1
回答已采纳
Airflow通常在8080:8080上运行，这也是spark需要的。version: '3.7' master: command: bin/spark-class org.apache.spark.deploy.master.Master/data:/tmp/data
image: gettyimages/spark
comma
浏览 43提问于2020-10-23得票数 1
回答已采纳
version: '3.7' master: command: bin/spark-class org.apache.spark.deploy.master.Master/data:/tmp/data
image: gettyimages/spark
command: bin/spark-class org.apache
浏览 34提问于2020-10-23得票数 2
Dag 1:from airflow import DAGfrom airflow.operators.python_operator import PythonOperator)
dummy_operator >> hello_ope
浏览 4提问于2020-01-06得票数 0
我们在apache airflow中有许多AWS连接字符串，任何人都可以在airflow We服务器连接部分看到我们的访问密钥和密钥。如何隐藏或屏蔽airflow How服务器中的敏感数据？我们已经在airflow配置中启用了身份验证true，因此它不允许未经授权的用户。但我不想在web视图中显示我的密钥。
浏览 1提问于2018-03-28得票数 6
我是.In公司，我是ETL管道公司，目前我们正在使用Crontab和自定义Scheduler(内部开发) .Now，我们计划为我们的所有数据管道线路场景.For实现apache气流，在探索每个任务实例/目前，我们正在从一个集中式数据库中生成这个独特的run_id，并将其传递给作业.If，它已经存在于气流上下文中，我们将使用它from datetime import date, datetime, timedelta
from a
浏览 6提问于2017-09-15得票数 5
回答已采纳
2回答
我的Dag 'owner': 'airflow', 'depends_on_past}
它每小时运行一次，但它在树视图中显示的时间减少了<em
浏览 1提问于2020-01-10得票数 0
很多时候，当我尝试在UI中打开一些DAG的树视图或任务持续时间页面时，我得到错误: 504 gateway time-out。有时，在那之后，我甚至无法打开包含DAG列表的页面。运行Airflow的机器的CPU和内存似乎都很好，我使用RDS作为元数据。
谢谢!
浏览 55提问于2018-06-08得票数 3
回答已采纳
1回答
我对气流的认识大多是全新的。
我可以使用XCom获得第1步的结果，但我想做的是如下所示： theFiles = getFiles (reqDir, gvcfDir, matchSuffix)
task = Py
浏览 3提问于2018-01-10得票数 1
3回答
Apache气流不调度任务
、、、、
我已经安装了airflow(V1.9.0版本)和python2.7。为了测试它的安装是否正确，我尝试从浏览器中的交互式视图触发一个教程DAG。接口显示DAG正在运行，但调度程序没有显示任何活动。下面是我尝试过的步骤
print(fernet_key)
airfl
浏览 0提问于2018-02-02得票数 6
在使用Apache Airflow的TaskFlow API定义DAG时，有什么方法可以使用airflow.utils.edgemodifier.Label吗？在格式中，您可以引入在UI图形视图中可见的标签。有没有办法做到这一点？
浏览 5提问于2021-06-30得票数 0
我对airflow ui中的一些东西感到非常困惑。在树视图(和图形视图)中，dag被指示失败。但是，它的所有成员任务似乎都已成功。
浏览 0提问于2018-10-31得票数 11
我的DAG运行良好+维护sqla数据库中的元数据，但是任何气流用户都会在未创建角色表/视图的情况下命令错误。context)
File "/Users/deepaksaroha/Desktop/apache_2.0/nb-atom-airflow/lib/python3.7/site-packages/Desktop/apache_2.0/nb-atom-airflow&#
浏览 0提问于2019-01-11得票数 17
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号