1回答
我正在使用airflow来协调我的ETL。对于来自特定来源的摄取，例如API，我使用自定义Airflow插件(带有挂钩和操作符) 我的问题是，为什么要使用Airflow Plugins，我们可以通过使用Bash操作符来触发简单的python脚本来实现相同的结果与使用外部python脚本相比，使用Airflow插件有明显的优势吗
浏览 15提问于2020-04-24得票数 2
我不是专业的python开发人员，这就是为什么我只需要概述我的步骤。，我检查了dags和插件目录。我在$AIRFLOW_HOME/Desktop/airflow中创建了dags和插件目录我发现了很多方法，我们可以创建气流插件。我试过了所有可能的方法。让我们开始吧。现在是使用我的自定义操作符创建自定义进程的时候了。如何导入正确的插件是一个挑战。
浏览 1提问于2020-06-07得票数 4
2回答
我们使用的是Apache 1.9.0。我写了一个雪花钩子插件。我已经将钩子放在$AIRFLOW_HOME/plugins目录中。home__ubuntu__airflow__plugins_snowflake_hook2.SnowflakeHook2'>]snowfl
浏览 2提问于2018-04-18得票数 5
在尝试新的气流版本时，我得到了以下错误：
E ValueError: The name 'my_airflow_plugin' is already registered for this使用Airflow，您可以使用entry_point定义插件。我设法将其跟踪到对importlib_metadata.distributions()的调用，该调用两次返回同一个对象。为什么它会回来两次？
浏览 4提问于2022-08-08得票数 0
回答已采纳
这里我想在GCP的composer环境(1.10.6)中使用SFTPToGCSOperator。请参阅参考- 从airflow.contrib.hooks.sftp_hook导入SFTPHook
我已经创建了一个插件类，稍后将其导入到我的DAG脚本中。*，请参见下面的插件类。，当我们使用文件名时，它工作得很好
浏览 4提问于2020-05-13得票数 2
以下是我的气流配置文件值：dags_folder = /home/helia/airflow/dags>>echo $PYTHONPATH>>
浏览 2提问于2021-09-22得票数 0
回答已采纳
我有气流，http://server01:8081/admin/rest_api/api?api=rest_api_plugin_version如何解决这个问题？
浏览 0提问于2018-01-18得票数 12
回答已采纳
问题：I在气流UI中得到以下错误：目录结构：|-- dags |-- requirements.txt|--my_operators.py)直接位于"plugins“文件夹时，我能够成功地
浏览 3提问于2022-06-11得票数 1
回答已采纳
我一直在尝试通过添加airflow插件来扩展airflow的UI。我的目标是能够显示airflow的内部项目文档。为此，我使用了MKDocs。我遵循了airflow文档流程()并成功地创建了一个插件。链接出现了，当我点击它时，它会将我带到index.html。我的问题是它不能渲染任何CSS、图像和其他.md或.html文件。我也在airflow帮助论坛上发布了这个问题，但我还没有收到任何解决方案。如果有任何线索我将不胜感激。谢谢。appbuilder
浏览 1提问于2019-08-22得票数 6
2回答
在Apache Airflow UI中，顶部的计时器会自动更新：但为了跟踪特定DAG运行的进度，我必须不断单击刷新按钮：有没有人知道是否有一种方法可以将airflow ui配置为自动更新树视图
浏览 1提问于2020-10-16得票数 2
我们正在尝试使用下面的git集线器作为引用来实现dag依赖项插件。https://github.com/ms32035/airflow-dag-dependencies**cannot import name 'conf' from 'airflow'** https://github.com/apache/airflow&#
浏览 2提问于2021-08-18得票数 1
回答已采纳
3回答
我跟踪了关于插件的。但最重要的答案也帮不了我。├── __init__.py插件/操作符/dump_file.py
我的with服务器和调度程序正在使用一个坞-组合程序运行。/
浏览 1提问于2019-08-06得票数 0
我正在将一个托管Airflow的环境从Airflow 1.10.5和Python 2.7升级到Airflow 2.0.1和Python 3.9。我正在尝试让宏再次工作： /home/ubuntu/airflow/plugins/ben.py包含： from airflow.plugins_manager import AirflowPlugin'airflow.macros.ben' 我在这里做错了什么？我的a
浏览 48提问于2021-03-23得票数 1
回答已采纳
我正在做docker-airflow postgres等的测试。我的项目结构目前如下所示：|├── __init__.py│ ├── __init__.py导入在本地运行得很好，但是当我使用
浏览 1提问于2020-02-03得票数 1
1回答
我们正在简化airflow代码库的构建/部署管道。您如何管理每个环境的airflow.cfg配置？
您在何处管理每个环境的配置。
浏览 0提问于2018-08-31得票数 6
1回答
进口气流塞
、、
目前，我正试图使用气流将数据从Salesforce推送到BigQuery。我是新来的气流，目前我遵循这个链接：
我得到一条错误消息，声明ImportError: cannot import name 'SalesforceToFileOperator'达格插件
air
浏览 0提问于2019-04-18得票数 0
回答已采纳
我在cmd中运行docker-compose up airflow-init来使用提供的模板来部署气流，创建文件夹日志、插件和dags： VolumeAttaching to airflow_airflow-init_1在同步从docker到文件夹的访问时，这似乎是一个错误，这在Linux或ma
浏览 9提问于2021-09-18得票数 1
在使用Python 3.8时，在Apache Airflow 1.10.14中使用/安装任何插件都会中断气流。示例:运行 pip install airflow-exporter==1.3.2 然后尝试运行Airflow Webserver和Scheduler。│
│ File "/home/airflow/.local/lib/python3.8/site-packages/
浏览 17提问于2020-12-11得票数 0
回答已采纳
我需要创建一个自定义的气流运算符，我应该能够在气流模板中使用它(用python编写)，它运行在云编写器中……
如果我创建自定义的气流操作符，如何在运行在云上的模板中使用它(如何使每个人都可以使用它，以便他们可以使用该操作符
浏览 0提问于2018-11-28得票数 7
回答已采纳
我似乎不了解如何将模块导入到apache airflow DAG定义文件中。例如，我想这样做是为了能够创建一个库，使具有类似设置的声明任务不那么繁琐。这是我能想到的重复这个问题的最简单的例子:我修改了airflow教程(https://airflow.apache.org/tutorial.html#recap)，只需导入一个模块并从该模块运行一个定义located at:
http://airflow.readthedocs.org/en/latest
浏览 197提问于2017-12-28得票数 29
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号