我正在尝试形成一个简单的管道，我首先清理数据帧，然后将其存储在CSV中。clean_Data任务失败，因此任务store_data不工作。我使用完整路径在store_data任务中将数据帧作为CSV写入。我还首先尝试在本地读取clean_Data中的CSV，并尝试在不从csv读取的情况下创建数据帧，但这两种方法都不起作用。下面是我编写的DAG脚本： from <e
浏览 25提问于2020-12-09得票数 1
回答已采纳
在虚拟环境中，我正在尝试安装apache-airflow。macOS: 10.13.6python: 3.9 (airflow_venv) $ sudo -H pip install apache-airflow==1.10.12 --constraint"https://raw.githubusercontent.com/apache/airflow/constrain
浏览 18提问于2020-11-07得票数 3
1回答
几天前，我使用的azure快速入门模板安装了AirFlow1.X
我正在寻找一个类似的模板，以方便(只是尝试)在Azure上部署Airflow 2。我试着从上面的链接修改模板，指向官方的Apache Airflow图像，但airflow应用程序一直关闭。
浏览 4提问于2021-09-15得票数 0
我正在尝试使用docker-compose的apache airflow，使用基本的容器容器apache/airflow:2.0.1。我正在学习本教程https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html# 如何运行简单的查询来从SQ
浏览 13提问于2021-04-12得票数 0
回答已采纳
我正在考虑使用Apache-Airflow。我看了一下文档，现在我正在尝试使用Airflow实现一个已经存在的管道(自制框架)。 所有给出的示例都是简单的单模块DAG。但在现实生活中，您可以拥有一个提供(复杂)管道块的版本化应用程序。DAG使用这些块作为任务。基本上，应用程序包安装在专用的虚拟环境及其依赖项中。 好的，那么，不，现在，你如何用气流
浏览 26提问于2019-12-24得票数 0
我使用的是Windows 10、python 3.6.4和apache-airflow 1.10.2import airflow
**WARNING:root:OSError while attempting to symlink我检查
浏览 2提问于2019-03-27得票数 3
对Airflow/Python等非常陌生，但似乎不知道我需要做些什么来解决这个问题。Airflow在Puckel/Docker上运行Broken DAG : [/usr/local/airflow/dags/xxxx.py] No module named 'airflow.contrib.operators.gsc_to_gcs'
浏览 0提问于2018-05-23得票数 6
我正在尝试在Apache Airflow中使用MySQL。我已经使用PymySQL来查询MySQL数据库，并且还没有安装MySQLDb。因此，我得到了错误： File "/anaconda3/anaconda/lib/python3.6/site-packages/airflow/hooks/mysql_hook.py
浏览 1提问于2018-09-15得票数 2
我目前在ECS上使用1.10.9气流。我在requirements.txt文件中显式地指定了气流版本，如下所示。apache-airflow[aws,celery,crypto,gcp,jdbc,mysql,password,postgres,slack,statsd]==1.10.9
在发布pandas_gbq.gbq0.15.0之后，我们的气流集群在Web上显示了这个错误。我试着安装pandas_gbq 0.14
浏览 4提问于2021-04-07得票数 4
回答已采纳
谁能告诉我如何在本地气流部署中配置kuberenetes执行器。我创建了一个名为airflow-cluster的集群，并创建了pod_template.yaml，并在airflow.cfg中进行了以下更改。/logs/yamls/pod_template.yamlworker_container_tag = 2.2.3因为除了在config
浏览 4提问于2022-01-21得票数 1
我正在尝试在VS代码中设置一个本地开发环境，以便为Composer/Apache气流使用的包获得代码完成。文件如下：在VS代码中激活我的虚拟环境之后，我可以通过运行pip install -r requirements.txt将它安装到虚拟环境中，然后我在VS" could not be resolved Pylance(repo
浏览 12提问于2022-05-19得票数 5
回答已采纳
我正在使用这个docker-compose.yaml文件在docker容器上运行airflow。https://airflow.apache.org/docs/apache-airflow/2.0.2/docker-compose.yaml 我需要在其中一个容器中安装JRE。如何在docker-compose.yaml文件中添加添加java的指令？
浏览 22提问于2021-04-26得票数 1
我正在尝试使用Apache Airflow框架开发一个编排架构，但我不希望DAG以预定的方式运行。 我读到Apache Airflow框架可以用于服务编排。但我不需要任何调度，我只需要框架来获得工作流节点之间的编排。 可以在没有调度程序的情况下使用Apache Airflow吗？有没有其他框架(Java或Python)可以推荐给我呢？ 谢谢！:)
浏览 21提问于2019-06-12得票数 2
我在kubernetes集群中部署了气流。我使用官方舵图()将其部署到那里。我使用推荐的方法来管理DAG，方法是将它们“烘焙”成一个码头映像()。在创建或更改DAG时，我运行文档中列出的docker build和docker push命令。一切都很好。但是，在我删除调度程序和webserver (kubectl delete pod airflow-scheduler-xxx等)之前，我的更改不会出现在GUI中，从而迫使kuberne
浏览 9提问于2022-04-14得票数 2
回答已采纳
我使用pip命令在ubuntu上部署了Airflow 2.0。已从1.10.13迁移到2.0。但是在db inint之后，我得到了警告。请告诉我为什么会收到这些警告。WARNI [airflow.providers_manager] The provider for package 'apache-airflow-providers-http' could notpackage 'apache-airflow-provid
浏览 1提问于2020-12-28得票数 3
我正在尝试创建一个气流(1.10.9)样条，我使用的是对接器映像(我正在使用本地，所有事情都很好，直到我试图导入。)line 25, in <module> import httplib2我尝试过手动安装pakage apache-airflowgcp==1.10.9 (通过访问aiflow webserver机器并运行pip安装)，或者将文件(requirements.txt )作为卷挂载，但它无法工作。下面
浏览 0提问于2021-10-02得票数 0
我已经开始学习/尝试Airflow了。作为我研究的一部分，我已经通过Docker在我的本地安装了气流。我引用了官方页面任何帮助都将不胜感激。
浏览 32提问于2021-09-07得票数 0
我对airflow和Cloud Composer完全陌生。我使用命令(在Windows的cmd提示符中) pip install apache-airflow-providers-google在我的本地Windows膝上安装气流包。pip list显示包是存在的：
现在，我在Eclipse中安装了PyDev插件，为Google 编写了一些python脚本。现在，在Eclipse<
浏览 4提问于2021-05-21得票数 0
我在我的新公司担任数据工程师，致力于构建google cloud platform (GCP)批处理ETL管道。我的团队的数据科学家最近向我传递了一个数据模型(用Python3.6编写的.py文件)。
数据模型有一个主函数，我可以调用它并获得一个数据帧作为输出，我打算将这个数据帧附加到一个bigquery表中。有没有什么办法，我可以只导入这个主函数，并使用apache (数据流)将其集成到管道中，而不必将数据模型重新
浏览 0提问于2019-08-21得票数 0
1回答
我正在尝试在一个Ubuntu EC2实例中使用docker-compose来设置airflow实例。在气流初始化之后，该过程不再前进。我正在努力修复它。我使用下面的docker组合文件：https://airflow.apache.org/docs/apache-airflow/stable/docker-compose.yaml。当我尝试在我的windows桌面上运行相同<
浏览 47提问于2021-08-09得票数 0
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
