1回答
在使用Airflow中的FileToGoogleCloudStorageOperator时，我在运行dag时不断收到以下错误： "FileNotFoundError: [Errno 2] No suchfile or directory: '/Users/ramonsotogarcia/Desktop/Data/pokemon.csv" 我不明白为什么Airflow找不到我的本地文件。这是我的dag： from datetim
浏览 27提问于2020-11-10得票数 0
我可以使用airflow webserver命令正常启动webserver。但是当我使用airflow webserver -D时，它显示： /data/software/miniconda3/lib/python3.7/site-packages/airflow/config_templates/airflow_local_settings.py:65: DeprecationWarning: The elasticsearch_h
浏览 199提问于2019-12-25得票数 0
我一直在尝试通过DAG脚本将简单的文本写入本地txt文件。即使任务成功运行。我似乎到处都找不到那个文件。是因为我在Windows上使用WSL吗？下面是我的简单脚本： import os
from airflow.operators.bash_operatorimport BashOperator
from airflow.operator
浏览 24提问于2020-12-08得票数 1
回答已采纳
1回答
我想知道如何改变从码头到我的本地系统的气流回家路径。例:气流之家(现在)：/usr/local/airflow想要改为：mysystempath
docker run -d -p 8080:8080 -v /path/to/dags/on/your/local/machine/:/usr/local/airflow/dags puckel/docker-airflow</e
浏览 5提问于2019-09-27得票数 1
回答已采纳
- sudo sh scripts/setup.sh - airflow initdb - airflow list_dags -sd $(pwd)/dags
- airflow trigger_dag -sd $airflow trigger_dag
浏览 1提问于2018-07-06得票数 1
我希望调用一个位于docker容器中的excel文件为python。我该怎么做呢？我似乎找不到正确的文件路径。 我所做的是将excel文件从本地目录复制到现有的docker容器中。我这样做是因为airflow在我的本地目录中找不到文件。我现在需要一种让python找到这些文件的方法。 任何帮助都将不胜感激。 史蒂文。
浏览 16提问于2021-06-22得票数 1
我尝试将airflow DAG部署到亚马逊网络服务EC2。我遵循了上的说明。气流在EC2上运行良好。在EC2实例中，有两个airflow.cfg文件，它们位于：/home/ec2-user/airflow/airflow.cfg
在文件夹'/airflow‘在文件夹'/hom
浏览 1提问于2019-02-21得票数 1
我对airflow是个新手，缺乏一些关于配置的知识。我目前正在EKS上安装通过Helm的气流。当我向web服务器进行身份验证时，我找不到任何dags。 ? 当我在本地运行容器时，我能够看到示例dags。这是我用来创建airflow-container的Docker文件： FROM python:3.6.3
RUN apt-get update && apt-getENV AIRFLOW_HOME=/app/
浏览 14提问于2020-12-10得票数 0
回答已采纳
是否有办法将airflow配置为与microsoft azure blob storage for DAGS and PLUGINS文件夹对话 对于芹菜模式，希望将它们存储在BLOB存储中，而不是本地共享文件夹中Airflow版本: 1.10.0 配置类型: celery executor //Directory for log storage.
airflow_logs_dir: "/var/log/airflow</
浏览 9提问于2019-09-04得票数 0
4回答
我同步了它们之间的dags文件夹，在这两个文件夹上运行了airflow initdb，并在运行airflow list_tasks <dag_id>时检查了dag_id是否相同
airflow.exceptions.AirflowException:找不到dag_id：。-本地/home/ubuntu/airflow/dags&#x
浏览 4提问于2017-04-05得票数 17
我正在尝试使用Docker中的Apache airflow连接到我机器上的本地MS SQL服务器。我是个新手，找不到足够的文档来说明如何进行连接。请建议使用docker中的Apache airflow连接到mssql服务器的所有可能方法。 提前谢谢。
浏览 19提问于2020-04-03得票数 0
2回答
气流2.0设置使用在气流文档中提供的yaml文件进行配置。在我的初始测试中，当我在同一台主机上运行所有东西时，我让体系结构工作得很好。问题是，如何在远程主机上启动芹菜工人？://airflow:airflow@airflow@airflowhost.example.com:8080/airflow
浏览 19提问于2021-06-30得票数 7
回答已采纳
1回答
如果我在执行airflow二进制文件之后设置了与airflow配置设置相对应的环境变量，同时将DAG定义加载到内存中，这是否与在执行该二进制文件之前在操作系统级别设置这些相同的环境变量具有相同的效果？
浏览 1提问于2018-06-01得票数 1
我在我的虚拟机Apache Airflow上本地启动，我想连接到Amazon Glue作业来运行它们。我从pull-request得到的源代码：from datetime import datetimefrom airflow.operat
浏览 14提问于2018-07-09得票数 5
回答已采纳
5回答
我有一些dags似乎找不到python模块。在Airflow UI中，我看到了大量这样的消息变体。Broken DAG: [/home/airflow/source/airflow/dags/test.py] No module named 'paramiko'Type=simple
ExecStart=/usr/local&#x
浏览 3提问于2018-06-06得票数 7
目前我们在Kubernetes上使用的是我们自己安装的Airflow版本，但我们的想法是迁移到Cloud Composer上。我们使用Airflow通过自定义版本的DataFlowJavaOperator (使用插件)来运行数据流作业，因为我们需要执行jar中不是自包含的java应用程序。脚本来启动命令：所有jar依赖项都存储在所有worker之间的共享磁盘中，但Composer中缺少此功能，我们被迫使用云存储来共享作业二进制文件
浏览 1提问于2018-06-08得票数 2
我正在尝试将本地机器上的目录同步到一个码头容器。我希望能够从码头容器中读取和修改本地机器上的目录，并且在本地机器上可以看到这些更改。在docker-compose.yml文件的卷部分中添加一个相对路径可以工作，但是直接路径不能工作。这是我有的东西 - ../../logs:/opt/airflow/logsvolumes:
- /Users/bob/airflow
浏览 2提问于2022-06-28得票数 0
回答已采纳
1回答
我试图将txt文件写到云编写器DAG中的dags文件夹中。该文件从未出现，我认为我的代码有问题，但我试着用xlsx格式保存一只熊猫的dataframe，执行DAGs文件夹并加载该数据。在相同的代码中，我能够编写熊猫数据，然后在相同的DAG运行中读取它，但是当我随后查看文件夹时，没有文件。如果我再次运行该代码并尝试读取它，它会说该文件不存在。
就像文件只是临时写的一样。我还在使用文件夹的完整路径("/home
浏览 4提问于2022-08-01得票数 2
回答已采纳
1回答
我有一个启动和运行Airflow 1.8.1实例。仅此而已(我没有碰任何配置，只是那个)
我重新启动了所有的服务，但是日志并没有上传到gcs (我的桶仍然是空的)，我的文件系统空间仍然在减少
浏览 0提问于2017-09-19得票数 3
回答已采纳
1回答
我从一个名为puckel/ docker -airflow的docker镜像运行airflow。当我使用以下docker命令启动容器时，我将我的本地dags文件夹与容器airflow文件夹同步： docker run -d -p 8080:8080 -v <local_path>:/usr/local/airflow/dags puckel/docker-airflow webse
浏览 90提问于2021-01-16得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
