我正面临着DockerOperator的日志问题。 我正在使用DockerOperator在docker容器中运行python脚本，我需要airflow从容器中运行的python脚本中输出日志。Airlfow将作业标记为成功，但容器内的脚本失败，我不知道发生了什么，因为我无法正确地看到日志。除了按照docs中的建议将tty选项设置为True之外，
浏览 28提问于2020-05-01得票数 2
我现在有一个带有python映像的Docker容器，我在这里运行cron作业。我使用一个坞编写文件来运行它，在这里，我将令牌从主机(我的Macbook)作为环境变量传递给容器。environment:我想将cron作业迁移到AirFlow (使用中的停靠-组合文件运行)，在这里我想使用DockerOperator</em
浏览 4提问于2022-08-08得票数 1
回答已采纳
我正在开发一个使用DockerOperator与Apache Airflow一起调度和编排的ETL流程。我在一台Windows笔记本电脑上工作，所以我只能从docker容器内部运行Apache Airflow。我可以在我的项目根目录下，使用下面docker-compose.yml文件中指定的卷，在我的windows笔记本电脑上安装一个包含配置文件(名为configs )的文件夹到气
浏览 3提问于2020-01-29得票数 1
在DAG中，我使用的是一个DockerOperator，在其中我需要挂载一个临时目录来存储一些数据。容器必须为这个临时目录在主机上使用特定的路径，所以我尝试使用DockerOperator的“DockerOperator”参数，但这是行不通的。考虑以下DAG示例：from airflow.providers.doc
浏览 3提问于2022-07-23得票数 0
回答已采纳
我有一个运行中的Apache AirFlow，它是从docker编写开始的。此外，我有一个码头-撰写项目，我想管理与AirFlow。之后，我想用启动，用AirFlow启动my_app容器。
但是DockerOperator似乎总是在运行容器之前创建，因此需要额外的配置。如果手动移除容器并在DockerOperator中设置DockerOperator，那么它可以正
浏览 18提问于2022-05-19得票数 0
我有一个可以工作的DockerOperator，但是airflow没有显示我的DockerOperator的任何日志记录语句，当我使用"airflow test“运行它时，它对PythonOperator或BashOperator是这样做的。但是，我可以看到运行相同任务的日志语句。我如何使记录器在“气流测试”中也可见？
浏览 1提问于2018-09-14得票数 15
现在，我想对每个任务使用Apache气流来调度这个过程，也就是说，我想要为我的源代码创建一个码头映像，然后使用DockerOperator执行该映像中的源代码。由于我是在一个窗口机器工作，我只能使用气流从码头集装箱内。根据气流，任务正在成功执行，但似乎没有执行停靠器映像中的代码，因为任务完成得太快，而且在从我的映像启动码头容器之后，任务执行时有错
浏览 9提问于2020-01-20得票数 3
1回答
我安装了气流，使用对接-合成和运行db init命令。我正在尝试创建一个使用DockerOperator执行某些脚本的DAG。在我的DockerOperator中，脚本试图读取气流变量并使用BaseHook获取连接。是否有一种方法可以将DockerOperator上下文提供给包含通过UI设置的连接和变量的气流数据库？docker_conn_id="harbor_crede
浏览 6提问于2022-06-02得票数 1
回答已采纳
我正在尝试通过气流运行容器，但收到超时错误： [2021-07-21 07:02:06,176] {docker.py:231} INFO - Starting docker container from/issues/543#issuecomment-741842728 我的Airflow代码是： from datetime import datetime, timedeltafrom airflow.providers.docker.
浏览 54提问于2021-07-21得票数 0
回答已采纳
我正在考虑开始在一个项目中使用Apache airflow，并且想知道人们如何管理与Airflow的持续集成和依赖。更具体地说，我有以下设置我有两个python DAG，我想把它们的源代码放在不同的仓库中。每个python代码库具有不同的依赖性，例如，
Dag1使用Python2.7 pandas==0.18.1，requests=2.13
浏览 6提问于2017-07-10得票数 6
我有一系列任务，用于启动容器并在其中运行python脚本。但是，我需要挂载包含python代码的卷...在遇到许多错误后，我发现不再支持添加卷，现在必须指定一个装载对象：https://github.com/apache/airflow/pull/15843 我的任务代码如下所示： from airflow.operators.docker_operator，我运行的错误与使用volumes=list时收到<e
浏览 15提问于2021-08-03得票数 0
回答已采纳
/main.py"] 据我所知，使用入口点而不是CMD来运行python脚本允许将参数传递给main.py，这些参数可以在main.py中使用argparse进行解析 在使用以下命令运行docker容器(名为param- main.py )时，我成功地传入了参数，并在测试中检索并使用了它们： docker run -it param-test "cats" 我现在希望通过Apache Airflow执行上面的我有以下代码，可以成功
浏览 31提问于2020-07-24得票数 1
回答已采纳
我使用Docker部署了气流(2.2.4)，我希望在一些DAG任务中使用DockerOperator。我还想用这些DockerOperator任务挂载一个卷，但是似乎挂载功能对于DockerOperator设置是不可用的。我正在尝试一种优雅的解决方法，因为我真的需要将创建的数据(日志文件，可能还有great_expecations的数据质量报告)从这个容器中取出。到目前为止，我已经考虑使用<
浏览 5提问于2022-03-15得票数 1
我使用Docker在亚马逊网络服务上安装了AirFlow2.0，并试图使用DockerOperator拉取我自己的私有docker镜像GitLab容器注册表，但被拒绝了。如何从GitLab中拉出docker镜像，以及如何为Docker镜像GitLab注册表创建连接？Dag文件 Docker yml文件java_test_scheduler = DockerOperator(
浏览 3提问于2021-05-03得票数 1
我有一个包含三种服务的docker-compose.yml文件: MongoDB的mongo服务，MongoDB的管理工具mongo快速服务，Apache-Airflow的webserver服务，Apache-Airflow的postgres服务，Apache-Airflow的数据库后端。我一直在跟踪这个，它声称使用DockerOperator，您可以开发独立于操作系统的源代码--
浏览 0提问于2020-01-16得票数 9
我有一个简单的示例python脚本，我希望Airflow在计划的基础上运行。我可以为Airflow创建容器，并在该容器中成功安装Docker服务器。我可以手动访问CLI并"docker run“示例的容器，它就可以工作了。当我从本地主机管理员尝试它时，它只显示“运行”永远。在CLI中检查"docker ps“显示它还没有启动容器。我确信我错过了一些简单的东西，因为这里没有太多复杂
浏览 0提问于2020-11-18得票数 1
(对原来的问题进行了编辑，以使其更加清楚)目标和设置
主要目标是当气流芹菜工人也在码头集装箱内运行时，运行基于容器的处理(使用DockerOperator目前，我正在一台机器上测试安装程序，但最后，我将在运行在同一网络中的不同机器上运行芹菜工人容器，共享一些特定于气流的安装点(dags、日志、插件)和用户I等。我正在启动整个安装程序，从docker
浏览 2提问于2021-09-24得票数 2
回答已采纳
我正在设置一个新的气流服务器使用对接-合成和气流图像puckel/对接-气流。BashOperators和PythonOperator工作得很好，但是当我尝试使用DockerOperator时，我得到了名为“docker”的PythonOperator No模块。如何更改我的码头组合文件，以便在我的码头内使用码头？
我试图在google上查找错误消息，但建议的解决方案都没有奏效。下面是我正在使用</
浏览 5提问于2019-05-11得票数 2
我正在使用图像运行气流。我必须添加pip install docker才能使它支持DockerOperator。我得到以下错误：
2019-11-06 13:59:40,522 {{docker_operator.py:194} INFO -从映像eu.
浏览 2提问于2019-11-06得票数 6
回答已采纳
我正在运行空气流量2.1.4使用码头-合成和芹菜执行器。到目前为止，我已经能够从芹菜工作容器启动和运行简单的DockerOperator任务，但是现在当我尝试将一个目录从共享驱动器挂载到任务容器时，我得到了一个错误(下面的日志文件)。因此，我猜有些信息或特权不会传递给由芹菜工人容器创建的容器。有什么建议吗?接下来要尝试什么？import datetime, timedelta
fr
浏览 10提问于2021-11-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
