1回答
我现在实习的公司想让我把已经存在的网络刮刀安排到Airflow上。我没有网络摩天大楼和气流的经验，然而，我写信寻求一些帮助。首先，网络爬行器使用芹菜，硒和rabbitMQ，并且在没有气流的情况下工作得很好。现在，我的问题是，要将这个过程转移到airflow上，我所需要做的就是将函数导入到我希望创建的airflow DAG中，并按照我们希望它们被调用的顺序调用它们。或者这是一种非常简
浏览 15提问于2019-05-22得票数 0
我正在尝试自动化的过程，每天运行一个webscraper与apache气流和码头。我已经启动并运行了气流服务器，我可以通过本地服务器上的气流GUI手动初始化我的守护进程，但是它失败了。我的dag.py文件在下面。您可以看到我试图使用BashOperator函数运行脚本的地方。我怀疑问题在于刮板使用的依赖关系，但我不确定如何集成配
浏览 11提问于2022-08-28得票数 0
回答已采纳
我一直在努力从我的网络外部获得气流。我的气流运行在一个覆盆子π4，一切似乎都很好，我可以通过访问它。我还在我的主路由器中设置了转发规则，指向raspberry pi：
端口转发是有效的，因为我可以看到它使用外部工具打开，而且我还设置了一个SSH端口转发，以从本地网络之外访问我的raspberry因此，访问应该带我到我的流量网络用户界面，但我只是得到了“这个网
浏览 2提问于2020-05-16得票数 2
回答已采纳
4回答
气流中的Python脚本调度
、、、、
大家好，
我需要使用气流调度我的python 文件(包含从sql和一些联接中提取的数据)。我已经成功地将气流安装到我的linux服务器上，而且我也可以使用气流的and服务器。但是，即使在阅读了文档之后，我也不清楚到底需要在哪里编写调度脚本，以及如何将该脚本应用到气流see服务器中，这样我就可以看到状态。就配置而言，我知道dag文
浏览 4提问于2017-01-18得票数 31
我已经设置了气流环境，但找不到我到目前为止所做的airflow.cfg file.Things：
使用EmailOperator的任务不发送电子邮件。该气流是如何启动和运行的，但没有找到airflow.cfg文件？这是我<e
浏览 17提问于2022-04-10得票数 1
我找不到任何线程来解释它，我作为管理员执行了PSPS C:\WINDOWS\system32> docker pull microsoft/aspnet
Using default tag
浏览 5提问于2016-12-12得票数 6
我有一具带包装纸的身体 <div class="wrapper">//loads of content</div>由于特殊的滚动行为和javascript，包装器被设置为我希望身体和包装纸有同样的高度。
(如果有人对我为什么要做到这一点感兴趣，我会在这里解释我的问题：，但我觉得对于任何想要解决
浏览 1提问于2013-07-15得票数 0
1回答
我有一个烧瓶服务器，它由多个方法组成。我的目标是通过使用气流自动执行这些方法。我正考虑采用以下步骤：我主要考虑的是独立分离气流和烧瓶服务器你觉得这是个好计划吗？如有任何其他建议，将不胜感激。
浏览 3提问于2021-06-29得票数 1
我对气流是新手，我写了一个简单的SSHOperator来学习它是如何工作的。我想知道为什么我的任务不是排队。有人有什么想法吗？如果这是有用的信息，我的airflow.config是默认的。
浏览 0提问于2018-06-21得票数 2
回答已采纳
1回答
我已将此设置注入airflow.cfg：AIRFLOW__SCHEDULER__STATSD_ON=TrueAIRFLOW__SCHEDULER__STATSD_PREFIX=airflow
我使用的不是标准的Statsd服务，而是使用Statsd协议的，因此据我所知，我可以直接指向气流，向S
浏览 2提问于2019-07-03得票数 4
2回答
在Windows上安装气流
、、、、
我想安装一个气流工人在windows机器上。如何在寡妇中设置气流工作人员:它可以本地安装还是应该使用*nix仿真器？
浏览 1提问于2016-06-19得票数 3
1回答
目标我松散地遵循一个教程，但我已经修改了DAG。我正在使用来自码头中心的puckel/docker-airflow图像。我附加了一个指向适当DAG的卷，并创建了另一个卷来包含在DAG中编写的数据(通过运行docker volume create airfl
浏览 9提问于2022-01-01得票数 0
回答已采纳
15672/api/state.py:108 (run) Failed to inspect the broker: 'list' object is not callable
有人知道怎么解决这个问题吗？
浏览 6提问于2014-03-25得票数 2
我使用apache/ airflow :2.3.3码头映像来设置气流。我在另一个驱动器上安装了一台pyenv。在创建气流容器时，我已经用pyenv绑定了音量。我还更新了容器中的env变量路径，以指向安装在pyenv卷中的python版本。但是气流仍然在使用python (3.7.7)，它附带了图像apache/ airflow :2.3.3。是否有可能使气流使用
浏览 12提问于2022-09-27得票数 0
我已经在我的系统Ubuntu20.0.4LTS上安装了Airflow 2.2.4版本，我使用以下步骤
我
浏览 19提问于2022-03-05得票数 1
8回答
我是Airbnb的开源工作流/数据池软件的新用户。在启动web之后，有几十个默认的示例。我尝试了很多方法来消除这些缺陷，但我没有做到。load_examples = False设置为airflow.cfg。
删除文件夹lib/python2.7/site-packages/airflow/example_dags。在我删除dags文件夹后，这些示例标记的状态被更改为灰色，但项目仍然占据web屏幕。并且在airflow.cfg中指定一个新的</e
浏览 13提问于2017-04-14得票数 94
我已经创建了一个生产码头形象使用微风命令行工具提供。但是，当我运行airflow worker命令时，我在命令行上得到以下消息。.additional-python-deps="pandas pymysql" --additional-runtime-apt-deps="default-jre-headless"
有人可以帮助如何将工作人员从开发服务器中移出吗
浏览 3提问于2021-02-08得票数 2
1回答
我对气流很陌生，真的很感激对以下问题的任何帮助。我试着在笔记本电脑上运行气流网络服务器。在理论上，我设置了start_time=datetime.now()，当我在set服务器上手动运行这个进程时，应该成功地运行它，但是它改变了超时，它要么排队，要么成功。webUI中的图形条时，它都会显示为以下图片：我不确定是否与我初始化气流的方式有关，我遵循以下步骤：
气流网络服务器-p 8080
浏览 8提问于2022-10-31得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
