向气流中添加额外的芹菜配置
是一个虚构的问题，没有与云计算或IT互联网领域相关的实际意义。因此，无法给出完善且全面的答案。如果您有其他与云计算或IT互联网领域相关的问题，我将很乐意为您提供帮助。
相关·内容
新的气流，所以道歉，如果这个问题没有真正的意义。在webserver中是否有一个命令或位置可以看到所有正在运行的工作人员的列表？另外，如果没有使用airflow worker显式启动芹菜工作节点，是否存在使用not服务器或调度程序初始化的“默认”工作人员？
浏览 1提问于2020-11-17得票数 2
回答已采纳
Apache气流码头: sqlalchemy.exc.NoSuchModuleError:无法加载插件: sqlalchemy.dialects:mysqldbx-airflow-common/plugins:/opt/airflow/plugins我也有同样的问题，这个问题应该怎么解决。
浏览 8提问于2022-08-19得票数 1
回答已采纳
我已经配置了气流与芹菜工人和芹菜经纪人是redis。所有的服务都在运行，我正在通过for为芹菜工人和任务进行监控。当我在airflow数据库中运行此查询时 select count(*), executor_class, min(start_date), max(start_date) from airflow.job我已经按照1.10.6文档中的要求配置了气流。但从2020-01-17 05:38开始，Celery
浏览 16提问于2020-01-26得票数 0
1回答
我有问题设置气流配置使用SQS和Postgres。我在airflow.cfg中做了以下配置result_backend = db+postgresql://xxx:yyy@zzz:5432/airflow 气流配置：
executor = CeleryExecutor
浏览 17提问于2022-03-25得票数 0
1回答
我目前还未认识的MWAA当触发时，DAG被执行器拆分为任务，每个任务被添加到队列中，由Worker从队列中提取。对于bash操作符，任务被提交给Fargate工人并在那里执行。工作人员缩放是由Fargate管理的，您只能指定min/max计数。在同时提交任务的情况
浏览 4提问于2021-11-29得票数 1
回答已采纳
2回答
现在我有两个解决方案
在同一个气流容器中运行多个服务--我想不出一个简单的实现方法，就是在码头上安装一个新的bee。创建单独的容器来运行芹菜工人和气流调度器--但是在airflow.cfg文件中，与芹菜相关的设置是：broker_url = 'amqp://guest:guest@ksaprice_rabbitmq:这些设置指的是已经在运行不同容器的数据库或rabb
浏览 0提问于2017-08-02得票数 3
回答已采纳
1回答
如何在气流中重新启动芹菜工人
、、、、
我现在遇到了一个问题，我的芹菜工人偶尔会结冰，需要重新启动。我有一个气流实例，我想使用BashOperator或SSHOperator来配置和调度重新启动，但是我不知道如何继续，因为它在一个Docker容器中。从本地主机来看，我只是“码头重新启动工作人员”，但是由于Bash在气流容器中操作，我需要找到一种方法通过从容器到主机的气流CLI或SSH重新启动，这听起来很糟糕。有没有一种优雅的方法来处理这个问题？编辑：我看到
浏览 6提问于2017-06-26得票数 0
回答已采纳
我正在从事一个Dockerized /Django项目，其中包括一个用于芹菜工人的容器，我一直在将现成的气流码头容器集成到其中。我已经在预先存在的容器中成功地运行了芹菜任务，方法是使用指定的redis代理和后端实例化芹菜应用程序，并通过send_task进行远程调用；然而，芹菜任务执行的日志记录都不能返回到气流日志。最初，作为一个概念的证明，因为我对<e
浏览 6提问于2022-06-08得票数 1
我们使用的是气流版本2，当我们将DAG文件放置在DAG文件夹中时，需要20到30秒才能在气流数据列表中反映这个dag。谢谢你，哈利
浏览 3提问于2021-09-19得票数 1
回答已采纳
在访问云存储时，DAG中的一个任务有时挂起。这里的代码似乎停留在download函数上：在我的测试中我怀疑这5分钟是由于配置</e
浏览 0提问于2018-06-28得票数 0
回答已采纳
我有大约一百万的气流任务，使用相同的python功能。每个运行都需要有不同的开始日期和参数。问题解决方案
浏览 0提问于2019-03-25得票数 1
回答已采纳
我遇到了一个问题，那就是我的任务因为某种原因而没有被工人们接受。当我查看任务细节时：
22/11/2018 12:10:392018-11-22 01:10:39,747 {cli.py:644}除错-5/5杀死1名工人22/11/2018气流<
浏览 0提问于2018-11-22得票数 0
1回答
我试图将动态工作流引入到我的领域中，这涉及到不同模型推断的多个步骤，其中一个模型的输出被输入到另一个model.Currently中，很少有芹菜工作人员分散在主机上来管理推理链。随着复杂性的增加，我们正在尝试动态地构建工作流。为此，我得到了一个动态DAG设置和塞勒伊执行器工作。现在，有什么办法我可以保留目前的芹菜设置和路线气流驱动的任务给相同的工人？我理解这些工作人员中的<
浏览 5提问于2021-05-27得票数 1
回答已采纳
1回答
感谢，我刚刚痛苦地安装了气流1.10。我们有一个EC2实例正在运行，我们的队列是，我们的元数据库是用于PostgreSQL的AWS。气流工作与这个设置只是罚款，当我们是在气流版本1.9。但是当我们启动调度程序时，我们遇到了一个关于气流版本1.10的问题。如果DAGs文件夹中没有任何dags，调度程序(airflow scheduler)甚至可以正常启动，没有任何错误，。但是，一旦我们将任何DAG添加到dags文件夹并
浏览 0提问于2018-08-15得票数 3
1回答
我有一个ETL管道，它由以下任务组成：
我把整个剧本转换成气流数据集。我的问题是假设，一个百万文件的规模，我想特别是在步骤-3使用我的整个集群芹菜工人处理文件并行。例如，假设我有100个芹菜工作节点，每个节点有两个核
浏览 2提问于2019-04-24得票数 4
回答已采纳
我已经通过启用windows子系统Linux选项在Windows 10上安装了气流。气流配置为芹菜执行器。Aiflow webserver启动时没有出现错误，但当我尝试启动气流调度程序时，它出现了错误。
浏览 4提问于2021-09-30得票数 1
我一直在运行一个烧瓶应用程序与芹菜工人和红色在三个分开的码头集装箱，没有任何问题。我就是这样开始的：芹菜开得很好in iteritemsAttributeError: 'float' object has no attribute 'items'
在堆栈跟踪
浏览 0提问于2018-11-15得票数 14
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
