我可以在localhost上启动多少个apache airflow芹菜工作进程？我猜默认设置应该是一个通过多线程并发工作的芹菜工作线程。可以在airflow.cfg文件中设置并发(默认为16)。我检查了花卉服务器，只有一个芹菜工人。 是否可以将另一个芹菜工人添加到我的localhost？
浏览 8提问于2019-09-18得票数 0
回答已采纳
2回答
我正在设置一个分布式气流集群，其中除了芹菜工作人员以外的其他一切都在一个主机上运行，处理工作在多个主机上进行。气流2.0设置使用在气流文档中提供的yaml文件进行配置。在我的初始测试中，当我在同一台主机上运行所有东西时，我让体系结构工作得很好。问题是，如何在远程主机上启动芹菜工人？到目前为止，我试图创建一个修整版本的上述对接-写作，在这里，我只开始芹菜工人在<em
浏览 19提问于2021-06-30得票数 7
回答已采纳
我想在Apache Airflow中根据每个工人的健康和当前负载将工作分配给我的工人。类似于HAProxy leastconn的东西就是我想要的。有没有办法让员工报告他们的负载/健康状况，并相应地分配任务？我喜欢吃Dask或芹菜，但我最熟悉的是芹菜
浏览 12提问于2019-05-23得票数 1
我在Airflow和kubernetes方面是新手。我已经按照这个指南部署了airflow：https://docs.bitnami.com/tutorials/deploy-apache-airflow-azure-postgresql-redis/我不知道的是我的芹菜执行器部署了多少工人，以及如何增加他们。
浏览 13提问于2020-09-05得票数 0
回答已采纳
1回答
我目前已经设置了Airflow并正常工作，使用CeleryExecutor作为后端来提供水平缩放。这非常有效，特别是当工作节点位于EC2上的自动伸缩组中时。除了Airflow之外，我还使用纯芹菜来处理来自Flask/Python的简单异步任务(不需要整个管道)。到目前为止，这些普通芹菜任务的量非常小，我只是在与Flask相同的机器上运行普通芹菜工人。现在需要在系统中运行大量的普通芹
浏览 15提问于2019-10-05得票数 1
我已经配置了气流与芹菜工人和芹菜经纪人是redis。所有的服务都在运行，我正在通过for为芹菜工人和任务进行监控。当我在airflow数据库中运行此查询时 select count(*), executor_class, min(start_date), max(start_date) from airflow.job我已经按照1.10.6文档中的要求配置了气流。但从2020-01-17 05:38开始，CeleryExecutor上的</em
浏览 16提问于2020-01-26得票数 0
1回答
气流芹菜作业卡在运行状态
、、、
所有airflow计划作业都将进入running状态，但它们永远不会运行。我在rabbitmq日志或airflow日志中没有看到任何错误。任何帮助我们都将不胜感激broker_url = amqp://guest:guest@127.0.0.1/airflow
celery_result_backend= db+postgresql://airflow:airflow@127.0.0.1:5432
浏览 3提问于2018-09-12得票数 0
在空气流量1.10.15使用芹菜执行器在码头，“阿帕奇-气流升级-检查”包用于检查所需的检查，以升级到气流2.2.3。下面的图像是执行命令后的输出。根据气流2.2.3的要求，更新气流Config文件。下面的命令是用来升级到气流2.2.3。pip install "apache-airflow[celery]==2.2.3" --constraint "https://
浏览 4提问于2022-01-12得票数 -1
1回答
在airflow 2.1.3上，查看命令行界面airflow celery -h的文档-H CELERY_HOSTNAME, --celery-hostname CELERY_HOSTNAME，我知道你可以在同一台机器上运行多个工人。但是对于Airflow (和芹菜执行器)，我不知道如何做到这一点。如果需要，请在同一台计算机上执行以下操作：>
浏览 0提问于2021-09-16得票数 1
我使用docker swarm和Celery Executor安装了airflow 2.0。一周后，芹菜工人的内存被airflow task supervisor溢出(附截图)
浏览 6提问于2021-05-20得票数 1
新的气流，所以道歉，如果这个问题没有真正的意义。在webserver中是否有一个命令或位置可以看到所有正在运行的工作人员的列表？另外，如果没有使用airflow worker显式启动芹菜工作节点，是否存在使用not服务器或调度程序初始化的“默认”工作人员？
浏览 1提问于2020-11-17得票数 2
回答已采纳
决定试着去真正理解飞行器-复合的气流文件。在文件的开头，有一段代码。x-airflow-common: image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.2.5}
我收集到的是，x-气流-公共是定义一个变量，而&气流-公共说，“在这个文件中的任何图像，指向*气流-共同的外观，这就是为什么我们看到更深入。<
浏览 3提问于2022-04-28得票数 2
回答已采纳
1回答
芹菜比多进程慢？
、、
因此，我使用6个工人将这两台计算机与芹菜连接起来，以完成一些任务。然而，当我在c1中使用6个工作进程的多处理时，似乎芹菜中的每个工作进程在多处理中都较慢？为什么会这样呢？那么与多进程相比，芹菜的优势是什么呢？我有一个函数： ...return data在芹菜中，我设置了6个<
浏览 2提问于2013-07-02得票数 2
我们使用SQS作为我们的消息代理，并将worker_enable_remote_control设置为False，因为它将在SQS中创建大量*pidbox队列，而aws sqs列表限制为1000，因此我们禁用了标志但是，我们仍然希望能够从工人主机控制芹菜工人。是否可以向芹菜主工作进程发出信号，让它从运行芹菜工作进程的主机上取消/添加消费者？ celery version: 4.3.0 kombu (4.6.3) 谢谢。
浏览 31提问于2020-04-08得票数 0
回答已采纳
2回答
问题是如何在同一个容器中运行airflow webserver、airflow scheduler和airflow worker。经过一些研究，我发现:建议在一个容器中运行一个服务。创建单独的容器来运行芹菜工人和气流调度器--但是在airflow.cfg文件中，与芹菜相关的设置是：broker_url = 'amqp://guest:guest@ksaprice_rabbitmq:这些设置指的是已经在运行
浏览 0提问于2017-08-02得票数 3
回答已采纳
1回答
我刚接触airflow和芹菜，现在我已经完成了dag的绘制，但我想在同一子网中的两台计算机上运行任务，我想知道如何修改airflow.cfg。一些例子可能会更好。感谢任何答案或z。
浏览 6提问于2017-07-16得票数 12
回答已采纳
1回答
在多个端口上创建停靠器的副本
、、、、
我想做的是用芹菜在码头运行气流，我的问题是，我的芹菜工人在容器里，我不知道如何把它们放大。我的船坞-共济会档案：services: image: mysql:latest ports:/airflow.env
因此，我使用上面的文件运行docker -复合命令，它在localhost上的端口8793上
浏览 3提问于2017-05-10得票数 0
回答已采纳
有一个数据收集工作流，它是通过celery任务实现的，这些任务相互依赖并并行运行。我希望将所有这些逻辑迁移到apache airflow，因为我认为它适合我的需要，并且启动和重新启动任务、构建更复杂的工作流、监视和调试将更加方便。 我以前从来没有用过气流。我的计划合理吗？
浏览 94提问于2020-08-29得票数 1
回答已采纳
1回答
我有一个气流集群由3个工人节点与CeleryExecutor和RabbitMQ进行通信。我的DAG通常由下载文件、解压缩文件、上传到hadoop等任务组成，因此它们相互依赖，必须在单个机器/节点上运行。当气流在不同的节点上调度单个DAG、的这些任务时，我会出现错误，因为这些任务被调度在不同的机器上，但是我需要将DAG中的所有任务都调度在一台机器上。我尝试在dag_concurrency =1和max_active_runs_per_dag =1上设置airflow</e
浏览 1提问于2021-05-17得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
