气流调度器意外关闭
气流调度器是一种用于管理和调度云计算资源的工具。它负责监控和控制云环境中的虚拟机实例、容器、存储和网络等资源，以确保资源的高效利用和可靠性。
当气流调度器意外关闭时，可能会导致以下问题：
- 资源分配不均衡：气流调度器负责根据负载情况将任务分配给不同的虚拟机实例或容器。如果调度器关闭，资源分配可能会变得不均衡，一些节点可能会过载，而其他节点可能会处于空闲状态。
- 故障恢复延迟：气流调度器通常会监控云环境中的故障，并自动进行故障恢复。如果调度器关闭，故障恢复可能会受到延迟，导致服务中断时间增加。
- 资源利用率下降：气流调度器可以根据负载情况动态调整资源分配，以提高资源利用率。如果调度器关闭，资源利用率可能会下降，导致资源浪费。
为了解决气流调度器意外关闭的问题，可以采取以下措施：
- 监控和自动恢复：部署监控系统，及时检测气流调度器的状态，并在发现关闭情况时自动进行恢复。可以使用腾讯云的云监控服务来监控调度器的运行状态。
- 备份和冗余：建立冗余的气流调度器，以防止单点故障。可以使用腾讯云的负载均衡服务来实现调度器的冗余部署。
- 定期维护和更新：定期进行气流调度器的维护和更新，以确保其稳定性和可靠性。可以使用腾讯云的自动化运维服务来简化维护和更新过程。
腾讯云相关产品推荐：
相关·内容
2回答
我对阿帕奇气流很陌生。我在Google上安装了气流。我有两个管道正在运行，从API获取数据并将它们存储到BigQuery。我面临的问题是气流调度器不是自动运行的。我必须手动运行它每天使用“气流调度器”命令。第二天，当我打开气流时，我看到消息“调度器似乎没有运行”。然后，我必须再次手动运行te命令来启动调度程序。我正在使用SequentialExecuter。这和这事有什么关系吗。
有没有其他人面临过这个问题。
浏览 2提问于2021-09-28得票数 0
回答已采纳
3回答
如何在高可用性中部署apache气流(正式称为airbnb的气流)调度器？
--我不是问后端DB或RabbitMQ，它们显然应该部署在高可用性配置中。
我的主要关注点是调度程序-有什么特别的事情需要做吗？
浏览 5提问于2016-09-19得票数 11
1回答
气流容错
、、、、
我有两个问题：
首先，Kubernetes执行器是什么意思?换句话说，如果一个工作节点出现故障，会发生什么？
第二个问题，整个气流服务器有可能停机吗？如果是，是否有自动运行的备份来继续工作？
注:我最近开始学习气流。提前感谢
这是我在学习apache气流时面临的一个理论问题，我已经阅读了文档，但没有提到如何处理容错。
浏览 7提问于2022-11-17得票数 0
我使用的是Azure VM上的气流。我希望我的DAG每天午夜运行，但我不能总是连接到VM在这个时候运行“气流调度器”命令。我希望我的DAG能够在没有我干预的情况下在午夜运行VM。
我尝试使用Azure VM管理器中的"run命令“，但运行时间限制在90分钟。我也尝试过探索airflow.cfg文件，但是没有找到任何东西。
这是我DAG的心声
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': dat
浏览 0提问于2019-08-21得票数 0
回答已采纳
我正在学习Apache气流，并尝试编写hello world版本的它。
我已经用python版本3.8和下面的包含dag和任务的代码安装了airflow版本2.0
import datetime
import logging
from airflow import DAG
from airflow.operators.python import PythonOperator
def greet_hello():
logging.info("Hello World")
dag = DAG("FirstDag", start_date=dateti
浏览 7提问于2021-02-07得票数 2
回答已采纳
Apache气流平台中有一个任务，它通过SQL通过熊猫数据帧来提取数据。数据大小超过600 K。以下是代码：
def stage1_data_extract(**kwargs):
sql="some sql logic"
df1 = pd.read_sql(sql, conn)
df1 = df1.loc[:, ~df1.columns.duplicated()]
return df1
我观察到，当Apache气流任务返回任务中的上述数据帧时，Apache气流挂起，我需要手动关闭所有进程，以使服务器重新启动和运行。
看起来，气流任务的资源/
浏览 0提问于2019-04-26得票数 1
我正在开发一个基于容器的Apache气流应用程序。我的环境由以下组件组成：
气流调度器
气流网络服务器容器
气流芹菜花容器
气流工人容器(1)
等。
我对这个模式的理解是，我可以拥有一个调度器和一个webserver容器，这些容器只需要一个气流所必需的依赖项，然后我就可以有一个工作节点(或多个)来运行我的DAG所需的一切。
当我尝试以这种方式使用它时(例如，在worker节点中添加和使用一个模块，假设它是crypto模块)，我在前端得到一个DAG Import Error异常，它是这样的：ModuleNotFoundError: No module named &#
浏览 1提问于2021-04-29得票数 3
1回答
我希望有人能澄清TensorFlow与它的依赖关系(Beam、AirFlow、Flink等)
我指的是TFX的主页面：等等。
在示例中，我看到了三个变体： taxi_pipeline_flink.py、taxi_pipeline_kubeflow.py、taxi_pipeline_simple.py
梁的例子？
没有“梁”的例子，也很少描述它的用途。
假设即使没有安装气流，taxi_pipeline_simple.py也会运行，这是正确的吗？我认为没有，因为它使用"AirflowDAGRunner“。如果没有，那么你能运行TFX只有梁和它的转轮吗？如果是的话，为何没有这样的例子呢？
F
浏览 0提问于2019-05-17得票数 6
回答已采纳
我的气流调度器由于某种原因而下降，当我重新启动它时，所有的DAGS都同时触发了。就好像它正在从失去的工作中迎头赶上。而且，当我修改DAG时，工作流触发。这些意外触发破坏了我的数据并失去了对系统的信任。
是否有一种方法可以防止DAG意外运行，除非它是确切的时间(没有追赶)，或者除非它是手动触发的？
浏览 9提问于2022-09-12得票数 0
回答已采纳
1回答
我有以下的文件夹结构在气流达格文件夹。
/opt/airflow/dags
--my_module/
--my_dag.py
Dag文件(my_dag.py)需要my_module中的python脚本来执行工作流任务。
上面的设置运行得很完美，但是当更新"my_module“文件夹中的python脚本时，它不会反映在工作流中。
当更改dag文件时，它将反映气流中的变化。我也重新启动了气流，但没有运气。我在这里做错了什么..。
浏览 0提问于2018-08-28得票数 0
回答已采纳
1回答
我有两种类型的工作:火花批处理作业和火花流作业。
我想用气流来安排和管理它们。
气流是用来工作的已经停止了。但我想把它用于我的流媒体工作。有人能为我的流媒体工作提供一些想法或其他工具吗？
浏览 3提问于2021-10-28得票数 1
回答已采纳
1回答
我对气流很陌生，尝试通过启动气流网络服务器和调度程序来运行一个dag。当我关闭调度程序和气流网络服务器后，气流进程仍在运行。
ps aux | grep airflow显示了两个气流and服务器运行，以及调度程序运行的所有dags。
我试着运行kill $(ps aux | grep airflow | awk '{print $2}')，但是没有帮助。
我没有sudo权限和webserver访问权限。
浏览 4提问于2021-01-10得票数 5
回答已采纳
1回答
我试图让气流在一个容器内运行，并使用可用的图像。我发现，虽然DAG进入运行状态(在UI上)，但DAG中的任务似乎在无限期地等待，而且从未真正触发。考虑到文档中给出的一些步骤是可选的，我遵循了这些步骤，以便在我的容器中启动并运行示例DAGs
从码头中心提取图像
docker pull puckel/docker-airflow
具有默认设置的触发气流，这应该由顺序执行器启动
docker run -d -p 8080:8080 -e LOAD_EX=y puckel/docker-airflow
虽然我在过去做过气流方面的工作，但我对设置气流和码头相对来说还是比较新的。所以，我可能在这里遗漏了一
浏览 0提问于2018-10-25得票数 2
我非常困惑的是，气流如何在新的DAG代码与调度器的变化。有人能澄清气流调度器如何与新代码一起工作吗？每次更改DAG中的代码时，是否都需要停止并重新运行airflow scheduler？或者，我可以设置--num_runs 1并在每次进行新更改时运行它吗？
谢谢!
浏览 0提问于2018-07-17得票数 2
回答已采纳
1回答
我对气流很陌生，真的很感激对以下问题的任何帮助。我试着在笔记本电脑上运行气流网络服务器。
在理论上，我设置了start_time=datetime.now()，当我在set服务器上手动运行这个进程时，应该成功地运行它，但是它改变了超时，它要么排队，要么成功。有时它是成功的(但运行时是00:00:00，显然我的进程没有运行)，有时只是排队而已。
这是我的DAG中的代码：
from datetime import datetime
from airflow import DAG
from airflow.models import Variable
from airflow.operators.p
浏览 8提问于2022-10-31得票数 0
我的气流在CeleryExecutor模式下运行+进程12，除了打开statsd之外，所有的事情都运行正常：
statsd_on = True
statsd_host = localhost
statsd_port = 8125
statsd_prefix = airflow
计划程序可以渲染作业，但作业未运行，计划程序日志出现以下错误：
[SQL: SELECT count(*) AS count_1
FROM task_instance
WHERE task_instance.pool = %(pool_1)s AND task_instance.state IN (%(state_1
浏览 5提问于2020-02-28得票数 0
我正在上使用气流(版本: composer-1.10.2- airflow -1.10.6)。
我意识到，当有许多任务要处理时，调度程序不会调度任务(参见下面的甘特视图)
(不要注意颜色，红色的任务是"createTable操作符“，如果表已经存在，就会失败，所以在下一部分(重要的部分)运行之前，它们必须失败5次)
任务之间有时间间隔！(例如，上午10时至下午15时5小时，什么也没有发生)
正常情况下，它可以很好地工作~40个DAG，每个任务约100到200个任务(有时更多)。但是最近我增加了两个DAG，它有很多任务(每个任务大约5000)，调度程序非常慢，或者没有调度任务。在屏
浏览 3提问于2020-06-04得票数 3
在早期版本的气流1.8中，我们的团队能够手动运行DAG，即使start_date被设置为未来的日期。在我们用芹菜安装机群将气流升级到1.10.1之后，这种情况现在还没有发生。
在气流的不同版本之间有什么变化。
浏览 2提问于2019-02-25得票数 3
回答已采纳
我使用Kubernetes安装了气流，并登录了气流用户界面。它显示了所有的达格，但它们没有正确显示。
1/在Dag名称的左边没有开/关按钮，它只是显示空复选框。
2/“最近的任务”和"DAG运行“列看起来像是在加载什么；
3/如果我单击并因此进入任何DAG，它似乎试图加载什么；
我尝试了两个气流2.0.0和1.10.11，他们显示相同，所以这不是因为版本。
气流的问题是什么，如何解决？
-在这里，我根据Ofek Hod的建议提供更多的信息: 1/运行"kubectl日志<pod_id> webserver"，在我登录airflow web
浏览 2提问于2020-10-16得票数 0
回答已采纳
我知道气流2.0现在支持为HA并发运行多个调度器。我可以在相同的机器 (VM)上运行多个调度程序吗？如果我想要两个调度程序，只需要运行两次airflow scheduler就可以做到这一点，而不需要配置任何其他内容吗？
浏览 1提问于2021-07-26得票数 1
在对堆叠溢出问题进行后续调查时：。我试着用气流bash操作符加载一个码头映像，完全复制了我从终端运行它的方式，这给了我同样的错误。
下面是一个容易复制的测试用例。我在CentOS系统上运行码头和气流。
当我在我的终端上尝试这个：
docker run -mount type=bind,source=\host\path,target=\mount\path image_name ls
输出结果如下：
PythonSource
SQLSource
data
inference.sh
当我从气流bash操作符做同样的操作时，输出如下：
[2020-08-18 13:20:29,565] {bash
浏览 3提问于2020-08-18得票数 0
我正在经历调度程序突然下降，没有一个模式。
我使用‘`docker’在AWS ECS中运行AWS ECS。
我知道这是
我们设置了AIRFLOW__SCHEDULER__RUN_DURATION = 3600，强制调度程序每小时重新启动一次，这样调度程序就会突然关闭。
但尽管如此，我们看到最后一次心跳是在9小时前。为什么会发生这种情况？这里的问题不是气流调度器关闭了，但是强制重启的ENV变量没有工作。
可以避免气流调度程序重新启动吗？我们应该使用airflow.cfg而不是env variable吗？
编辑在这里粘贴变量名是错误的，但是我有正确的名称。
AIRFLOW__SCHEDULER__
浏览 2提问于2021-09-12得票数 0
回答已采纳
7回答
我们已经使用LocalExecutor为我们的ETL设置了Airbnb/Apache气流，当我们开始构建更复杂的DAG时，我们注意到气流已经开始消耗大量的系统资源。这对我们来说是令人惊讶的，因为我们主要是用气流来安排其他服务器上发生的任务，所以风流DAG大部分时间都在等待它们完成--没有实际的本地执行。
最大的问题是，气流似乎在任何时候都消耗了100%的CPU (在AWSt2.media上)，并且使用超过2GB的内存和默认的airflow.cfg设置。
如果相关的话，我们正在使用码头运行气流-组合运行容器两次；一次作为scheduler，一次作为webserver。
我们在这里做错什么了？这是
浏览 2提问于2017-02-23得票数 46
我们使用的是气流版本2，当我们将DAG文件放置在DAG文件夹中时，需要20到30秒才能在气流数据列表中反映这个dag。
注意事项：我们使用芹菜执行器和postgres作为数据库。
有人能帮我如何使气流更快地拿起DAG吗？它是否有一个配置/任何想法都是值得注意的。
谢谢你，哈利
浏览 3提问于2021-09-19得票数 1
回答已采纳
1回答
我已经在气流中为python中的函数编写了dag脚本，在dag脚本中，我导入了python脚本，作为"from data_extractor.py import *“，.I为data_extractor_dag.py.But中的data_extractor.py中的函数构建了一个工作流，当我在data_extractor.py中进行任何代码更改时，风流守护程序data_extractor_dag.py无法在这个场景中使用load.During，在这个场景中，气流UI页面也不是loaded.How以更好的方式使用气流。
浏览 0提问于2018-10-11得票数 1
1回答
我是的新手，遵循QuickStart指令，创建环境，加载Dag，检查气流，删除环境。
但是在(实际的)生产用例中，在我们完成加载数据文件并在环境中运行它们之后。我们应该删除环境吗？因为在那个编写器中可能有几个计算实例，现在什么也不做。太贵了。
但是如果我删除这个环境，我就会失去对它的气流门户的访问，并且我无法在被删除的环境上检查我的处理日志。
那我该怎么办？在实际生产情况下，是否应该在处理完成后删除环境？
浏览 0提问于2019-03-21得票数 0
回答已采纳
当我试图在气流中使用码头操作员时，我会得到以下错误。气流设置对我来说是不可见的(它是由另一个团队在我无法访问的机器上运行的，并且负责的团队没有响应)。我根据我自己写的一个码头文件创建了码头映像。名称cmprod指的是码头映像。
ImageNotFound: 404 Client Error: Not Found ("pull access denied for cmprod, repository does not exist or may require 'docker login': denied: requested access to the resource
浏览 0提问于2020-08-11得票数 0
回答已采纳
我试图配置气流使用AWS SES(HTTP)电子邮件后端发送电子邮件。根据进行配置。但是我总是得到一个错误“参数源的无效类型”。这来自AWS，在那里它验证了源代码/ from参数不应该为null。但是，气流电子邮件API不接受下面的参数代码片段(ref：)。因此，我的问题是如何发送源/从-电子邮件参数。是否有任何配置参数气流配置文件或它从AWS IAM证书。在气流中，我使用带有AIRFLOW__EMAIL__EMAIL_CONN_ID参数的AWS证书集。
def send_email(
to: Union[List[str], Iterable[str]],
subject:
浏览 3提问于2021-07-12得票数 2
在气流中，我应该如何处理错误“此DAG在webserver DagBag对象中不可用，它显示在此列表中，因为调度程序将其标记为元数据数据库中的活动”？
我将一个新的DAG复制到一个气流服务器上，并尝试：
取消暂停并刷新它(基本操作过程，在前面的答案中给出)
重新启动the服务器
重新启动调度程序
停止webserver和调度器，重置数据库(airflow resetdb)，然后再次启动webserver和调度程序。
运行airflow backfill (这里建议使用)
运行airflow trigger_dag
调度程序日志显示它正在处理，没有出现错误，我可以
浏览 7提问于2017-04-28得票数 19
2回答
机器学习平台是商业领域的热门词汇之一，其目的是为了促进ML或深度学习的发展。
工作流调度器或工作流调度程序有一个公共部分，可以帮助用户构建DAG、调度和跟踪实验、作业和运行。
有许多机器学习平台都有工作流调度器，如、、等。
我的问题是，气流和Kubeflow管道或其他ML平台工作流调度器的主要区别是什么？
而且气流支持不同的语言API，并且有很大的社区，我们可以用气流来构建我们的ML工作流吗？
浏览 2提问于2019-11-26得票数 12
回答已采纳
我对airflow非常陌生，所以请原谅noobie的问题。 正如标题所说，我有一个已标记为失败的气流dag，但仍然由气流调度器运行。我在我的日志里看到了。我可以杀死一个进程，但是调度器一直在另一个进程中重新生成它。我怎么才能阻止它呢？
浏览 10提问于2020-08-24得票数 0
回答已采纳
我目前正在Linux服务器A中设置气流调度程序，在Linux服务器B中设置气流web服务器。两台服务器都没有互联网访问权限。我已经在服务器A中启动了initDB，并在服务器A中保留了所有的暂存。
但是，当我刷新webserver时，它一直有错误消息：-
This DAG isn't available in the webserver DagBag object
如何配置用于web服务器(服务器B)的dag文件夹以从调度程序(服务器A)读取数据？
我用的是bashoperator。那个芹菜操作员是必须的吗？
提前感谢
浏览 2提问于2018-11-12得票数 1
回答已采纳
2回答
云数据流作业的调度
、、、
所以，我已经完成了在Dataflow中创建一个工作。此工作处理ETL从PostgreSQL到BigQuery。所以，我不知道用气流来做调度。如何利用气流来共享作业数据流？
谢谢
浏览 17提问于2022-12-02得票数 0
我有一个关于Apache气流和Metaflow()之间的区别的问题。据我所知，Apache气流只是一个作业调度程序，它运行任务。Netflix的Metaflow是一个数据流库，它以DAG的形式创建机器学习管道(可用数据流)。基本上意味着，Metaflow可以在Apache气流上执行吗？
我的理解正确吗？如果是，是否可以将Metaflow DAG转换为Apache气流DAG？
浏览 7提问于2022-01-03得票数 2
回答已采纳
请原谅，如果我问了一个非常业余的问题，但在阅读了多线程，帖子，推荐信等之后.我仍然不明白这些不同之处。
我目前的理解是：
(1)传统码头由3名码头工人组成：
Scheduler，它管理作业队列的调度，该队列管理多个作业工作者的队列，后者管理每个队列的工作。
我从这个来源读到：
Docker + Apache气流将组成一个与上述3个码头相同的码头:第二个方法)
Worker(Airflow：，因为在气流中，我们可以设置调度程序，也可以设置队列)
我看了这个教程：
我首先从这两个来源和其他来源了解到，但我对以下情况感到困惑：
，因为我可以使用对接-组合来构建所有的服务，我所需要的只是一个码头(第二
浏览 1提问于2020-08-31得票数 0
回答已采纳
1回答
我试图将动态工作流引入到我的领域中，这涉及到不同模型推断的多个步骤，其中一个模型的输出被输入到另一个model.Currently中，很少有芹菜工作人员分散在主机上来管理推理链。随着复杂性的增加，我们正在尝试动态地构建工作流。为此，我得到了一个动态DAG设置和塞勒伊执行器工作。现在，有什么办法我可以保留目前的芹菜设置和路线气流驱动的任务给相同的工人？我理解这些工作人员中的设置应该可以访问DAG文件夹和环境，与气流服务器相同。我想知道如何在这些服务器中启动芹菜工人，这样气流就可以从python应用程序的手动工作流中执行相同的任务。如果使用命令“气流芹菜工人”启动员工，则无法访问应用程序任务。如果
浏览 5提问于2021-05-27得票数 1
回答已采纳
2回答
我正在尝试安装三个节点的气流集群。每个节点都有气流调度器、气流工作人员、气流网络服务器，还有芹菜、RabbitMQ集群和Postgres多主机群(用Bucardo实现)。软件版本：
2.0.1Postregsql 13.2Ubuntu 20.04pyhton 3.8.5芹菜4.4.7bucardo 5.6.0RabbitMQ 3.8.2<code>F 215</code>
我遇到了启动气流调度器的问题。
当我启动第一个(数据库为空)时，它将成功启动。但是，当我在另一台机器上启动另一个调度程序(我也试图在同一台机器上启动)时，它会失败，如下所示：
sqlalchemy.e
浏览 14提问于2021-04-21得票数 3
1回答
如何在气流中节流当前的工作？
、、、、
我是个气流新手。但我现在正在研究如何在气流中节流当前的工作。有没有人对并发或在气流中节流有所了解。任何建议都可能有帮助。非常感谢。
浏览 2提问于2016-11-01得票数 4
我创建了一个带有重试计数的气流任务，在运行我的气流测试时，它似乎并不是真正的重试。
def verify_pod_initialization(deployments):
raise ValueError("test")
verify_deployments = PythonOperator(
task_id='verify_pod_initialization',
retries=5,
python_callable=verify_pod_initialization,
op_kwargs={'deploym
浏览 2提问于2020-06-02得票数 0
回答已采纳
1回答
我试图在气流1.9中使用群集策略。我遵循了正式文档中的说明，但它似乎并没有生效。
在$AIRFLOW_HOME/config/airflow_local_settings.py的文件中，我将该方法定义为所指示的文档，它具有以下签名：
def policy(task_instance):
其他关切事项：
实际运行策略代码的是什么气流组件(它是调度程序)？
有推荐的方法来测试集群策略代码吗？如果没有，那么本地测试呢？
有人能帮我理解为什么这个群集策略没有生效吗？
我用的是气流1.9。
浏览 0提问于2018-07-29得票数 1
1回答
运行命令气流独立时出现以下错误
错误调度程序: 2022-12-04 13:18:14 +0530错误不能连接到('::'，8793) webserver x\ 2022-12-04 13:18:14 +0530错误不能连接到(“0.0.0.0”，8080)
我已经尝试过多次安装apache气流，杀死活动监视器中的进程，但是仍然会出现相同的错误。
浏览 4提问于2022-12-04得票数 0
我已经在我的系统Ubuntu20.0.4LTS上安装了Airflow 2.2.4版本，我使用以下步骤
出口气流家园=~/气流
pip3安装apache-气流
气流分贝
气流用户创建--用户名管理--名XXXX --姓氏XXX -角色管理--电子邮件XXX@gmail.com
当我使用以下命令运行服务器时
气流网络服务器-p 8080
我说错了
sqlalchemy.exc.OperationalError：(sqlite3.OperationalError)没有这样的表: session
如何解决这个错误？
浏览 19提问于2022-03-05得票数 1
我和气流一起工作已经有一段时间了，这是一位同事建立的。最近我遇到了几个错误，这要求我更了解如何修复气流中的某些东西。
我确实理解这三个过程是什么，我只是不理解在我运行它们时所发生的基本事情。当我运行其中一个命令时会发生什么？我能在什么地方看到他们在跑吗？如果我运行这些命令之一，这是覆盖旧的new服务器/调度程序/工作人员还是添加一个新的？
此外，如果我运行airflow webserver，屏幕将显示正在发生的一些事情。我可以简单地通过按下CTRL + C来摆脱这个问题吗？因为当我这么做的时候，上面写着像Worker exiting和Shutting down: Master这样的东西。这是不
浏览 0提问于2018-06-27得票数 10
回答已采纳
我试图使用气流连接来存储我的数据库凭据，并将它们与PythonOperators一起使用。我注意到，如果我将凭据传递给PythonOperator，那么每个变量都会被记录下来，包括数据库密码。因此，根据下面的示例，我将连接对象本身传递给PythonOperator。
但我现在遇到的问题是，气流产生了大量的这样的物体，尽管这个程序每天只运行一次，导致经常出现达到连接极限的问题。如何在不使用大量连接的情况下在气流中使用带有PythonOperator的PostgresHook？
import sys
from airflow import DAG
from datetime import date
浏览 3提问于2020-02-25得票数 3
回答已采纳
3回答
问题:在码头气流上没有显示新达格，运行airflow dags list-import-errors时没有出现错误
码头形象：
Dags路径在docker-compose.yaml中(这是默认路径)：
volumes:
- ./dags:/opt/airflow/dags
我将dag文件放在主目录的dags文件夹中，如下所示：
然而，dags仍然没有显示在webserver UI和airflow dags list上。运行airflow dags list-import-errors也不会产生任何结果。
当我打开码头终端时，我可以通过ls命令在dags文件夹中看到我的dag
浏览 13提问于2022-09-06得票数 0
回答已采纳
2回答
我们的项目中有一个k8s集群。
我们正在尝试建立几个环境:开发，测试，测试。
其想法是在不同的k8s名称空间中安装几个气流实例。我正在做新的安装气流从官方赫尔姆图。然后，我观察到非常奇怪的行为，气流调度器和工人吊舱。他们似乎有冲突。豆荚是崩溃，然后重新启动非常频繁。
如果我要删除其中一个名称空间，并且只在k8s中留下一个气流，它可以正常工作。
有没有人面对过类似的问题？
浏览 10提问于2022-11-30得票数 1
我在气流中设定了“1,5,10,18 ***”的时间表。但昨天有18人没有被处决。所以我查了日志。然后我发现这份工作计划在十八年执行，我想知道为什么和如何解决。
浏览 17提问于2022-08-04得票数 0
1回答
我正在努力管理气流降落(创建、执行等)。通过java后端。目前，在创建了一个守护进程并将其放置在气流的dags文件夹中之后，我的后端一直在尝试运行这个守护进程。但是，它不能运行，直到它的空气流量调度器，这可能需要相当一段时间，如果有更多的dags。我想知道是否有任何事件，气流发射，我可以点击，以检查新的dags处理的调度程序，然后触发，执行命令从我的后端。或者有一种方式或配置，气流将自动启动，一旦它处理它，而不是我们触发它？
浏览 3提问于2020-12-30得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
