我目前使用Apache airflow的helm图表在Azure中的Kubernetes集群中运行airflow。我可以使用以下端点从VM使用API转发web服务器：http://localhost:8080/api/v1/dags/test_trigger/dagRuns 有没有人可以给我指出正确的方向，告诉我
浏览 17提问于2021-09-10得票数 1
回答已采纳
DAG中的SparkKubernetesOperator在Kubernetes集群上创建SparkApplications。我只是运行示例应用程序，只是为了通过Airflow检查Kubernetes上spark的执行情况。self.rest_client.POST(url,
File "/home/airflow/.local/lib/python3.8/sit
浏览 2提问于2021-07-14得票数 3
在的项目之后，我正在尝试集成使用NFS服务器作为后台存储PV的气流kubernetes执行器。我有一个PV airflow-pv，它与NFS服务器链接。气流网络服务器和调度器使用的是与airflow-pvc绑定的PVC airflow-pv。我已经将我的守护文件放置在NFS服务器/var/nfs/airflow/development/<dags/lo
浏览 2提问于2019-08-01得票数 2
回答已采纳
我已经在现有的Airflow 2.0.0安装的基础上安装了Apache Spark provider，安装方法如下： pip install apache-airflow-providers-apache-spark' from 'apache-airflow-providers-apache-spark' package: name 'client' is not defined
[2021-01-19 18:49' from 'apache-
浏览 16提问于2021-01-20得票数 3
任务失败或使用EmailOperator时无法接收电子邮件 大家好， 我无法从我的邮箱接收电子邮件，即使添加了发送电子邮件所需的参数。end_date': datetime(2020,4 ,1),} 在这两者之间，我有几个HttpsOperator任务--这些任务运行良好且成功下面是我的任务的一个例子。subject='Success',
浏览 36提问于2019-04-03得票数 3
是否可以在消息到达SQS队列时安排DAG运行？我还需要dag来处理队列中的消息。据我所知，这可以通过使用SQSSensor来完成，但我找不到任何示例，我对如何前进感到困惑。
浏览 24提问于2021-08-02得票数 0
我在Minikube中运行设置，它工作得很好，这意味着只要DAG触发，它就会为标记中的每个任务生成pod，并在任务完成后删除pod。与测试Kubernetes env中的情况相同，但当我在那里触发DAG时，它会为DAG中的第一个任务创建pod，并立即从状态中删除该pod。Airflow UI具有该任务的空日志，因此无法检查导致问题的原因，并且依赖任务的</
浏览 22提问于2019-07-16得票数 2
1回答
我有一个在kubernetes (EKS)和remote worker中运行的设置--在不同位置的防火墙后面构建一个VM。EKS中的Problem气流网络服务器在试图获取远程工作人员的日志时遇到了403个禁止错误。上公开的服务端口 AIRFLOW__API__AUTH_BACKEND: airflow.api.auth.backend.ba
浏览 12提问于2022-09-23得票数 1
回答已采纳
谁能告诉我如何在本地气流部署中配置kuberenetes执行器。我创建了一个名为airflow-cluster的集群，并创建了pod_template.yaml，并在airflow.cfg中进行了以下更改。浅谈kubectl get pods -n airflow的运行
NAME READY因为除了在config和yaml文件中提供值之外，我还没有
浏览 4提问于2022-01-21得票数 1
我刚刚将我的Airflow从1.10.13升级到2.0。我使用Kubernetes Executor在Kubernetes (AKS Azure)中运行它。不幸的是，我看到我的调度程序每15-20分钟就会因为活动探测失败而被杀死。因此，我的pod一直在重新启动。import os
os.environ['AIR
浏览 121提问于2021-02-16得票数 4
回答已采纳
1回答
我在K8s中运行了一个气流应用程序。
它通过AD进行身份验证，这在web视图中很好，AD凭据允许访问，但在rest中不起作用。我的airflow.cfg是：airflow.api.auth.backend.basic_auth和服务是重新启动的，一切都是基于气流的文档。如果我们在气流服务中运行命令，$ airflow config get-val
浏览 4提问于2022-06-13得票数 0
回答已采纳
我有一个Google Cloud Composer1环境(Airflow 2.1.2)，我想在其中运行一个利用KubernetesPodOperator的Airflow DAG。在我的DAG中，我运行了几个Kubernetes pod，如下所示： from airflow.contrib.operators import kubernetes_pod_operatorpod中的</e
浏览 20提问于2021-11-04得票数 2
其目的是通过rest api调用从UI中删除airflow dag。我尝试了调用.../delete?dag_id=<dag_id>，这个rest调用失败了，报告缺少CSRF令牌。如何从airflow服务器获取CSRF令牌？或者有没有更好的方法从airflow UI中自动删除dag？(不是从airflow UI手动按下删除按
浏览 3提问于2020-06-11得票数 0
1回答
在拖动了码头映像之后，我在附加了一个shell后意识到，教程文件不在airflow.cg中指定的dag文件夹中(dags_folder = /usr/local/airflow/ dags，文件夹dags教程文件实际上是在这里找到的：
/usr/local/lib/python3.6/site-packages/airflow/example_dags/tutorial
浏览 0提问于2018-09-22得票数 1
回答已采纳
我正在尝试将在kubernetes中运行的airflow部署从CeleryExecutor迁移到KubernetesExecutor。在我的本地开发环境中(在minikube上运行)一切都很顺利，但是我需要在生产环境中加载一个sidecar容器来运行一个代理，该代理允许我连接到我的sql数据库。经过一些谷歌搜索后，似乎在$PYTHONPATH上的某个airflow
浏览 3提问于2020-04-07得票数 1
1回答
我让airflow在一个码头容器上运行。我在做airflow version 2.0.2的工作。 我知道我实际上可以通过UI创建池。但是我正在寻找一种通过pools.json文件在docker构建上以编程方式创建池的方法。有什么办法能帮上忙吗？
浏览 23提问于2021-09-20得票数 0
回答已采纳
我在的Kubernetes上运行Airflow。我在AWS环境中运行它。无论是否装载用于日志存储的任何外部卷，都存在此错误。我尝试将日志部分的配置设置为指向我创建的EFS卷。PV通过PVC挂载，但我的容器由于以下错误而崩溃(调度程序和web)：apiVersion
浏览 21提问于2020-08-21得票数 4
我已经在kubernetes中部署了airflow，如以下链接所述：https://github.com/apache/airflow/tree/master/chart 要访问airflow UI，我可以执行以下操作： kubectl port-forward svc/airflow2-webserver 8080:8080 --namespace default 但是我想把它暴露在一个url中<
浏览 33提问于2020-09-05得票数 1
回答已采纳
Env :我们使用运行气流达格。目的:利用apache气流稳定apis在REST外部触发dags。我们试图通过在composer: airflow.api.auth.backend.default中设置气流覆盖配置和发出IAP请求，使用气流实验apis在外部触发dags。效果很好。我们遵循了中描述的步骤。
从气流2.0.0 +开始，提出了气流实验apis，并引入了新的稳定apis。新的稳定api不支
浏览 4提问于2021-08-06得票数 3
我试图一步一步地上传Kubernetes ()中的气流，但在执行的这一部分中，我遇到了以下问题：
到目前为止，对这一课题的研究还没有找到解决问题的办法，有没有人对该做什么有什么建议？SQL_ALCHEMY_CONN=postgresql+psycopg2://$AIRFLOW_DB_USER:$AIRFLOW_DB_USER_PASSWORD@$KUBERNETES_POSTGRES_CLOUDS
浏览 1提问于2019-06-18得票数 9
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
