如何使用环境变量定义Airflow中的https连接
在Airflow中定义HTTPS连接的环境变量可以通过以下步骤实现：
- 创建一个名为
AIRFLOW_CONN_<CONN_ID>的环境变量，其中<CONN_ID>是你想要定义的连接的ID。例如，如果你想定义一个名为my_https_conn的连接，那么环境变量的名称应为AIRFLOW_CONN_MY_HTTPS_CONN。 - 将连接的详细信息以URL的形式存储在环境变量中。URL的格式通常是
<SCHEME>://<USERNAME>:<PASSWORD>@<HOST>:<PORT>/<PATH>，其中：<SCHEME>是连接的协议，对于HTTPS连接，应为https。<USERNAME>和<PASSWORD>是连接所需的身份验证凭据，如果连接不需要身份验证，则可以省略这两个部分。<HOST>是连接的主机名或IP地址。<PORT>是连接的端口号。<PATH>是连接的路径，如果没有特定的路径，则可以省略这部分。- 例如，一个示例的HTTPS连接URL可以是
https://username:password@hostname:port/path。
- 在Airflow的DAG文件中，可以通过使用
BaseHook.get_connection(<CONN_ID>)方法来获取连接的详细信息。例如，可以使用以下代码获取名为my_https_conn的连接信息： - 在Airflow的DAG文件中，可以通过使用
BaseHook.get_connection(<CONN_ID>)方法来获取连接的详细信息。例如，可以使用以下代码获取名为my_https_conn的连接信息： - 这将返回一个
Connection对象，你可以使用它来访问连接的各个属性。例如，可以使用conn.host来获取连接的主机名。
通过使用环境变量定义Airflow中的HTTPS连接，可以实现连接的配置与代码的分离，使得连接的配置更加灵活和安全。此外，使用环境变量还可以方便地在不同的环境中部署和管理连接的配置。
腾讯云提供了一系列与云计算相关的产品，包括云服务器、云数据库、云存储等。你可以根据具体的需求选择适合的产品来支持Airflow的HTTPS连接。具体的产品介绍和文档可以在腾讯云的官方网站上找到。
相关·内容
在向main/dev分支提交PR之前，我正在使用Amazon本地运行库在本地开发和测试dags。我已经从中导出了它，我想在启动容器时立即导出一个气流变量和一个气流连接：./mwaa-local-env start，气流变量: Key = deploy_environment和Value = qa --气流连接: conn id = slack_conn；conn = HTTP；./mwaa-local-env start=*。
就像这样
我只能将docker/docker-compose-local.yml更改为包含文件中的气流变量。
version: '3.7'
ser
浏览 7提问于2022-05-09得票数 0
我通过环境变量设置数据库连接，如下所示：
AIRFLOW_CONN_MY_MSSQL=mssql+pyodbc://<user>:<password>@<host>:<port>
此连接是否在控件Id = my_mssql的UI中可见？
如何引用通过环境变量设置的连接？
我问的原因是下面的代码抛出一个异常，说明与id my_mssql的连接不存在：
ms_hook = MsSqlHook(mssql_conn_id='my_mssql')
ms_connection = ms_hook.get_conn()
airflow.ex
浏览 1提问于2019-10-28得票数 1
2回答
我想在不使用气流UI的情况下创建一个Mongo连接(默认情况除外)。
我从上读到
可以使用环境变量创建气流管道中的连接。为了正确地使用连接，环境变量需要有一个前缀为AIRFLOW_CONN_，以URI格式的值表示气流。
当引用气流管道中的连接时，conn_id应该是没有前缀的变量的名称。例如，如果conn_id被命名为postgres_master，那么环境变量应该被命名为AIRFLOW_CONN_POSTGRES_MASTER (请注意，环境变量必须是大写的)。
在使用时，我尝试应用这个方法。
这是一个使用该图像编写的对接者：
version: '2.1'
serv
浏览 4提问于2020-01-09得票数 3
回答已采纳
有谁知道如何使用AIRFLOW_CONN_访问airflow环境变量并在python代码中使用。我知道我们可以使用钩子来获取密码，但我一直在尝试使用我的python中的AIRFLOW_CONN连接到数据库。我已经在Airflow UI中保存了连接，在文档中，他们提到要使用conn_id的AIRFLOW_CONN_前缀。我在我的python代码中使用了os.environ‘’AIRFLOW_CONN_REDSHIFT‘，但它没有标识环境变量。请帮帮忙。
浏览 3提问于2017-09-15得票数 1
我想配置Airflow的fs_default连接，基本上是为了确保路径总是从相同的起点(我的目录/存储库的根目录)解析。
我用export AIRFLOW_HOME=./airflow_home设置了我的气流回家。因此，我在项目的根目录下有一个airflow_home目录。
然后我把这个放到我的airflow.cfg里
[core]
# The folder where your airflow pipelines live, most likely a
# subfolder in a code repository. This path must be absolute.
dags_fo
浏览 0提问于2020-03-25得票数 0
1回答
在windows机器上，为了让get_conn()在airflow中工作，我们需要在它前面加上AIRFLOW_CONN和conn_id。
这将使用base_hook _get_connection_from_env中的以下内容
我通常对连接字符串中包含受信任身份验证的MSSQL连接执行此操作。
现在我需要使用HTTP钩子来执行此操作，但是我不确定如何将登录和密码信息包含到环境变量值中。我尝试使用&字符来分隔登录和密码，但这被推入conn的额外属性中；
信息-使用连接到: id: https_euromonitor。主机: api.site.com，端口:无，架构：，登录:无，密码:无，
浏览 1提问于2019-08-31得票数 0
我已经改变了下面的信任连接气流到mysql数据库。但气流雷达连接到默认的sqlite数据库。请参阅下面的配置，我试图连接到mysql。
1)config of airflow.cfg:
executor = LocalExecutor
sql_alchemy_conn = mysql+pymysql://root:12345678@localhost:3306/airflow
2) pip install PyMySQL (installed pyMysql package)
3)Installed mysql server in ubuntu machine where airflow
浏览 10提问于2022-01-29得票数 0
Airflow将在AIRFLOW_HOME环境变量path中创建unittest.cfg文件。 我的问题是:为什么我要通过环境变量AIRFLOW_CONFIG指向airflow.cfg，那么我如何才能在同样的情况下指向unittest.cfg？ 我之所以要这样做，是因为我不想在AIRFLOW_HOME目录中有任何配置文件。 另外，如果有人知道得更好，请你解释一下unittest.cfg是用来做什么的，因为我找不到关于它的文档。
浏览 21提问于2019-03-08得票数 6
回答已采纳
我的Airflow应用程序正在AWS EC2实例中运行，该实例也具有IAM角色。目前，我正在使用硬编码访问和密钥创建Airflow S3连接。但我希望我的应用程序从该实例本身获取此AWS凭据。 如何做到这一点？
浏览 13提问于2019-01-22得票数 3
回答已采纳
我在docker上运行Apache Airflow。我想为spark安装一个气流提供程序包。我的docker组成的yml文件看起来像this。当我尝试在airflow中创建新的连接时，我想添加Spark作为我的连接类型。我该怎么做呢？
浏览 21提问于2021-10-06得票数 1
1回答
我使用的是与Kubernetes执行器一起的气流，并在本地进行测试(使用minikube)，虽然我能够启动并运行它，但我似乎无法将我的日志存储在S3中。我已经尝试了所有被描述的解决方案，我仍然得到了以下错误，
*** Log file does not exist: /usr/local/airflow/logs/example_python_operator/print_the_context/2020-03-30T16:02:41.521194+00:00/1.log
*** Fetching from: http://examplepythonoperatorprintthecontex
浏览 3提问于2020-03-30得票数 3
回答已采纳
我无法连接在Server内部的气流使用对接-合成。我想直接从SQL Server获取数据到云存储，然后将数据发送到Big Query。
如何解决这个问题？
import json
from datetime import timedelta, datetime
from airflow import DAG
from airflow.models import Variable
from airflow.contrib.operators.bigquery_operator import BigQueryOperator
from airflow.contrib.operators.bigq
浏览 0提问于2019-05-29得票数 0
我在Apache Airflow 1.10.1中使用pymssql连接到Azure MS SQL Server2014数据库时遇到了一个问题。为了方便起见，我想使用Airflow提供的MsSqlHook类在Airflow UI中创建连接，然后使用SqlAlchemy为连接创建上下文管理器
@contextmanager
def mssql_session(dt_conn_id):
sqla_engine = MsSqlHook(mssql_conn_id=dt_conn_id).get_sqlalchemy_engine()
session = sessionmaker(bin
浏览 149提问于2018-12-04得票数 4
1回答
在这里，我想从azure密钥库加载sql连接字符串。
version: '3'
x-airflow-common:
&airflow-common
image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.2.4-python3.8}
# build: .
environment:
&airflow-common-env
AIRFLOW__CORE__EXECUTOR: CeleryExecutor
AIRFLOW__CORE
浏览 4提问于2022-03-23得票数 1
根据airflow connection management page，我们可以使用环境变量来创建连接： export AIRFLOW_CONN_MY_PROD_DATABASE='my-conn-type://login:password@host:port/schema?param1=val1¶m2=val2' 所以，我已经下载了官方docker-compose.yml $ curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.2.0/docker-compose.yaml'
浏览 25提问于2021-10-28得票数 0
回答已采纳
在apache气流配置中，我试图将顺序执行器更改为芹菜执行器，并在坞-组合文件中使用环境变量：
version: '3'
x-airflow-common:
&airflow-common
# In order to add custom dependencies or upgrade provider packages you can use your extended image.
# Comment the image line, place your Dockerfile in the directory where you placed the d
浏览 5提问于2021-11-22得票数 0
回答已采纳
如何在EMR主群集(由Terraform创建)和Airflow之间建立连接。我在亚马逊网络服务EC2服务器下使用相同的SG、VPC和子网进行了Airflow设置。
我需要解决方案，这样Airflow才能与EMR对话并执行Spark submit。
这些博客在建立连接后对执行有理解。(帮助不大)
在airflow中，我使用AWS和EMR的UI进行了连接：
下面是列出活动和终止的EMR集群的代码，我还可以微调以获得活动的集群：-
from airflow.contrib.hooks.aws_hook import AwsHook
import boto3
hook = AwsHook(
浏览 1提问于2019-01-03得票数 6
回答已采纳
这个页面说我们可以从环境变量创建气流连接。例如：
AIRFLOW_CONN_POSTGRES_MASTER=postgres://user:password@localhost:5432/master
如果是这样的话，我们如何创建气流变量，哪些可以创建管理->变量的UI？
浏览 2提问于2019-12-03得票数 0
回答已采纳
1回答
我正在安排一项任务，从气流2.1.1发送电子邮件。我已经正确地配置了airflow.cfg文件中的smtp参数。
smtp_host = mr.my_domain.com
smtp_starttls = False
smtp_ssl = True
smtp_user = email@my_domain.com
smtp_password = ********
smtp_port = 465
smtp_mail_from = email@my_domain.com
smtp_timeout = 30
smtp_retry_limit = 5
如果我从cli测试任务，电子邮件是正确发送的，但我得到
浏览 3提问于2021-07-06得票数 2
回答已采纳
尝试构建可以在virtualenv环境中安装apache-ariflow的剧本。不能在virtualenv文件夹中执行命令。下面是我的攻略和错误。 攻略内容： - name: Active virtual Environment
shell: source bin/activate
args:
chdir: "{{ directory }}"
- name: Upgrade pip to latest version
shell: pip install --upgrade pip
- name:
浏览 14提问于2019-01-31得票数 0
我安装了google提供者
pip install 'apache-airflow[google]'
也尝试过
pip install apache-airflow-providers-google
但是，在通过Google Cloud添加新连接时，我找不到airflow webserver选项，如下所示：
我只找到了Google Dataprep。
我已经多次尝试重新启动not服务器，但是Google Cloud选项仍然没有列出。当我启动when服务器时，它会返回以下信息：
{providers_manager.py:215} INFO - Optional pro
浏览 9提问于2022-08-27得票数 1
我们正在使用airflow来计划我们的数据管道，作为其中的一部分，我们还在airflow管理中添加了一些连接和变量。
在DEV中一切工作正常，现在我们要设置PROD环境。我们如何将这些值迁移到生产环境中。
浏览 2提问于2018-02-06得票数 10
我正在创建一个开发环境来使用气流进行测试。我正在使用docker-compose.yaml文件，可在气流网站上找到。我想知道是否可以在这个文件中设置我的连接和变量。我知道我可以使用带有URI参数的AIRFLOW_CONN_...来建立连接。是否可以在AIRFLOW_CONN_...文件中使用docker-compose.yaml和EXPORT VARIABLE？
我的docker-compose.yaml文件：
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license a
浏览 17提问于2021-09-27得票数 4
回答已采纳
2回答
我使用以下命令在kind上安装气流：
export RELEASE_NAME=first-release
export NAMESPACE=airflow
helm install $RELEASE_NAME apache-airflow/airflow --namespace $NAMESPACE \
--set images.airflow.repository=my-dags \
--set images.airflow.tag=0.0.1 \
--values env.yaml
env.yaml文件如下所示：
env:
- name: "AIRFL
浏览 4提问于2021-12-07得票数 1
airflow用于调度python和jupyter作业。python代码使用了环境设置、目录和已安装的python和linux包。airflow应该安装在单独的坞站中还是安装在同一坞站中？如果它在一个单独的docker中，如何将env、目录、已安装的软件包共享到airflow？
浏览 0提问于2021-10-08得票数 0
2回答
我已经使用stable/airflow舵图在Kubernetes上部署了一个Airflow实例。我稍微修改了puckel/docker-airflow镜像，以便能够安装Kubernetes executor。所有任务现在都在我们的Kubernetes集群上成功执行，但这些任务的日志无处可寻。
我要将日志上载到我们的Azure Blob存储帐户。我已经这样配置了我的环境变量：
AIRFLOW__CORE__REMOTE_BASE_LOG_FOLDER="wasb-airflow"
AIRFLOW__CORE__REMOTE_LOG_CONN_ID="wasb_defaul
浏览 46提问于2019-11-29得票数 0
有没有办法加密airflow配置文件的sql_alchemy_conn字符串，示例中显示的密码是明文。有什么选择可以确保它的安全。另外，如果密码包含特殊字符，则必须在配置文件中对其进行转义
正在尝试使用airflow角色安装airflow。
请参阅: value："postgresql+psycopg2://pgclusteradm@servername:PLAINTEXTPASSWORD@server.postgres.database.azure.com/airflow2“： sql_alchemy_conn
加密密码的方法，找不到如何加密此密码。
浏览 1提问于2019-06-21得票数 0
我有一个尝试连接到http端点的dag，但不知怎么的，它不起作用。我使用envinorment变量定义了连接，但是http传感器没有看到它，而且我的错误程度低于错误，但是该变量是在系统中创建的。这里出什么问题了？下面是dag和完整的错误代码。
The conn_id `AIRFLOW_VAR_FOO` isn't defined
DAG:
import os
import json
import pprint
import datetime
import requests
from airflow.models import DAG
from airflow.operators.py
浏览 17提问于2022-11-04得票数 0
回答已采纳
使用 for AirFlow，是否可以设置Variable和Connection，它们也将出现在AirFlow UI中。
我找到了一些解决办法：
通过设置环境变量AIRFLOW_VAR_<variable_name>。这可以与语法Variable.get('variable_name')一起使用，但它不会出现在AirFlow UI中。
运行bash脚本，它将按照建议的.json文件导入变量。但这似乎是一个棘手的解决方案。
AirFlow的官方舵图有一个，但不幸的是，我找不到一个变量和连接。另外，请注意，我正在使用。AirFlow的社区图表有此选项。
浏览 15提问于2022-06-23得票数 0
version: "3.7"
services:
postgres:
image: "postgres:13"
container_name: "postgres"
environment:
- POSTGRES_USER=airflow
- POSTGRES_PASSWORD=airflow
- POSTGRES_DB=airflow
ports:
- "5431:5431"
浏览 13提问于2022-08-12得票数 0
回答已采纳
在Airflow中，http (和其他)连接可以定义为环境变量。但是，很难对这些连接使用https模式。 这样的连接可能是： export AIRFLOW_CONN_MY_HTTP_CONN=http://example.com 但是，无法定义安全连接： export AIRFLOW_CONN_MY_HTTP_CONN=https://example.com 因为Airflow剥离了方案(https)，并且在最终的连接对象中，url获得http作为方案。 事实证明，可以通过如下定义连接来使用https： export AIRFLOW_CONN_MY_HTTP_CONN=https://exa
浏览 24提问于2020-06-26得票数 0
我有一台dockerfile
FROM apache/airflow:2.1.2-python3.8
ENV PYTHONPATH "${PYTHONPATH}:/"
ADD ./aws/credentials /home/airflow/.aws/credentials
ADD ./aws/config /home/airflow/.aws/config
RUN pip install -r requirements.pip
和一个docker-compose.yml
version: '3'
services:
webserver:
ima
浏览 0提问于2021-10-15得票数 1
我在EC2上配置了一个airflow web服务器，它监听端口8080。 我在EC2前面有一个AWS ALB(应用程序负载均衡器)，侦听https 80 (面向互联网)，实例目标端口面向http 8080。 我不能从浏览器浏览https://< airflow link >，因为airflow web服务器将我重定向到https://< //< airflow link >/admin. 如果我从浏览器浏览https://< airflow link > /admin/airflow/ login ?next=%2Fadmin%2F，则会看到登录页面
浏览 141提问于2018-01-24得票数 8
回答已采纳
我正在使用带有KubernetesExecutor的apache airflow。我在Minikube中运行设置，它工作得很好，这意味着只要DAG触发，它就会为标记中的每个任务生成pod，并在任务完成后删除pod。
与测试Kubernetes env中的情况相同，但当我在那里触发DAG时，它会为DAG中的第一个任务创建pod，并立即从状态中删除该pod。ContainerCreating -> Running -> Completed -> Error -> Terminating。Airflow UI具有该任务的空日志，因此无法检查导致问题的原因，并且依赖任务的其余部
浏览 22提问于2019-07-16得票数 2
我的公司使用git-sync将压缩的dags同步到airflow。我们使用气流舵面图来展开气流。我想知道我是否可以让airflow只拾取特定文件夹中的压缩dags，比如git分支中的dags-dev，而不是所有的压缩dags？ 下面是一些可能有用的参考资料。 气流舵图的值文件。https://github.com/helm/charts/blob/master/stable/airflow/values.yaml 我们的dags代码如下所示： dags:
doNotPickle: true
git:
url: <git url>
浏览 66提问于2020-08-27得票数 7
我正在尝试将气流变量读入我的ETL工作中，以填充管理脚本中的变量。我正在使用KubernetesPodOperator。如何从我的K8舱访问元数据数据库？
从气流中获得的错误：错误-无法从秘密后端(MetastoreBackend)检索变量。检查随后的秘密后端。
这就是我在main.py中用于输出到控制台日志中的内容。我在气流变量中有一个名为"AIRFLOW_URL“的键。
from airflow.models import Variable
AIRFLOW_VAR_AIRFLOW_URL = Variable.get("AIRFLOW_URL")
浏览 13提问于2022-03-03得票数 1
1回答
在Airflow Connectors中存储RSA连接器的最佳方式是什么？ hook = BaseHook.get_connection("my_rsa")
key = hook.extra 我就是这样用的。但是，密钥是以字符串形式存储的。将其转换为字节的最佳方法是什么？
浏览 15提问于2019-10-17得票数 0
我对气流很陌生。然而，我遇到了与新手在处理日程间隔时所面临的相同的时间和间隔问题。因此，我想尝试通过cli从外部触发DAG。这可以通过简单地进入控制台并输入example：airflow trigger_dag tutorial (使用airflow docker图像: 1.10.9)来完成。 接下来，我想看看相同的命令是否适用于常规的cron作业，就像我想要触发的cron作业时间一样。因此，我创建了一个类似以下内容的cron作业：* * * * * airflow trigger_dag tutorial 但是，这现在不会触发DAG。在其他一些实验中，我可以通过shell脚本中的相同命令手
浏览 21提问于2021-07-31得票数 0
2回答
我正在设置一个分布式气流集群，其中除了芹菜工作人员以外的其他一切都在一个主机上运行，处理工作在多个主机上进行。气流2.0设置使用在气流文档中提供的yaml文件进行配置。在我的初始测试中，当我在同一台主机上运行所有东西时，我让体系结构工作得很好。问题是，如何在远程主机上启动芹菜工人？
到目前为止，我试图创建一个修整版本的上述对接-写作，在这里，我只开始芹菜工人在工人主机，而不是其他。但我在数据库连接方面遇到了一些问题。在经过修剪的版本中，我更改了URL，以便它们指向运行db和redis的主机。
dags、日志、插件和postgresql db位于所有主机都可以看到的共享驱动器上。
我应该如何进行
浏览 19提问于2021-06-30得票数 7
回答已采纳
我们刚刚开始在我们的项目中为我们的数据管道使用Apache airflow，并探索了在airflow .For中将远程文件夹配置为日志目的地的功能。
创建了一个google云存储桶。从Airflow UI创建了一个新的GS连接
我不能理解所有的字段，.I只是在我的项目下从谷歌控制台创建了一个示例GS Bucket，并将该项目ID作为空白提供给这个Connection.Left密钥文件路径和作用域。然后编辑airflow.cfg文件，如下所示
remote_base_log_folder = gs://my_test_bucket/
remote_log_conn_id = test_
浏览 2提问于2017-09-19得票数 0
我在“”的示例中有以下代码：
import os
from airflow import models
from airflow.providers.google.cloud.operators.bigquery import (
BigQueryCreateEmptyDatasetOperator, BigQueryDeleteDatasetOperator,
)
from airflow.utils.dates import days_ago
PROJECT_ID = os.environ.get("GCP_PROJECT_ID", "project_id
浏览 2提问于2020-06-19得票数 0
我们在apache airflow中有许多AWS连接字符串，任何人都可以在airflow We服务器连接部分看到我们的访问密钥和密钥。如何隐藏或屏蔽airflow How服务器中的敏感数据？
我们已经在airflow配置中启用了身份验证true，因此它不允许未经授权的用户。但我不想在web视图中显示我的密钥。
浏览 1提问于2018-03-28得票数 6
我试图在corp OpenShift集群上部署Apache气流，但遇到了以下问题：
Traceback (most recent call last):
File "/home/airflow/.local/bin/airflow", line 5, in <module>
from airflow.__main__ import main
ModuleNotFoundError: No module named 'airflow'
我在中发现了类似的问题。这个问题似乎与UID\GID有关。但在中说：
气流图像是开放移位兼容，这意味
浏览 8提问于2021-12-28得票数 0
我们在Ubuntu 22.04上运行气流2.3.3。Airflow的and服务器使用针对Azure的OAuth身份验证(和授权)。当从命令行airflow webserver -D (以用户ubuntu的身份)调用气流when服务器时，这非常好。
现在，我们希望构建一个systemd服务，以便在服务器启动时自动运行气流网络服务器。这是我们的服务配置文件/lib/systemd/system/airflow-webserver.service
[Unit]
Description=Airflow webserver daemon
After=network.target
Before=airfl
浏览 9提问于2022-09-30得票数 -1
2回答
我正在尝试安装一个名为Apache Airflow的程序。 这些说明说明了如何指定主文件夹 # airflow needs a home, ~/airflow is the default,
# but you can lay foundation somewhere else if you prefer
# (optional)
export AIRFLOW_HOME=~/airflow
# install from pypi using pip
pip install apache-airflow
# initialize the database
airflow initdb ht
浏览 20提问于2020-01-17得票数 1
回答已采纳
1回答
我需要连接到Postgres服务器实例，该实例是作为SystemD服务从docker-复合文件中运行的。
docker-compose containers ---> postgres as systemd
这是关于在localhost上设置外部Postgres的气流。
我以docker-compose为例，其中包括：
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.2.3/docker-compose.yaml'
然而，在那里，他们正在定义一个Postgres容器，其中气流通过解析码头网络中的pos
浏览 14提问于2022-02-02得票数 0
回答已采纳
当我尝试使用用户名和密码在Airflow中创建连接(SSH)时，它失败了，错误如下
“更新记录失败。无法创建Fernet对象:填充错误”
浏览 0提问于2021-03-05得票数 1
2回答
我使用的是基于‘puckel/ dockerized :1.10.9’图像的对接气流。
docker-compose文件如下：
version: '3.5'
services:
postgres:
image: postgres:12.3-alpine
environment:
POSTGRES_DB: airflow
POSTGRES_USER: airflow
POSTGRES_PASSWORD: airflow
ports:
- 5432:5432
volumes:
- ./
浏览 0提问于2020-06-30得票数 1
回答已采纳
我正在尝试从基于docker的airflow服务转向由AWS提供的托管apache airflow。MWAA要求您指定所有dags都存在的dags文件夹。此外，我可以在dag文件夹中创建其他文件夹和文件，并包含一个.airflowignore文件，以便将这些文件/文件夹视为非dag。我可以在这些文件中指定一些常见的函数，并将它们导入到我的dag代码中，以便使用这些函数。到目前一切尚好。当我不得不在这些常见的非dag文件中使用某些环境变量时，问题就出现了。我从这里的中找到了如何使用插件设置运行时os环境变量。
from airflow.plugins_manager import Airflow
浏览 4提问于2021-06-28得票数 0
Cloud Composer不支持在环境中存储SMTP密码，根据我们可以指定一个返回SMTP密码的命令，我尝试了bash命令从airflow.cfg中导出环境变量，但在airflow.cfg中存储密码失败。
我们的Gsuit凭证存储在LastPass中，因此理想的方式是将composer与lastpass连接以检索LDAP凭证。我现在能想到一些适用的解决方案: 1)将凭证从LastPass移动到存储库，通过ssh在composer中启用Vault，并在composer smtp_password_cmd中使用vault kv get airflow/connections/smtp_defau
浏览 6提问于2021-10-20得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
