我正在尝试检索Airflow实例上的现有环境变量 当我执行gcloud composer environments run MY_ENV_NAME --location us-east4 variables时，它会正确地获取变量列表 然后我想查看一个特定变量的值，因此基于airflow CLI documentation，我尝试 gcloud composer environments run MY_ENV_NAME--locatio
浏览 22提问于2020-12-16得票数 0
GCP在status.cloud.google.com期间的状态-没有任何问题：Google Kubernetes引擎严重性：“错误”textPayload请只使用AIRFLOW_HOME环境变量并删除配置文件条目。-around 6-2019年12月-2019气流网服务器错误->结果是环境不可用创建步骤gcloud beta
浏览 1提问于2019-12-10得票数 3
我正在使用，我注意到它为我选择了和Python (2.7.x)的版本。我想使用不同版本的Airflow和/或Python。我怎样才能改变这一点？
浏览 5提问于2018-05-02得票数 8
1回答
我创建了一个带有图像版本-> composer-2.0.13-airflow-2.2.5的Composer环境Command :
gcloud composer environments update $AIRFLOW --location us-east1 --update-pypi-packages-from-filegoogle-cloud<
浏览 4提问于2022-05-31得票数 0
回答已采纳
我正在尝试使用下面的命令从Scrapy中安装PyPi。gcloud composer environments update $(AIRFLOW_ENVIRONMENT_NAME) \google-cloud-datastore==1.7.*运行gcloud命令后，它将导致无效的参数，但
浏览 0提问于2020-03-16得票数 2
我一直在尝试使用airflow CLI将环境变量的JSON文件导入到新创建的Cloud Composer实例中，但在运行下面的代码时出现错误：Missing variables file. gcloudcomposer environments run ${COMPOSER_NAME} \ variables --\
-i $
浏览 11提问于2019-01-09得票数 2
回答已采纳
尝试下面的示例：
airflow test bigquery_github_trends_v1 bq_check_githubarchive_day 2017-06-02Traceback (most recent
浏览 9提问于2017-09-12得票数 2
回答已采纳
正在尝试使用gcloud CLI创建GCP composer环境实例 gcloud composer environments create "jakub" \> --machine-type n1-standard-2 \> -
浏览 8提问于2019-12-20得票数 1
回答已采纳
我正在尝试使用gcloud CLI在Cloud Composer上创建气流连接。我遵循文档并运行以下注释。https://cloud.google.com/composer/docs/how-to/managing/connections#creating_new_airflow_connections gcloudgoogle\
浏览 7提问于2019-05-25得票数 0
回答已采纳
我正试图在GCP上安装google-cloud-bigquery==1.5.0 PyPI软件包，因为最近已经创建了一个新的环境。新的环境映像版本是composer-1.12.2-airflow-1.10.6。几个月前创建了另一个环境，所有的pypi软件包都已成功安装，气流达格运行平稳，其映像版本为composer-1.10.0-airflow-1.10.6。问题2:为了创建新的环境，我只有三个图像版本选项，即
浏览 2提问于2020-10-24得票数 0
我知道许多常见的气流管理命令都是通过gcloud CLI提供的。但是，我正在对一些DAG调度进行故障排除，并希望直接在集群上使用schedule and next_execution命令。
浏览 11提问于2020-06-27得票数 0
回答已采纳
我有一个外部Sheets表，我想通过Airflow中的BigQueryOperator查询它。Conn Id: bigquery_with_gdrive_scopeProjectKeyfile JSON: <none>
Scopes: https://www.
浏览 4提问于2018-08-09得票数 2
回答已采纳
$ gcloud composer environments run myenv \ backfillstarting container process
ERROR: (gcloud.composer.environments.run我正在使
浏览 0提问于2020-04-01得票数 1
回答已采纳
我刚接触Terraform，有没有什么直接的方法可以使用Terraform来管理和创建Google Cloud Composer环境？我检查了GCP支持的组件列表，似乎到目前为止Google Cloud Composer还没有出现。作为一种变通办法，我正在考虑创建一个包含必需的gcloud composer cli命令的shell脚本，并使用Terraform运行它，这是一种正确的
浏览 4提问于2018-06-06得票数 1
我有一个Cloud Composer集群，每天运行大约12个day。他们都在半夜跑了5个小时。使用UI，它只允许我将集群缩减到3个节点。 我的问题是:有没有办法在一天中完全“关闭”Cloud Composer集群？如果有什么不同的话，我至少可以把它自己带到一个节点上吗？
浏览 3提问于2020-04-18得票数 0
我正在composer DAG中执行Bigquery操作，并得到以下错误：[2021-08-19 15:INFO - Job 263145: Subtask sample [2021-08-19 15:13:07,806] {pod_launcher.py:125} INFO - b' from google.cloud.bigquery.routineINFO - Job 263145: Subtask sample [202
浏览 8提问于2021-08-19得票数 0
回答已采纳
我试图弄清楚如何通过gcloud创建Google环境，并设置一些特殊字符的环境变量。环境变量示例: API_URL=gcloud composer environments create new-env-1 --location=us-central1,env_type=dev] --node_count=3 --python-version=3 --image-version=
浏览 6提问于2020-10-25得票数 1
回答已采纳
3回答
Composer由于无法读取日志文件而导致任务失败，它抱怨编码不正确。can't decode byte 0xc2 in position 6986: ordinal not in range(128)
*** Fetching from: http
浏览 28提问于2019-08-06得票数 4
回答已采纳
2回答
我喜欢从composer中重新运行或运行DAG，下面的命令是我所使用的，但是也有一些类似的例外。Executing within the following Kubernetes cluster namespace: composer-1-7-7-airflow-1-10-1-db7ea92f
ERROR: (gcloud.composer.environments.run) kubectl r
浏览 13提问于2020-07-14得票数 0
回答已采纳
我注意到在创建云编写器环境时，自动创建了2个Pub/Sub主题和订阅，那么这里对Pub/Sub的需求是什么，composer的内部架构与pub/sub是如何关联的。我理解，云编写器在那里使用pub/sub订阅来与其Kubernetes引擎服务代理进行通信，但我的问题是为什么它默认地创建两个主题而不是一个，我还注意到，当我从云编写器更改kubernetes配置( kubernetes集群的节点数目改变)/
浏览 4提问于2019-11-16得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
