我有一个关于GCP Cloud Composer的问题。当我运行程序时，我得到了一个错误。出现的错误如下所示。required: project_id, location, composer_environment
该错误的含义是参数project_id、locat
浏览 8提问于2021-02-28得票数 3
回答已采纳
2回答
我试图在带有云功能的composer环境中触发气流DAG。为了做到这一点，我需要获得描述为的客户端id。我试过使用curl命令，但它不返回任何值。使用python脚本，我一直得到以下错误： File "get_client_id.py", line 55, in <module> File "get_client_id.py
浏览 4提问于2021-09-21得票数 3
回答已采纳
我刚接触Terraform，有没有什么直接的方法可以使用Terraform来管理和创建Google Cloud Composer环境？我检查了GCP支持的组件列表，似乎到目前为止Google Cloud Composer还没有出现。作为一种变通办法，我正在考虑创建一个包含必需的gcloud composer cli命令的shell脚本，并使用Terraform运行它，这是一种正确的
浏览 4提问于2018-06-06得票数 1
我正在测试一个DAG，我曾经在Google Composer上没有错误地运行在一个本地安装的Airflow上。DataProcSparkOperator任务每次都会立即失败，并显示以下错误： googleapiclient.errors.HttpError: <HttpError 400 when requesting"> 看起来URI不正确/不完整，但我不确定是什么原因造成的。下面是我的DAG的要点。所有其他任务的执行
浏览 8提问于2019-03-05得票数 1
回答已采纳
我正在尝试使用Cloud Composer编写我的第一个Airflow作业。我的DAG有三个任务，第一个任务成功完成，但第二个任务似乎失败了，并发出任何失败的错误消息。被调用的函数执行一个长时间运行的查询并轮询，直到查询完成。查询完成后，我收到一条消息，指出数据已输出到正确的表中，但是Airflow将该任务视为失败，并再次重试该任务。我的DAG default_args如下所示：
浏览 2提问于2019-02-28得票数 0
复制步骤：
resources = [{ 'type': 'gcp-typestables:
浏览 6提问于2021-01-25得票数 5
我有一个外部Sheets表，我想通过Airflow中的BigQueryOperator查询它。Conn Id: bigquery_with_gdrive_scopeProjectKeyfile JSON: <none>
Scopes: https://www.googleapi
浏览 4提问于2018-08-09得票数 2
回答已采纳
我是GCP的新手。浏览了gcp、composer和cloud shell上的不同文档，但找不到可以将cloud shell环境连接到composer DAG文件夹的位置。此外，当我尝试在云shell上的python文件中使用import airflow时，它给出了模块找不到的错误。我该怎么安装它呢？
浏览 0提问于2021-04-20得票数 0
我正在尝试创建一个Cloud Composer环境来在GCP上运行Airflow。然而，我一直收到这个错误： X分钟前，此环境上的创建操作失败，错误消息如下: Composer Backend timed out。当前运行的任务是阶段: CP_COMPOSER_AGENT_RUNNING描述：“未发布代理响应”。response_timestamp {秒: 1631717057纳米: 229000000 }。
浏览 21提问于2021-09-15得票数 0
回答已采纳
我们在Composer UI上从01/22开始断断续续地收到这个错误，气流dags似乎运行得很好，但是web UI有这个问题。Error code 1 位置:us-cental1-c 版本: composer-1.7.3-airflow-1.10.2
浏览 16提问于2020-01-23得票数 0
1回答
当我尝试从版本composer-1.7.2-airflow-1.10.2到Composer -1.12.0-气流-1.10.10(或任何其他可用的)更新我的composer环境(在GCP上)时，我总是会得到以下错误The Cloud Build image build failed: Build failed; check build logs for details
在查看构建日志之后，我只能在下面看到这个错误，这对我没有多大帮助
浏览 0提问于2020-09-18得票数 2
回答已采纳
1回答
为Composer区分了两种日志：
气流日志：这些日志与单个DAG任务相关联。您可以在与Composer环境关联的文件夹中查看任务日志。流日志：这些日志是气流中日志的超集。要访问流日志，可以转到Google控制台中的Environment details页面的logs选项卡，使用Cloud，或者使用Cloud。如文档所示，我可以在桶中看到气流日志，但它们不显示在GCP日志中，应该这样吗？事实上，当我
浏览 7提问于2022-01-12得票数 2
我正在使用Cloud Composer环境在GCP项目中运行工作流。我的一个工作流使用DataprocClusterCreateOperator在不同的项目中创建了一个Dataproc集群，然后尝试使用来自airflow.contrib.operators.dataproc_operator要创建集群，我可以指定一个project_id参数来在另一个项目中创建它，但是DataProcPySparkOperator似乎忽略了这个参数。例如，我希望能够传递一个project
浏览 22提问于2020-08-13得票数 0
回答已采纳
我的composer.json现在看起来像："grpc/grpc": "^1.10","google/gax": "^0.31.3","firebase&#x
浏览 1提问于2018-08-31得票数 0
回答已采纳
1回答
我正在学习GCP，并阅读了关于通信和管理云功能的不同方法，最终我想知道什么时候使用提供GCP的每种服务。所以，我一直在阅读关于GCP Composer，GCP Workflows，Cloud Pub/Sub的文章，我不清楚什么时候应该使用每一种方法，或者使用简单的HTTP调用。我知道这在很大程度上取决于你正在构建的应用程序，但例如，如果我正在构建一个支付网关，一些功能应该在支付验证后触发，
浏览 8提问于2021-02-13得票数 0
回答已采纳
我正在部署gitlab CI管道，以触发google cloud composer DAG。下面是我写的.yaml：- deploy
stage: deploy script: - gcloud config set pr
浏览 0提问于2018-10-05得票数 1
获取以下错误。不确定在何处设置default_rpoject_id。Traceback (most recent call last): args.func
浏览 12提问于2017-08-11得票数 4
回答已采纳
1回答
我正在使用environment.Composer，并创建了composer environment.Composer环境(有绿色滴答)，现在我正在尝试使用Google来设置DAG代码中使用的变量。-- \精确错误消息：
ERROR: (gcloud.composer.environments.run) Desired GKE作为调查的一部分，我试着跟踪一些事情，
浏览 0提问于2019-04-01得票数 1
回答已采纳
我正在composer DAG中执行Bigquery操作，并得到以下错误：[2021-08-19 15:15:13:07,807] {pod_launcher.py:125} INFO - b' File "/usr/local/lib/python3.7/dist-packages/google/cloud15:13:07,808] {pod_laun
浏览 8提问于2021-08-19得票数 0
回答已采纳
我试图用terraform在GCP中创建一个云编写器。我在使用terraform版本的Terraform v0.12.5。但我无法使用terraform启动一个实例。我收到以下错误
Error: Error waiting to create Environment: Error waiting for Creating Environment: Error codeFor instructions on migrating to split health checks see https://cloud</em
浏览 3提问于2019-12-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
