我的Cloud Composer管理的Airflow卡住了几个小时，因为我取消了一个耗时太长的任务实例(让我们称它为任务A)有没有办法杀死作业或重置调度程序？任何解开作曲家的想法都会受到欢迎。
浏览 7提问于2018-08-15得票数 5
读取csv文件并通过数据流将其加载到bigquery -为此使用python编码，而不是模板-如何使用terraform(GCP)帮助执行此任务
浏览 14提问于2022-11-13得票数 0
1回答
在Google cloud中运行Dataflow作业时，如何将Dataflow管道配置为在失败(或成功完成)时发送电子邮件？
浏览 0提问于2018-12-19得票数 0
1回答
我将开始研究从CSV和数据湖中获取到BigQuery的GCP数据，我正在寻求您的建议，我可以使用哪些技术或架构。我尝试使用转换成管道的数据流简单地加载BigQuery，然后调度器在特定的时间运行管道。我遇到的问题是如何将已处理的CSV文件移动到其他桶中？我可以调用函数来移动文件吗？提前谢谢你。
浏览 4提问于2022-10-21得票数 1
我想在数据流作业成功完成后将消息发布到发布/订阅主题。 为此，我使用wait_until_finish()，然后在确认管道已完成(当前状态为JOB_STATE_DONE)后发布一条消息。但是，当我将此管道部署到模板，然后从模板创建作业时，p.run()外部的代码不会执行。result.wait_until_finish()
publish_job_completion(result, all_pipeline_options) 其中publish_job_completion确认作业已完成并发布消息
浏览 13提问于2019-08-30得票数 0
目前我们在Kubernetes上使用的是我们自己安装的Airflow版本，但我们的想法是迁移到Cloud Composer上。我们使用Airflow通过自定义版本的DataFlowJavaOperator (使用插件)来运行数据流作业，因为我们需要执行jar中不是自包含的java应用程序。因此，我们基本上运行了一个bash脚本来启动命令：所有jar依赖项都存储在所有worker之间的共享磁盘中，但Composer
浏览 1提问于2018-06-08得票数 2
我正在尝试设置Google cloud platform Airflow managed service ( cloud composer)，它应该能够在我的本地Hadoop集群的工作流中触发任务，而不是在google Cloud上。Cloud composer文档介绍了如何在Google云中的共享VPC上触发作业，而不是使用本地VPC。任何帮助都将不胜感激。
浏览 1提问于2019-02-06得票数 1
我正在从Google Cloud Composer的Airflow中调用DataFlow作业， a >> b >> c a、b和c是调用数据流作业的任务。我只想在数据流作业完成后运行b，问题是它们都是同时运行的。 如何等到上一个作业完成？
浏览 18提问于2021-02-09得票数 1
3回答
我想要澄清一下Cloud Dataflow或Cloud Composer是不是适合这项工作的工具，而我在Google文档中并不清楚。目前，我正在使用Cloud Dataflow读取非标准的csv文件--执行一些基本处理--并将其加载到BigQuery中。我的问题是，Cloud Composer是从哪里来的呢？它可以在上面提供哪些额外的功能？换句话说，为什么要“在”云数据流之上使用它呢？
浏览 2提问于2019-01-12得票数 13
我正在使用Cloud Composer环境在GCP项目中运行工作流。我的一个工作流使用DataprocClusterCreateOperator在不同的项目中创建了一个Dataproc集群，然后尝试使用来自airflow.contrib.operators.dataproc_operator模块的DataProcPySparkOperator向该集群提交PySpark作业。例如，我希望能够传递一个project_id，但当任务运行时，我最终得到了一个404错误： from airflow.contrib.
浏览 22提问于2020-08-13得票数 0
回答已采纳
我试图检查"Cloud Composer Environment“的Stackdriver日志-但没有发现任何可疑的日志条目。我还检查了airflow UI中的任务日志-它们是空的。为什么计划的dag运行停滞？如何找出预定DAG出现问题的原因？
浏览 10提问于2020-02-23得票数 1
回答已采纳
下面的Airflow DAG(Cloud Composer)被消息卡住：{gcp_dataflow_hook.py:121} INFO - Running command /home/airflow/gcs/dags/dataflow/pyfile.py --runner DataflowRunner......"我在数据流中看不到提
浏览 0提问于2020-12-29得票数 0
1回答
我们目前正在考虑在相同的GKE集群上设置多个Airflow堆栈，但在不同的命名空间中(以节省成本)来运行DBT作业。其命名空间中的每个Airflow堆栈将使用RBAC身份验证来授权最终用户运行或观察作业。我知道这不是一个典型的用例，但另一种选择是为每个服务线都有一个单独的Cloud Composer，这将是相当昂贵的。
任何帮助都是非常感谢的:)
浏览 1提问于2021-05-05得票数 0
我正在尝试挂载dags文件夹，以便能够在Aiflow上的KubernetesPodOperator中运行python脚本，但我不知道怎么做。在生产中，我想在谷歌作曲家。这是我的任务： task_id='pod-ex-minimum', arguments=["cd /usr/local/tmp"], ima
浏览 4提问于2021-10-12得票数 1
这里我想在GCP的composer环境(1.10.6)中使用SFTPToGCSOperator。我知道有一个限制，因为操作员只存在于最新版本的airflow中，而不存在于composer最新版本1.10.6中。task_id="t_sftp_to_gcs", gcp_conn_id="google_cloud_defaultdestination_bucket",
浏览 4提问于2020-05-13得票数 2
我正在尝试在GCP cloud composer airflow实例上的DAG中运行单个任务，并将dag中的所有其他任务都标记为成功。然而，下面的airflow命令似乎对我在cloud composer上不起作用。task_id: "echo1" <br>
execution_date
浏览 0提问于2020-07-04得票数 0
我想使用不同版本的Airflow和/或Python。我怎样才能改变这一点？
浏览 5提问于2018-05-02得票数 8
我知道这个错误：
Successfully installed google-cloud-bigquery-1.5.0 google-cloud-core-0.28.1 pypd-1.1.0 strict-rfc3339新的环境映像版本是composer-1.12.2-airflow-1.10.6。几个月前创建了另一个环境，所有的pypi软件包都已成功安装，气流达格运行平稳，其映像版本为composer-1.10.0-airflow-1.10.6。问题2:为了创建新的环境，我只有三个图像
浏览 2提问于2020-10-24得票数 0
我正在尝试使用Cloud Composer来运行我的工作流。我想使用Airflow v1.10提供的"GoogleCloudStorageToGoogleCloudStorageOperator“operator，但当前的cloud composer不支持它(它目前只支持在Google's blog post的指导下，我自己将operator添加到了一个cloud composer环境中，直到几天前它还运行得很好。然而，就目前而言，当我尝试创建一个新
浏览 65提问于2019-01-16得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
