0回答
我正在尝试做的是使用airflow运行数据流作业。搜索了许多链接，发现我们需要创建一个jar文件，然后使用airflow脚本就可以运行它。有没有人知道这个jar应该放在哪里，意味着在google云存储桶或本地路径上。我们可以通过气流直接运行模板吗
浏览 0提问于2017-06-13得票数 1
需要一些关于在airflow上运行数据流作业的建议，.I可以使用Python sdk在本地和数据流运行器上运行光束作业。但无法使用DataflowPythonOperator通过airflow编排作业(不确定它是否已被弃用)。我使用Dataflowjavaoperator编排jar文件没有任何问题。/
浏览 23提问于2021-07-29得票数 0
读取csv文件并通过数据流将其加载到bigquery -为此使用python编码，而不是模板-如何使用terraform(GCP)帮助执行此任务
我试着去做，但不知道我应该为它写什么地形脚本。
浏览 14提问于2022-11-13得票数 0
目前我们在Kubernetes上使用的是我们自己安装的Airflow版本，但我们的想法是迁移到Cloud Composer上。我们使用Airflow通过自定义版本的DataFlowJavaOperator (使用插件)来运行数据流作业，因为我们需要执行jar中不是自包含的java应用程序。因此，我们基本上运行了
浏览 1提问于2018-06-08得票数 2
3回答
从计算引擎运行数据流作业
、、、
我正在按照快速入门链接运行数据流作业 --runner=DataflowRunner"
但是，当我尝试启动一个虚拟机并从它运行命令时，我得到了权限被拒绝的错误。如果我为VM提供了完全的API访问权限，命令就会成功运行</em
浏览 1提问于2018-07-14得票数 1
2回答
在airflow中，我在EMR集群上使用EmrCreateJobFlowOperator执行一个jar。此作业在S3上写入一些数据，我希望将此S3路径传递到airflow dag中的下一步，因为此路径在每次运行时都是动态的。我认为XCom在这个场景中没有什么用处，因为我的工作是基于Java的，
浏览 23提问于2021-09-16得票数 0
我正在寻找流GCP数据流作业的编排软件-可以提供警报，状态，作业启动等类似于在Kubernetes上所做的事情。答案建议使用Airflow，因为他们有一些钩子连接到GCP -这将是很好的，因为我们有一些其他的基础设施在Airflow上运行。然而，我不确定这是否能够处理流式作业-我的理解是，Airflow
浏览 0提问于2017-06-20得票数 4
1回答
我试图通过气流脚本执行数据流jar。为此，我正在使用DataFlowJavaOperator。在param中，当我试图运行以下作业时，我将传递本地system.But中显示的可执行jar文件的路径。_proc.returncode))我的气流脚本是：
from airflow.contrib.operat
浏览 2提问于2017-09-12得票数 2
2回答
云数据流作业的调度
、、、
所以，我已经完成了在Dataflow中创建一个工作。此工作处理ETL从PostgreSQL到BigQuery。所以，我不知道用气流来做调度。如何利用气流来共享作业数据流？
谢谢
浏览 17提问于2022-12-02得票数 0
我正在从Google Cloud Composer的Airflow中调用DataFlow作业， a >> b >> c a、b和c是调用数据流作业的任务。我只想在数据流作业完成后运行b，问题是它们都是同时运行的。 如何等到上一个作业完成？
浏览 18提问于2021-02-09得票数 1
我想使用composer数据流操作符编排数据流作业。我的数据流jar需要另外两个jar，它不能作为maven依赖项添加。目前，我正在使用以下命令手动运行我的工作：
java -cp Mainprocess.jar com.sample.class com.auth.dependency --tmp -staging当我在云shell中运行它时，我在PWD中有依赖
浏览 2提问于2020-09-21得票数 0
回答已采纳
1回答
我有一个在python3.7中用apache创建的数据流，在这里我处理了一个文件，然后我不得不删除它。该文件来自google桶，问题是当我使用DataflowRunner运行程序时，我的工作无法工作，因为Google python3.7环境中没有安装Google云存储API。你们知道吗，不使用这个API，我怎么才能删除数据流中的文件呢？我见过apache_beam模块，如，但我不知道如何使用它，也没有找到关于如何使用该模块的教程或示例。
浏览 4提问于2020-07-15得票数 1
回答已采纳
我在GCP中有一个Composer/Airflow实例(版本composer-1.12.2-airflow-1.10.10)，它可以正常地运行其当前作业(大约40个DAG，每个DAG有6个数据流作业，每个数据流作业从数据流模板(普通模板，而不是flex模板)运行，通常需要大约20分钟才能完成，部分是并行完成的。我从一个python 开始
如果我使用数据流
浏览 0提问于2020-11-25得票数 0
在创建实例时，我将Python版本设置为Python 3每当我们部署到composer-1.7.9-airflow-1.10.1时，任务都会使用Python2.7…运行
如果从Composer启动，
浏览 3提问于2019-12-16得票数 1
回答已采纳
我想在数据流作业成功完成后将消息发布到发布/订阅主题。 为此，我使用wait_until_finish()，然后在确认管道已完成(当前状态为JOB_STATE_DONE)后发布一条消息。当我在本地执行管道(使用DirectRunner或DataflowRunner)时，我得到了所需的结果。但是，当我将此管道部署到模板，然后从模板创建作业时，p.run()外部的代码不会执行。这是我的管道的终点 result = p.r
浏览 13提问于2019-08-30得票数 0
1回答
由于有了DataflowJavaOperator，我正在使用气流1.9在Google平台上发布一个Dataflow。下面，用于从气流Dag启动数据流的代码： task_id='df-dispatch-data', # Equivalentto JobName
jar="/path/of/my/dataflow/jar"
浏览 0提问于2018-03-07得票数 2
回答已采纳
下面的Airflow DAG(Cloud Composer)被消息卡住：{gcp_dataflow_hook.py:121} INFO - Running command /home/airflow/gcs/dags/dataflow/pyfile.py --runner DataflowRunner......"我在数据流中看不到提交的</e
浏览 0提问于2020-12-29得票数 0
我在airflow(Cloud Composer)中使用DataFlowJavaOperator()。有没有办法在下一个PythonOperator任务中获取执行的数据流作业的ID？我想使用job_id调用gcloud命令来获取作业结果。# gcloud dataflow jobs describe <JOB_ID>
task_id='task1'
jar</
浏览 35提问于2019-02-07得票数 1
我们在Google Cloud中使用了很多组件，例如，一个作业可以在App Engine上启动，然后在Apache Airflow中做一些工作，然后做一些数据流工作来运行BigQuery插入。是否有任何方法可以使用堆栈驱动程序跟踪所有组件中作业的状态。例如，以某种方式告诉stackdriver一个自定义作业id并查询它。
浏览 1提问于2018-07-06得票数 1
回答已采纳
input': '{{ ts }}', dag=dag)
浏览 11提问于2020-05-21得票数 8
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
