我正在尝试使用GCP中的数据流模板创建一个数据流管道。从数据流中的模板创建作业时，我在分配临时位置时出错。
浏览 16提问于2020-06-17得票数 0
回答已采纳
2回答
为了重现性，我希望能够构建包含数据流作业的jars，然后使用不同的参数运行它们(例如，通过不同的帐户提升它们)。这也将简化回滚，因为构建将是不可变的。我目前正在使用maven的DataflowPipelineRunner运行作业，但是由于上面提到的自动化部署等原因，这是非常糟糕的。
如何从jar中直接运行数据流作业？
浏览 0提问于2017-04-26得票数 0
我正在尝试在GCP控制台中创建一个从Pub到BigQuery的数据流。但是我得到了这个错误(数据流文件夹有BTW
浏览 0提问于2018-08-10得票数 1
回答已采纳
作业“通常”会成功，但有时当我从大型查询表中读取数据时，会随机得到空指针异常，并且作业会失败：at(WorkerCustomSources.java:184)at com.googl
浏览 0提问于2017-06-23得票数 2
我有一个简单的Google DataFlow任务。我无法为这个临时数据集强制定位。= options.view_as(GoogleCloudOptions)google_cloud_options.job_name= 'myjob3'
google_cloud_options.staging_location = r&#
浏览 7提问于2017-10-15得票数 2
回答已采纳
我希望为我们的Dataflow作业建立一个适当的部署管道，允许对我们的作业的特定版本进行持续的交付和QA测试。有更好的方法来完成我想做的事吗？
浏览 0提问于2017-04-13得票数 2
回答已采纳
我们的一个作业开始弹出以下警告/错误： at com.google.cloud.dataflow.sdk.runners.DataflowPipelineJob.waitToFinish(BlockingDataflowPipelin
浏览 1提问于2015-05-05得票数 1
我正在运行一个Cloud Dataprep作业，该作业已经成功运行了很多次，直到今天。有没有人可以指导我如何纠正这一点/为临时数据集设置一个位置并检查权限？此项目的trifacta服务和计算帐户拥有BigQuery中源数据集的编辑权限，还拥有Google<
浏览 1提问于2018-12-27得票数 2
我创建了一个服务帐户，并将Dataflow developer角色、Compute角色和角色分配给临时桶。最后，我提交了一个具有以下cmd的数据流作业：TMPBUCKET=temporarybucket--runner DataflowRunner \ --temp_location gs:/&#
浏览 1提问于2020-01-06得票数 0
我试图通过一个(已经存在的) AppEngine应用程序启动数据流作业。DataFlow作业读取存储在DataStore中的GAE应用程序生成的数据，并将处理过的数据写入BigQuery。:942)at com.google.cloud<
浏览 8提问于2016-03-21得票数 1
回答已采纳
1回答
我想要创建一个数据流作业模板，该模板接受GCS中的文件名，并将其发布到PubSub主题。我在链接上学习了教程，但这似乎不适合我。我的班级定义如下-import com.google.cloud.dataflow.sdk.io.PubsubIO;
import com.google
浏览 0提问于2017-02-01得票数 0
回答已采纳
我想加入两个PCollection (分别来自不同的输入)，并按照这里描述的步骤“”部分：来实现 at com.google.cloud.dat
浏览 10提问于2017-09-26得票数 3
回答已采纳
我有一个很小的流水线，我正在尝试执行：我已经通过Dataprep创建了一个数据流作业，因为它有很好的UI，可以在写入GCS表之前执行所有转换(写入BigQuery很好)，并且云函数会在文件上传到BigQuery存储桶时触发。然而，云函数不会触发数据流作业(我在Dataprep中<
浏览 64提问于2018-05-08得票数 1
回答已采纳
我创建了一个Dataflow模板，它允许我将数据从Cloud中的CSV文件导入到BigQuery中。我每天都使用云函数Firebase从这个模板创建工作。这是函数中的代码(删除了一些不相关的部分)。const auth = await google.auth.getClient({
scopes: ["https://www.googleapis.com/aut
浏览 7提问于2020-04-16得票数 1
回答已采纳
1回答
我已经从Dataprep导出了一个云数据流模板，如下所示： https://cloud.google.com/dataprep/docs/html/Export-Basics_57344556 在Dataprep中，流通过通配符从Google Cloud Storage拉入文本文件，转换数据，并将其附加到现有的BigQuery表中。但是，当尝试从导出的模板启
浏览 12提问于2019-02-11得票数 0
我有一个数据流模板，我可以使用它作为我选择的服务帐户运行数据流作业。我已经设置了这样的调度程序任务：
当调度程序作业运行时，使用PERMISSION_DENIED出错 "insertId": "1kw7uaqg3tnzbqu", "@type": "type.googleapis.com/google.cloud.schedule
浏览 14提问于2021-12-16得票数 0
回答已采纳
是否可以在google dataprep中设置，生成的数据流作业将在其中运行的区域？例如，我正在将欧洲存储桶中的CSV数据转换为欧洲的BigQuery数据集。但是数据流作业正在US-central-1中运行，情况不太好。
提前感谢您的帮助。
浏览 0提问于2017-10-06得票数 3
我有一个数据流作业，它从Cloud中提取数据并将其加载到Cloud中。我们已经将作业配置为接受参数，这样就可以使用相同的代码提取多个表。数据流作业被编译为模板。当我们连续地创建/运行模板实例时，就会得到我们期望的结果。但是，如果我们并行地创建/运行实例，云存储上只会出现几个文件。在这两种情况下，我们可以看到DF作业是成功地创建和终止的。
浏览 4提问于2020-03-18得票数 1
回答已采纳
4回答
我正考虑在Compute引擎Linux中运行来自cron作业的管道，但这可能太简单了:)。这样做有什么问题，为什么没有人(我猜除了我)会建议这样做？
浏览 11提问于2017-05-06得票数 18
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
