腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Dataprep
:
作业
完成事件
、
我们正在考虑在自动计划中使用
Dataprep
,以便将GCS .gz文件的文件夹放入大查询中。有什么建议吗?
浏览 3
提问于2018-03-09
得票数 2
1
回答
Dataprep
-
调度
作业
、
对于
Dataprep
测试版中的任何人,是否可以安排正在运行的
作业
?如果是,是不是通过应用程序引擎的cron服务?我不能完全理解cron的应用程序引擎说明,但我想在尝试之前确保它不是死胡同 谢谢
浏览 13
提问于2017-08-30
得票数 4
回答已采纳
1
回答
Google
Dataprep
:使用更新的数据源进行
调度
、
、
有没有办法在GCS (Google Cloud Storage)文件上传时触发
dataprep
flow?或者,至少可以让
dataprep
每天运行,并从GCS中的某个目录中获取最新的文件?这应该是可能的,因为否则
调度
的意义是什么?用相同的输出在相同的数据源上运行相同的
作业
?
浏览 8
提问于2018-01-27
得票数 1
2
回答
是否有云数据代表api?
理想情况下,我想编写一个函数来启动
dataprep
作业
,在以下事件之一kafka消息文件添加或更改为GCS。 我在想,如果有一个支持库,我可以用python编写触发器。但我找不到。
浏览 7
提问于2018-12-07
得票数 0
1
回答
以编程方式编辑
Dataprep
配方
、
、
我们有一个
dataprep
作业
来处理输入文件并产生一个干净的文件。可以从Python代码(远程)编辑
dataprep
作业
的配方吗?如果是,是否可以从Python代码触发
dataprep
作业
?
浏览 1
提问于2018-06-15
得票数 1
1
回答
数据代表:没有预定的目的地设置。创建一个输出来设置目标
、
当我试图为我的
作业
创建一个运行计划时,我会在
dataprep
上得到这个错误。当我简单地点击run时,它们就完美地工作了。但是,当我想要
调度
它们时,会出现此错误。
浏览 1
提问于2018-04-11
得票数 1
2
回答
google cloud
dataprep
选择默认网络
、
我正在尝试在google cloud
dataprep
中运行
作业
,但数据流
作业
默认选择network default。
浏览 4
提问于2019-08-16
得票数 0
2
回答
云数据流和
Dataprep
之间的区别是什么
、
Dataprep
和Dataflow都可以用于ETL任务。事实上,
Dataprep
似乎使用数据流
作业
。这是
Dataprep
提供的工具与用户界面编写数据流
作业
的唯一区别吗?
浏览 31
提问于2019-05-28
得票数 1
2
回答
从触发器启动
dataprep
作业
后运行SQL update语句- Google Cloud
、
、
Dataprep
作业
从触发器运行,该触发器在将文件写入存储桶时触发。我需要在
Dataprep
作业
完成后立即在BigQuery上运行SQL update语句。不确定如何在
Dataprep
作业
完成后立即运行SQL?
浏览 18
提问于2021-07-20
得票数 0
1
回答
如何获得数据代表
作业
的数据流模板?
、
、
、
大家早上好,我工作的客户将在10月份取消
Dataprep
,我们目前使用Google平台进行一切工作。
Dataprep
是一个在数据流下运行的“漂亮”层,非常感谢 干杯
浏览 8
提问于2022-06-08
得票数 0
1
回答
转换为powershell脚本
、
Creating the job number folder structureMKDIR "\\server\jobs\%JobNum%"MKDIR "\\server\jobs\%JobNum%\
DataPrep
\Data"MKDIR"\\server\jo
浏览 2
提问于2012-09-28
得票数 1
4
回答
自6/20更新以来,
Dataprep
作业
运行了72小时以上。
作业
状态显示为已完成但未发布
我每天都在运行
Dataprep
作业
,自从上周更新以来,大约有一半的
作业
现在处于挂起状态,没有发布。它们显示为正在进行的
作业
,但当我转到实际
作业
页面时,
作业
似乎已完成。我尝试重新启动
作业
,但没有成功,似乎没有办法取消这些挂起的
作业
,因为从谷歌的角度来看,似乎这些
作业
本身是成功的,只是没有发布。这个问题既出现在我发布到BigQuery的
作业
上,也出现在发布到谷歌云存储的
作业
上,以及手动和计划的
作
浏览 26
提问于2019-06-25
得票数 2
1
回答
扳手到CSV DataFlow
、
、
、
从文本文件导入到bigquery时,数据流
作业
运行时出现问题。
作业
抛出以下错误: INVALD JSON::1:38预期的eof,但发现,"602...
浏览 23
提问于2020-09-11
得票数 0
4
回答
如何更改google
dataprep
的数据流
作业
运行的地域/区域
是否可以在google
dataprep
中设置,生成的数据流
作业
将在其中运行的区域?例如,我正在将欧洲存储桶中的CSV数据转换为欧洲的BigQuery数据集。但是数据流
作业
正在US-central-1中运行,情况不太好。 提前感谢您的帮助。
浏览 0
提问于2017-10-06
得票数 3
1
回答
Dataprep
:在对excel文件运行
作业
后,数组类型无效
我尝试在
dataprep
中使用数组类型的列,它在
dataprep
的显示ui中看起来很好,如下图所示。但是当我使用.csv文件运行
作业
输出时,数组列中存在无效值。为什么.csv输出与
dataprep
显示不同?
浏览 5
提问于2020-09-29
得票数 0
2
回答
是否可以在项目或组织级别设置Google Cloud Dataflow使用的区域?
我们是基于欧盟的,因此我们希望限制我们的云数据流
作业
留在该地区。此外,google this now现在还有一个公开的问题,可以在上找到/关注谷歌支持建议按照更改
dataprep
相关文件夹的存储位置我工作的地方有人建议在这里限制数据流在非欧盟地区的配额:将其用于使用适当的地区,但在经过测试后,
Dataprep
仍然倾向于使用美国。
浏览 1
提问于2018-11-23
得票数 1
2
回答
调度
删除BQ表
、
我将数据流式传输到BQ中,每天我在
Dataprep
中运行一个计划的
作业
,该
作业
需要24小时的数据,并修改一些数据,并在BQ数据集中创建一个包含24小时数据的新表。我想要做的是在
dataprep
制作副本之后删除表中的所有行,以便收集新的24小时数据流 我如何使其自动化,我似乎在
dataprep
中找不到任何可以删除原始表并创建新表的东西。
浏览 2
提问于2018-11-28
得票数 0
2
回答
如何取消正在运行的
作业
(出错)?
我有一个计划的
作业
,每天早上都会运行,显然从昨天开始,
作业
中的一些事情没有按计划进行。而且它还在运行我在任何地方(我可以找到)都没有让我可以选择取消正在运行的
作业
的选项。 有谁知道我可以在哪里取消这些工作?
浏览 2
提问于2019-06-21
得票数 1
1
回答
GCP Dataflow API不计算在
dataprep
上编写的配方中调用的now/today()函数
、
启动dataflow.projects.locations.templates.launch(i ()函数(我也测试了"now()“函数)生成的列在
作业
执行期间似乎没有被求值。为什么没有使用
作业
启动日期填充该列?
浏览 1
提问于2018-09-25
得票数 0
1
回答
用Dataflow API执行
Dataprep
模板包含流配方中包含的时间戳。
、
、
、
我有一个云函数,它使用dataflow API从我使用
DataPrep
创建的模板创建一个新
作业
。我成功地从dataflow API运行了
作业
,数据正确地插入到bigquery表中,但是在时间戳字段中,时间戳的值总是相同的,它对应于我从其中获取模板的
作业
的执行时间(
DataPrep
模板)。当我从
dataprep
接口运行
作业
时,这个时间戳是正确插入的,但是当我使用云函数中的相同模板执行
作业
时,它不会被更改。,底部的
作业
是从执行的: 这是
浏览 1
提问于2018-06-05
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
数据作业自动化调度 AirFlow
MapReduce之任务执行与作业调度
装卸作业优化调度系统软件
24 PBS 高性能集群作业调度系统
ElasticJob-分布式作业调度神器,你们还在用Quartz吗!
热门
标签
更多标签
云服务器
ICP备案
云直播
对象存储
腾讯会议
活动推荐
运营活动
广告
关闭
领券