Dataprep和Dataflow都可以用于ETL任务。事实上，Dataprep似乎使用数据流作业。这是Dataprep提供的工具与用户界面编写数据流作业的唯一区别吗？
浏览 31提问于2019-05-28得票数 1
启动dataflow.projects.locations.templates.launch(i ()函数(我也测试了"now()“函数)生成的列在作业执行期间似乎没有被求值。报告的日期始终以第一次创建模板的日期填充。
这是一个正确的行为吗？为什么没有使用作业启动日期填充该列？
浏览 1提问于2018-09-25得票数 0
GCP管道服务之间的区别是什么:云数据流和云数据融合...对你来说是什么时候？ 我做了一个高级定价，在数据融合中使用了10个基本实例。数据流中的10个实例集群(n1-standard-8)。数据扩散的价格要高出一倍以上。 彼此之间的优缺点是什么？
浏览 32提问于2021-04-08得票数 0
要执行源数据准备、数据转换或数据清理，我们应该在什么情况下使用Dataprep、Dataflow和Dataproc？
浏览 0提问于2018-06-20得票数 5
回答已采纳
我有一个很小的流水线，我正在尝试执行：我已经通过Dataprep创建了一个数据流作业，因为它有很好的UI，可以在写入GCS表之前执行所有转换(写入BigQuery很好)，并且云函数会在文件上传到BigQuery存储桶时触发。然而，云函数不会触发数据流作业(我在Dataprep中编写<em
浏览 64提问于2018-05-08得票数 1
回答已采纳
看看谷歌的云服务，DataProc似乎也可以做同样的事情。为什么谷歌同时提供这两种服务？
浏览 1提问于2017-09-27得票数 66
1回答
我已经从Dataprep导出了一个云数据流模板，如下所示： https://cloud.google.com/dataprep/docs/html/Export-Basics_57344556 在Dataprep但是，当尝试从导出的模板启动数据流作业时，我似乎无法获得正确的启动参数。错误消息不是很具体，但很明显，我没有得到正确的位置(输入和输出)。(&quo
浏览 12提问于2019-02-11得票数 0
我知道Dataprep还没有发布，但我非常好奇是否可以使用Dataprep执行ETL转换？谢谢
浏览 2提问于2017-04-26得票数 1
我在结构化数据之间有一些非结构化数据，还有如下所示的空白行Date: 01-03-2019Date: 01-03-2019我想跳过日期和小时的详细信息我已经通过应用--skip_leading_rows=1成功地跳过了标题行，但无法跳过bq
浏览 0提问于2019-05-08得票数 1
我的雇主最近开始使用Google Cloud Platform进行数据存储/处理/分析。我们是基于欧盟的，因此我们希望限制我们的云数据流作业留在该地区。我猜这可以通过--region和--zone在每个工作/每个工作模板的基础上完成，但我想知道(考虑到我们所有的工作都将使用相同的区域)是否有一种方法可以在更广泛的级别(项目或组织)上以更持久的方式设置这一点此外，google this n
浏览 1提问于2018-11-23得票数 1
我有一个云函数，它使用dataflow API从我使用DataPrep创建的模板创建一个新作业。我成功地从dataflow API运行了作业，数据正确地插入到bigquery表中，但是在时间戳字段中，时间戳的值总是相同的，它对应于我从其中获取模板的作业的执行时间(DataPrep模板)。当我从dataprep接口运行作业时，这个时间戳是正确插入的，但是当我使用云函数中的相同模板执行
浏览 1提问于2018-06-05得票数 2
我使用来处理存储在BigQuery中的数据。我在dataprep/dataflow创建一个名为"temp_dataset_beam_job_“的新数据集时遇到了问题有没有办法不创建临时数据集，或者在云存储文件夹中创建它们？
浏览 4提问于2020-05-07得票数 2
回答已采纳
1回答
春云组件混淆
、、、、
这些Spring组件是如何相互关联/区别的？每个概念代表什么？人们会一起使用它们，还是它们是相互竞争的项目？春云数据流
据我所知，SC任务只是执行的“工作单位”，是一种短期/基于任务的微服务形式的处理单元。SC数据流是任务的编排。这两个I(我认为我)理解它们之间的联系以及它们
浏览 1提问于2016-11-01得票数 0
回答已采纳
2回答
我有一个由Dataprep生成的数据流模板，并使用Composer (即Apache Airflow)执行它。该任务正在触发数据流作业，但是这将失败，并显示错误消息，according to posts on SO指示我需要指定具有更高内存的机器类型。我在DataflowTemplateOperator中指定了machineType，但它不适用于数据流作业： dataflow_default_options={
'project': 'project
浏览 23提问于2019-04-18得票数 1
需要从oracle数据库中提取数据并存储在Google云平台中。数据大小约为10 TB。有没有可能通过Spark？数据必须每月传输一次。在GCP中存储和处理的数据如下：我正在考虑从spark中提取数据(通过将
浏览 2提问于2019-11-17得票数 0
我试图理解Apache和Hortonworks数据流(HDF)之间的区别。
它们在能力和总体设计上有何不同？Nifi和HDF可能的用例是什么？
浏览 2提问于2017-05-15得票数 7
回答已采纳
我在bigquery中有一个巨大的数据集，有5000万行和57列。我想做很多过滤/转换/清理，而不是使用sql。我尝试使用dask/panda/python将数据加载到本地mac的dask数据帧中，进行转换，然后将数据推送回bigquery，以便其他总线可以使用它。将数据推送回bigquery需要超过3个小时。有没有其他方式，或者谷歌云服务，我可以利用？
浏览 2提问于2019-03-30得票数 0
如果我想要检查传输的数据包数量，分析流量，检测入侵或执行任何其他形式的分析，如果网络是云网络，是否会有所不同？
我似乎无法理解其中的区别。关于云中的入侵检测的论文有很多。它们与正常网络上的入侵检测有何不同。
浏览 2提问于2012-03-01得票数 3
回答已采纳
1回答
我需要使用服务帐户执行数据流作业，我遵循的是在同一平台中提供的一个非常简单和基本的示例字数。根据这一点，GCP需要拥有数据流工作者权限的服务帐户才能执行我的作业。即使我已经设置了所需的权限，当错误仍然出现时，weir部分就会出现：
有人能解释这种奇怪的行为吗？非常感谢
浏览 2提问于2020-02-02得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
