是否可以将Restful API中的数据直接导入到data prep中？ 我想可能会有一些变通的办法...1:将结果保存到GCS存储桶中的JSON文件中，并从那里导入。2:将结果导入到Big Query表中，然后从那里导入到data prep中。 只调用一个API并获得一个结果集会更流畅，而不是必须采取额外的步骤。我只是找不到任何地方来解释如何做到这一点。 蒂娅！
浏览 12提问于2020-09-09得票数 0
回答已采纳
如何将使用GCP Dataprep完成的数据预处理连接到AutoML工作流？
Dataprep允许您使用GUI进行一些数据预处理，并将数据流配方与预处理任务一起导出。此外，您还可以将数据写回到导出的文件中，返回到GCS或BigQuery。但是，如何将所有部分连接起来，使其成为自动部署的AI平台模型的一部分？生成的多通道管道可能如下所示: GCS -> Dataprep -> Dataflow ->
浏览 20提问于2019-07-15得票数 0
我在bigquery中有一个巨大的数据集，有5000万行和57列。我想做很多过滤/转换/清理，而不是使用sql。我尝试使用dask/panda/python将数据加载到本地mac的dask数据帧中，进行转换，然后将数据推送回bigquery，以便其他总线可以使用它。将数据推送回bigquery需要超过3个小时。
浏览 2提问于2019-03-30得票数 0
2回答
我刚刚开始使用GCP，我对它的一些工具的正确使用有一些疑问。特别是，我正在尝试将Google Analytics中的数据导入BigQuery。是否可以对存储在BigQuery中的数据使用Dataprep？我见过的几乎每个示例都使用Dataprep来可视化存储在Google Storage中的数据，但没有任何示例涉及到BigQuery。
浏览 2提问于2018-03-14得票数 0
是否可以配置gcp api网关来处理文件文本上传？尝试生成api配置时出现错误kind: ERROR
message: "http: cyclic message field \'google.protobuf.ListValue.values\' referred to by message \'HandleTextRequest\' in method \'method 1.pfe_reg
浏览 74提问于2021-03-10得票数 0
回答已采纳
作为POC的一部分，我试图通过Dataprep设置一些数据质量检查。有一个BigQuery表作为源，它应该运行一个输出到另一个BigQuery的作业。at org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers$PendingJob.runJob(BigQueryHelpers.java:196)at org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers$PendingJobManager.waitForDone(BigQue
浏览 1提问于2019-08-21得票数 1
我正在尝试将客户端的文件从部署在gcp计算引擎上的springboot应用程序上传到google bucket。下面的代码将该文件上传到存储桶中，但给出了错误： Resource resource = resourceLoader.getResource(GCP_AUTHENTICATION_FILE);
浏览 21提问于2021-01-06得票数 0
我想用一些数据运行一个机器学习模型。在用这些数据训练模型之前，我需要对它进行处理，所以我一直在阅读一些方法。首先创建一个Dataflow管道，将其上传到Bigquery或，然后使用创建一个数据管道来清理它。另一种方法是使用数据融合，它可以更容易地创建数据管道，但我不知道--这是我的怀疑，数据融合--它只是创建一个像Dataflow这样的管道，然后我必须使用DataPrep来清理数据，或者如果数据融合能够清理数
浏览 1提问于2019-09-30得票数 8
回答已采纳
但是，当我尝试在一个实际的GCP项目上运行它时，我得到了一个权限错误，即使我在为它创建的服务帐户中使用了基本相同的角色集。我也是这个令人不安的GCP帐户的项目所有者。/sinks","httpMethod":"POST"}}'
日志配置写入器/projects/redacted-gcp-projec
浏览 5提问于2020-11-16得票数 0
回答已采纳
2回答
是否有一种方法可以通过API触发？
我需要每天跑30种不同的水流。源数据集每天都在变化，结果必须附加到Google BigQuery表中。有办法使这个过程自动化吗？源文件是.xls文件。我可以将它们上传到云存储中，并编写一个云功能，它将上传到数据代表需要的任何地方。问题是，似乎不可能在Dataprep中替换源数据集。如果是的话，那么计划运行和新的作业运行API有什么意义呢？
浏览 5提问于2020-02-18得票数 3
回答已采纳
1回答
我正在做一个基于多云(AWS和GCP)的宠物项目，它基于无服务器架构。
现在，GCP中的业务逻辑(使用Cloud Functions和Pub/Sub)生成了文件，这些文件存储在GCP云存储中。
浏览 1提问于2020-07-08得票数 1
1回答
我正在将csv文件从GCS加载到BigQuery中，并通过Cloud Composer触发任务(然后做一些其他的事情)。由于某些字段中存在各种字符，bq load命令无法正确解析文件，因此我求助于数据流来帮助解析和加载。有8个文件，每个文件的大小约为1 1GB。它有96列的数据和大约3M条记录直接从GCS加载到BQ。我已经尝试了网上发布的各种其他解决方案，但我需要未经编辑的数据(不能去掉奇怪的字符)，还有一些其他解决方案尝试使用re在逗号上拆分，但字符串字段中到处都是逗
浏览 20提问于2019-06-26得票数 0
需要从oracle数据库中提取数据并存储在Google云平台中。数据大小约为10 TB。有没有可能通过Spark？数据必须每月传输一次。在GCP中存储和处理的数据如下：
Oracle数据库到云存储(不必做CSV导出)，然后它将是干净的，并准备在Dataprep中，这将通过数据流进一步处理，最后它将被存储在Big Query下(从大查询数据科学家将使用数据来创建他们的模型我正在考虑<
浏览 2提问于2019-11-17得票数 0
我有一些简单的Dataprep作业，可以将GCS数据传输到BQ。直到今天，计划的作业运行良好，但今天，两个作业失败，两个作业在超过半小时到一个小时后成功。此外，链接或故障排除提示数据代表或数据流作业是赞赏的。
谢谢
浏览 2提问于2020-01-24得票数 0
2回答
我刚刚了解了GCP作曲家，并试图将DAG从我当地的气流实例转移到云端，并有几个关于转换的问题。
在本地实例中，我使用HiveOperator从hive读取数据，并创建表并将其写回hive中。如果我必须在GCP中这样做，这怎么可能呢？我是否必须将我的数据上传到Google，HiveOperator是否在GCP中工作？我有一个DAG，它使用sensor来检查另一个DAG是否完成，这在Composer上是可能的吗？
浏览 0提问于2018-11-30得票数 1
我对Trifacta的Dataprep感到兴奋，但由于他们将访问数据，这对我的公司不起作用。我们使用医疗保健数据，只有授权的谷歌。
有没有人使用GCP中的其他解决方案来转换JSON？文档的本质是如此之长和嵌套，以至于在摄取之前编写自定义正则表达式并在pod上运行它需要大量的计算。
浏览 1提问于2020-08-26得票数 0
我的团队正在使用Google平台开发数据平台。我们将公司的数据上传到上，并尝试在Bigquery上创建数据集市。但是，为了节省GCP的使用成本，我们考虑将所有数据从gcs加载到bigquery，或者在bigquery上创建外部表。
哪种方式更符合成本效益？
浏览 6提问于2022-02-25得票数 1
回答已采纳
我是GCP新手，需要一些帮助来解决我的问题。
我正在创建CSV文件，json文件和java脚本文件，并上传到GCP存储桶中。创建“云存储上的文本文件到大查询”数据流模板以将数据填充到bigquery中。我需要一些帮助转换的日期格式从DD-MM-YYYY到YYYY-MM-DD在大查询中使用‘文本文件在云存储到大查询’数据流模板在GCP中。
浏览 12提问于2021-06-12得票数 0
1回答
我不得不使用谷歌云平台的几个服务，但我对这几个服务(谷歌机器学习引擎、谷歌数据准备、数据实验室)感到相当困惑。
它们是如何相互作用的？
浏览 2提问于2018-04-13得票数 0
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
