我想安排一个管道来传输MySql数据到Google Bigquery，但是完整的数据被附加到BQ的旧表中，我只想添加增量数据...
浏览 21提问于2019-04-24得票数 3
BigQuery不会直接流到他们的长期存储中，他们首先将其放入一个写优化的存储中，并定期将其刷新到主存储中。例如，如果我将一百万条记录流到<em
浏览 1提问于2018-01-18得票数 1
回答已采纳
我想创建连接器(类似于Kafka-Connect中的Debezium )来在BigQuery表中反映MySQL源数据库中的每个更改。有一个问题-源数据库每10分钟删除一次并重新创建-一些行是相同的，一些是更新的，还有一些是完全新的。所以我不能通过Debezium做到这一点，因为每隔10分钟我就会有Kafka中的所有记录。我希望只迁移到BQ表<em
浏览 1提问于2021-02-09得票数 1
在always的“用Google平台进行数据工程”一书中，为了将数据从sql数据库加载到BigQuery，作者总是先将数据从sql加载到，然后将其作为暂存环境使用，然后才将数据加载到BigQuery
通过GCS步骤而不是直接进入BigQuery有什么好处？在何种情况下，您将直接将数据从SQL加载到BigQuery？
浏览 8提问于2022-08-16得票数 0
回答已采纳
目前，我有一些脚本，它首先删除表并将表从MySQL上传到Bigquery。很多次都失败了。另外，它每天只运行一次。我正在寻找一些可伸缩和实时的解决方案。你的帮助将不胜感激:)
浏览 1提问于2016-11-16得票数 5
回答已采纳
是否可以在GCS中附加两个文件，假设一个文件是满载，第二个文件是增量加载。那我们怎么才能把这两件事附加起来呢？
其次，使用gsutil将两个文件附加到包含属性名称的文件中。所以，在最后一个文件中，我要两个文件的数据。
浏览 0提问于2018-11-26得票数 2
我要在MySQL中运行一个具有多个表联接的复杂查询，并将输出数据导入BigQuery表。
我想为此使用云数据融合。我是GCP的新手，不知道如何实现这一目标。我知道可以使用数据融合将MySQL表引入到BigQuery表中，但这是一种直接的拉动。如果我想要运行一个具有多个表联接的查询，并使用<em
浏览 10提问于2022-10-11得票数 0
我需要将我的两个表从Google Cloud SQL迁移到Google Bigquery。
该数据的大小约为1TB，并包含约5个月的股市节拍数据。我从文档中了解到，我可以将数据导出为CSV并将其加载到Bigquery中。我希望按照最佳实践中的建议，在Google Bigquery中进行日期分区。此外，我希望在每个日期的数据迁移后做一个健壮
浏览 1提问于2018-01-30得票数 4
1回答
我来自on /hadoop数据平台背景，现在我想了解在GCP云技术上这样做的良好实践。
如图所示，我使用HDFS/Hive存储所有3层的数据：“着陆”、“净化”和“处理”。“Cleaned "ETL进程”转换并将数据加载到“洁净层”中。“清理层”以BigQuery tables.“Cleaned层的形式存储到”处理层“，在BigQuery本身
浏览 3提问于2020-10-05得票数 0
回答已采纳
我认为BigQuery是我的数据仓库需求。现在，我的数据在google (cloud和BigTable)中。我已经公开了REST以从这两个方面检索数据。现在，我想从这些API中检索数据，执行ETL并将数据加载到BigQuery中。我现在正在评估ETL的两个选项(小时数据的每日工作频率)：-
使用JAVA批处
浏览 2提问于2017-08-11得票数 1
回答已采纳
我想将数据从BigQuery (即报表)转储到CloudSQL数据库中，通过编程实现这一目标的最佳方法是什么？我意识到我可以通过运行一个查询，下载它作为一个CSV，然后通过云控制台上传它，但是我想通过编程来完成这个任务，最好是使用BigQuery /SQL。
浏览 1提问于2016-04-06得票数 18
回答已采纳
3回答
目前，我在GCS桶中有一个CSV，它每天都由Google托管的管道进行更新。我使用这个CSV通过特性在MySQL数据库中填充一个表，没有问题。我想要做的是每天在指定的时间运行这个导入程序来更新表数据，因为我的管道将更新我的CSV。我看不出有什么UI特性可以这样做，也不知道如果不这样做，最好的方法是什么。与其说我是一个SWE，不如说我是一个数据分析员，所以试图破译像云</em
浏览 6提问于2021-05-04得票数 0
回答已采纳
我在尝试将数据库移动到BigQuery时遇到了麻烦。我已经将数据库备份从Cloud导出到了Cloud，但是当试图将其导入BigQuery时，我得到了错误：'Not : URI‘，用于gs://bucket-name/file-name
我想做的事有可能吗我希望以某种方式将Cloud数据直接上传到BigQuery。它是一个大表(>27‘t)，我一直有很多与Cloud的连接问题，所以导出为CSV或JSON并不是
浏览 4提问于2015-01-05得票数 1
回答已采纳
我的数据库在Cloud ( Server)中。公共知识产权被禁用。
我是否可以从BigQuery或Da
浏览 5提问于2022-03-14得票数 0
回答已采纳
1回答
我正在尝试编写一个批处理文件，它可以从Google BigQuery检索特定数据，然后将这些数据插入到mySQL。
批处理服务器的语言是Java，构建工具是Ant。
浏览 2提问于2018-08-23得票数 1
回答已采纳
我希望保存一个视图，该视图在两个项目之间使用联邦查询(来自MySQL Cloud连接)。我收到了两个不同的错误(取决于我试图保存的项目)。如果我试图保存包含数据集的项目，则会得到错误：
FROM item
浏览 2提问于2020-05-19得票数 2
我创建了一个云函数，用于将数据发送到BigQuery。云函数接收来自发布/订阅的数据。场景1:我写了一段python代码，直接把JSON数据发送到Bigquery，没问题 场景二:将JSON数据保存到.json文件中，使用bq load命令手动上传到Bigquery，没问题 场景3：(出现错误时)云函数可以接收来自发布
浏览 9提问于2020-07-23得票数 0
1回答
然而，BigQuery有一个限制，它只能获取自实现时起13个月的先前数据。因此，13个月之前的数据不能使用SQL拉入BigQuery。我在某处读到，我可以为13个月之前的日期范围生成未采样的报告，然后用BigQuery中的SQL代码将它们组合在一起，以结合当前的GA数据。我已经从GA导出了2个带有5个参数的未采
浏览 26提问于2019-06-14得票数 0
我们在Azure中有一个数据存储管道，可以将一个前提下的SQL表移动到Azure blob存储的Gen2中。我认为大部分费用都来自Azure仓库，对吧？现在，我们希望将这些数据移动到BigQuery。由于我们的安全策略，我们仍然需要数据表管道从SQL表中读取。因此，我们创建了一个数据库笔记本，以读取拼花文件，并移动到BigQuery使用火花BigQuery
浏览 5提问于2021-01-21得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
