我正在尝试将Redshift迁移到BigQuery。表的大小是2TB+，我正在使用bigquery红移数据传输服务。但是迁移已经运行了5个多小时。还可以看到在Redshift端执行的查询将数据卸载到50MB的区块中。由于无法在红移传输作业中配置块大小参数。将2TB的数据从redshfit传输到BigQuery需要这么多时间，或者可以做一些事情来改进这项工作。
有一些像雪花一样的系统
浏览 39提问于2019-07-22得票数 0
我们想要检查外部商店拼图文件的BigQuery性能。这些拼图文件存储在亚马逊网络服务的S3上。在不传输文件到GCP的情况下，可以编写可以在亚马逊网络服务S3存储的拼花面板文件数据集上运行的BigQuery。
浏览 0提问于2020-03-03得票数 0
3回答
我有以下用例:需要使用PySpark分析大量结构化数据。数据当前为CSV格式。我正在尝试找出在谷歌云上存储数据的最佳方式。我的理解是HDFS不会工作，因为每次集群关闭，HDFS数据都会消失，所以我每次都必须从CSV转换到HDFS，这很耗时。似乎正确的策略是使用BigQuery，但是我不能确定BigQuery是否是持久性的？
浏览 20提问于2017-06-28得票数 0
回答已采纳
我们正在尝试每天使用计算引擎VM实例将数据从谷歌云DataStore复制到BigQuery，但它对我来说太昂贵了，将整个数据集复制到BigQuery，基本上我们只需要更新的数据(只更改了记录)，我们不想使用外壳脚本将整个表从数据存储复制到bigquery。
浏览 29提问于2020-02-10得票数 0
我正在寻找某种方式，在更新bigquery表时，需要通知计算引擎上的代码？类似于谷歌云存储上的对象更改通知？如果没有工作的话？我的bigquery表使用数据传输服务进行更新。
浏览 1提问于2017-06-22得票数 0
回答已采纳
在我的数据传输工作中，每天将数据从Google传输到BigQuery数据集，我会收到以下错误。错误代码5:没有找到任何报告的文件。请确保您选择了正确的谷歌云存储桶和谷歌播放报告存在。
浏览 1提问于2020-07-03得票数 1
回答已采纳
我已经在BigQuery中成功地安排了我的查询，结果被保存为数据集中的表。我看到了很多关于将在中传输到BigQuery或Cloud的信息，但我还没有发现任何关于将导出从( BigQuery表)调度到云存储( Cloud )的信息。是否有可能安排将BigQuery表导出到云存储，以便我可以进一步安排通过Google数据传输
浏览 6提问于2020-01-10得票数 3
谷歌BigQuery数据传输服务允许我自动传输特定的应用程序数据吗？我不太明白如何用那个例子来计算我的成本。
谢谢。
浏览 5提问于2022-06-22得票数 0
回答已采纳
Google BigQuery的数据传输服务可以使用多个云存储位置作为数据摄取到BigQuery的源目的地吗？
BQ对来自GCS的数据摄取的收费方式与任何其他云源有什么不同吗？数据传输服务的文档中提到，从2017年6月1日起，BQ将收取数据传输服务的月费？我们有关于成本模型的
浏览 1提问于2017-05-16得票数 0
我每天都需要加载到BigQuery的分区表中，在s3中创建了(2 TB)大小为20k的文件。文件每5分钟滚动一次。
将数据传输到BigQuery的最经济高效的方法是什么？我正在寻找在亚马逊网络服务s3到GCP网络出口和实际数据加载的成本优化。
浏览 1提问于2019-12-19得票数 0
1回答
我正在将一个项目从一个组织迁移到一个新的组织。项目ID、数据集ID和任何其他ID是否保持不变？除了中提到的，还有其他潜在的干扰吗？
浏览 8提问于2022-06-07得票数 0
我们的网站设置了每天从谷歌分析到BigQuery的数据传输。但是，BQ中的每日数据集通常在上午7:30到10:30 (GMT+1)左右可用。有没有办法更快(一大早)进行更新？我们的网站位于荷兰，但BigQuery中的谷歌分析数据集存储在美国。
浏览 4提问于2018-11-13得票数 0
2回答
我有一个Cloud SQL数据库(作为PostreSQL)，我想向BigQuery传输一份副本。这代表了1TB的数据(使用云SQL存储)，超过100个表。
我想估算一下这种一次性的大数据传输的成本。当我阅读BigQuery和Cloud SQL定价的GCP文档时，我得到的印象是这是免费的: BigQuery导入是免费的，Cloud
浏览 2提问于2020-12-12得票数 0
我有大小为10MB的CSV数据，所以是否可以在bigquery中一次上传10MB的数据，或者它有一些限制。
感谢和问候，Gopi Thakur
浏览 20提问于2019-11-29得票数 0
我正在尝试从google bigquery导入一个表格到google sheets。数据>数据连接器>大查询，但当我导入它时，它显示限制为10,000行。
有没有办法超过这一限制？
浏览 1提问于2020-07-06得票数 0
我的问题是如何设置我的云存储存储桶，以便从我的Campaign Manager帐户检索数据。我的目标是在Big query中处理Camapaign报表数据，将它们与其他数据源相结合。因此，在文档中，似乎可以使用Transfer Data实用程序，但我需要在之前将数据文件存储在云存储桶中，然后才可以使用数据传输来
浏览 0提问于2019-07-01得票数 1
我们在Azure中有一个数据存储管道，可以将一个前提下的SQL表移动到Azure blob存储的Gen2中。我认为大部分费用都来自Azure仓库，对吧？现在，我们希望将这些数据移动到BigQuery。由于我们的安全策略，我们仍然需要数据表管道从SQL表中读取。因此，我们创建了一个数据库笔记本，以读取拼花文件，并移动到BigQuery使用火花BigQuery连接器。
浏览 5提问于2021-01-21得票数 0
回答已采纳
我们有一个从另一个数据库导出csv文件的脚本，并将它们上传到GCP云存储上的存储桶中。现在我知道可以使用BigQuery数据传输服务计划加载到BigQuery中，但我有点惊讶的是，似乎没有一个解决方案可以在文件上传完成时自动触发。 我错过了什么吗？
浏览 20提问于2021-03-31得票数 0
回答已采纳
7回答
我希望将数据从BigQuery中的表传输到Redshift中的另一个表中。我计划的数据流如下：我知道谷歌云存储传输服务，但我不确定它是否能帮助我。来自Google文档：
此页面描述云存储</
浏览 13提问于2016-09-05得票数 41
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
