问按日期时间划分Google BigQuery
EN

Stack Overflow用户

提问于 2019-03-06 09:31:23

回答 1查看 1.2K关注 0票数 1

Google ：我想在Google BigQuery表上加载~5B记录。我有一个名为“date_time”的字段，它描述了记录日期时间(从2012年到今天)。我希望在这个字段上对BigQuery表进行分区。

复杂性：我将所有记录都流到BigQuery表中，似乎只有过去12个月的记录被BigQuery接受。

date_time：我已经阅读了说明(https://cloud.google.com/bigquery/docs/partitioned-tables)，但我仍然不明白如何以允许在“date_time”字段上进行分区/索引的方式来流数据。

回答已采纳

发布于 2019-03-06 12:22:07

当前流限制在此链接中定义。

你可以在过去的一年和将来的六个月之间进行数据流。此范围以外的数据将被拒绝。当数据被流时，将过去的7天到将来的3天之间的数据放在流缓冲区中，然后将其提取到相应的分区。此窗口之外的数据(但在1年、6个月的范围内)放置在未分区的分区中。当有足够多的未分区数据时，它将被加载到相应的分区中。

正如@Felipe在这个回答中所建议的，您应该将数据流到一个非分区表，并使用复制/加载操作将其移动到分区表中。

注意:您只支付流插入的费用，所以这样的解决方案不需要额外的成本。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/55019700

复制

相似问题

问按日期时间划分Google BigQueryEN