我有一个包含userId列的BigQuery表。userId是来自mysql (自动增量字段)的外部id。最常见的查询将是根据此id进行过滤： SELECT * FROM tableName WHERE userId=123 我想划分表的userId更好的性能和价格，但谷歌要求我指定end数字，但我没有结束，结束是n-今天是1000，明天可以是4000000。
浏览 10提问于2020-11-23得票数 1
回答已采纳
我们已经开始迁移到使用BigQuery中的分区表。我们注意到复制分区表比非分区表花费的时间要长得多--在任何情况下都是如此。我相信这是有一个很好的理由的，例如因为BigQuery的底层体系结构&分区表。例如(在同一个项目中复制和复制到相同的数据集)：
作业id：
浏览 6提问于2017-04-04得票数 2
回答已采纳
有没有一种方法可以用一条命令提取完整的BigQuery分区表，以便将每个分区的数据提取到一个单独的文件夹中，格式为part_col=date_yyyy-mm-dd 既然Bigquery分区表可以从hive类型的分区目录中读取文件，那么是否有一种方法可以以类似的方式提取数据。我可以单独提取每个分区，但是当我提取大量分区时，这是非常麻烦的
浏览 25提问于2019-07-02得票数 5
回答已采纳
5回答
我有一个用例，其中我们在BigQuery中有几个表。现在，我想在BigQuery表中的一个列上实现一个索引。但我找不到足够的文件来做这件事。我发现一些博客和帖子提到BigQuery不支持索引。请帮我找到一个博客或帖子，可以帮助我在BigQuery上实现索引。提前谢谢。
浏览 3提问于2015-02-19得票数 18
回答已采纳
我每天都需要加载到BigQuery的分区表中，在s3中创建了(2 TB)大小为20k的文件。文件每5分钟滚动一次。
将数据传输到BigQuery的最经济高效的方法是什么？我正在寻找在亚马逊网络服务s3到GCP网络出口和实际数据加载的成本优化。
浏览 1提问于2019-12-19得票数 0
我正在比较集群和分区的性能。我认为这是因为集群的最小数据大小受到限制。或者，是否还有其他原因造成访问数据大小的差异？
编辑我找到了前谷歌的，的帖子。Post 2说“BigQuery中的每个
浏览 4提问于2021-04-05得票数 1
我有一个包含340 we数据的表，但我们只使用了过去一周的数据。因此，为了最大限度地降低成本，计划将这些数据移动到分区表或分片表中。全表-27秒分区表- 33秒切片表- 91秒
请告诉我哪种方法最好。
浏览 0提问于2016-09-15得票数 6
基于Google BigQuery文档，BigQuery有以下限制()：每个分区表的最大分区数- 20,000
谢谢!
浏览 2提问于2020-05-25得票数 2
1回答
我目前正在将数据仓库迁移到BigQuery中。我一直试图去美化数据库，因为我已经读到它可以带来更高效、更便宜的查询。然而，这导致了许多嵌套表。如果每个嵌套表都有一个列"created_at“和"last_modified_at"，那么是否可以使用这些值中的任何一个来对表进行分区？
浏览 3提问于2021-12-02得票数 1
回答已采纳
在目标分区中，我有一个小于600MB数据的分区表。这不是一个大的查询结果。我是GZIPing的结果，所以连接将涉及到解压，附加和拉链再次.
浏览 5提问于2021-10-06得票数 3
回答已采纳
我似乎在BigQuery文档中找不到关于如何控制这个的任何信息。我可以将导出配置为单个文件吗？还是进入N个文件，每个文件最多100万行？还是N个文件最多50 to？
浏览 6提问于2021-12-23得票数 0
我在BigQuery中有一个表BigQuery，它包含50亿行(~80 in )，并在dateTimeCreated列上进行分区，该列的时间戳类型是按日划分的。能够快速返回结果，因为这基本上是在计算每个分区中的行数，我认为这是BigQuery作为内部元数据维护的一个统计(这当然是我在使用摄取时间分区表时的经验)。不幸的是，情况似乎并非如此。需要BigQuery 73 s才能返回结果
浏览 4提问于2021-09-04得票数 0
回答已采纳
我有以下模式和设置： job_config = bigquery.LoadJobConfig(schema = [bigquery.SchemaField("Timestamp", "TIMESTAMP"),bigquery.Sch
浏览 10提问于2019-12-21得票数 0
回答已采纳
1回答
我在BigQuery中有很多表是分日期的，包括几年的数据。最近有人告诉我，这是一种旧的优化方法，而且日期分区要快得多。
这是正确的吗？我一直在寻找方法来提高对这些数据的查询速度，如果日期分区允许更快的查询，我应该重新构建所有的日期分割GA表作为日期分区吗？我应该两者都做吗？我可以期望看到什么样的性能影响，这真的值得付出努力吗？
浏览 0提问于2019-04-18得票数 1
我本来希望我可以用Python来转换它，然后从脚本中直接使用GBQ来完成这个任务，但是在阅读了这个，特别是之后，创建日期分区表似乎不那么直接。我在找一只方向正确的牛。有没有任何python脚本的工作示例可以做到这一点？还是不可能通过Python完成呢？或者有人能给我指点方向的方法？更新
我不确定是否遗漏了什么，但创建的表似乎是按照创建表时的插入日期进行分区的，并且希望按照现有数据集中的日期进行分区。我看不出有什么可以改变的。下面是我所
浏览 7提问于2017-09-26得票数 3
回答已采纳
根据，分区表可以有2500个分区：
$ bq query --destination_table grey-sort-challenge:partitioning_magic.nyc_taxi_trips_partitioneduse_legacy_sql=false "select * from \`grey-sort-challenge.partitioning_magic.nyc_taxi_trips\`"
查询字符串中的错
浏览 0提问于2018-03-28得票数 3
回答已采纳
2回答
我想确认一下，如果您对Oracle数据进行分区，也会对减少用于索引的空间总量产生影响。
我想，如果涉及更多的表空间，用于处理这些数据的索引数据的大小就应该减小，从而使索引的大小比数据大小的缩减更大。现在，我还没有分区许可证，我想把它作为成本调整的一小部分(尽管性能是最大的)。
浏览 0提问于2018-10-17得票数 2
回答已采纳
如何使用bq命令行工具将csv文件加载到Bigquery中，同时将微秒时间戳转换为bq时间戳？/schema.jsonWaiting on bqjob_r65c10_1 ... (0s) Current status: DONE
BigQuery error in load有没有一种方法可以直接将带有微秒时间戳的文件加载到分区(
浏览 9提问于2022-06-28得票数 1
回答已采纳
我想将我的摄取时间分区表从一个区域迁移到另一个区域(使用自定义Python脚本)，但是当我提取和加载它们时，它们都落入今天的分区中，因为它们就是摄取到表中的分区。如何确保新表包含与原始表相同的摄取时间分区结构？
浏览 0提问于2020-08-28得票数 0
2回答
我是想利用您在BigQuery中的经验来决定我的数据的最佳结构，我在关系数据库(尤其是Oracle )方面有5年的经验，我熟悉关系数据库中构建数据仓库的最佳实践，但在云解决方案方面，我仍然是新手因此，我的很多数据每天都有较低的行数(从1K到12Kmax之间
浏览 4提问于2019-12-13得票数 1
回答已采纳
相关资讯
热门标签
云服务器
ICP备案
云直播
腾讯会议
实时音视频活动推荐
腾讯云开发者
