我需要在测试环境中创建BigQuery中的生产数据集的副本，并使用它来模拟具有新更改的管道处理。 然而，生产数据集是巨大的。因此，我通常只想保留它的最新数据以供测试。为此，我想截断数据集中超过30天的所有分区数据。 我尝试在数据集级别设置分区过期。它不起作用。 我怎么能做到这一点呢。
浏览 20提问于2021-07-17得票数 0
3回答
我在bigquery中有一个相当大的现有分区表。我希望使表聚集在一起，至少对于新的分区是这样。从文档：中，我们可以使用Creating a clustered table when you load data，我尝试使用集群字段加载一个新分区：job_config.clustering_fields加载成功完成，但是新分区似乎没有集群(我不确定如何检查它是否是群集的，但当我查询特定
浏览 0提问于2018-08-29得票数 8
回答已采纳
这对我来说也是一样的，在DDL语句下面运行创建分区表时，它创建的是空的分区表，不确定为什么！--这发生在BigQuery Sandbox环境中。FROM
bigquery-public-data.stackoverflow
浏览 18提问于2022-03-21得票数 1
回答已采纳
1回答
如何在BigQuery WebUI中创建Bigquery分区表。我知道我们可以从gcloud和api创建。我搜索了WebUI，但没有找到从webUI创建分区表的任何选项。
谢谢,
浏览 4提问于2016-09-11得票数 1
Bigquery文档表示，可以更新已分区表的分区过期时间。而我只能在摄入时间分区表时才能做到这一点。现在，对于已分区表： CREATE TABLE IF NOT EXISTS [DATASET].partitioned_tabledays
bq update --time_partitioning_expiration 604800 [PROJECT-ID]:[DATASET].
浏览 2提问于2018-04-23得票数 8
回答已采纳
我们已经开始迁移到使用BigQuery中的分区表。我们注意到复制分区表比非分区表花费的时间要长得多--在任何情况下都是如此。我相信这是有一个很好的理由的，例如因为BigQuery的底层体系结构&分区表。例如(在同一个项目中复制和复制到相同的数据集)：
作业id：
浏览 6提问于2017-04-04得票数 2
回答已采纳
1回答
我试图根据时间戳列对表进行分区。TABLE `stackoverflow.questions_2018_partitioned` PARTITION BY DATE(creation_date) AS SELECT * FROM `bigquery-public-data.stackoverflow.posts_questions` WHERE creation_date BETWEEN '2018-01-01' AND '2018-07-01';
但是分区表是空的。你能帮我找出我<
浏览 19提问于2022-02-03得票数 0
我使用一个BigQuery视图从一个BigQuery表中获取昨天的数据，然后尝试使用Dataprep将数据写入一个日期分区表。但是，在使用Dataprep和设置输出BigQuery表时，只有3种选项用于：Append、Truncate或Drop现有表。如果对表进行了日期分区，并且使用了Truncate，它将删除所有现有数据，而不仅仅是该分区中的数据。
还有别的方法可以让我用吗？我<
浏览 0提问于2018-08-23得票数 2
我希望将bigquery非分区表(2TB)中的数据作为日期分区文件导出到。因此，我可以轻松地将大的非分区表转换为分区表。
浏览 2提问于2017-07-10得票数 1
回答已采纳
注意:这几乎是的重复，区别是在本例中源表是日期分区的，而目标表还不存在。而且，这个问题的公认解决方案在这种情况下是行不通的。我正在尝试将一天的数据从一个日期分区表复制到一个我还没有创建的新的日期分区表中。我希望BigQuery能够像通常对非日期分区的情况一样，为我创建日期分区的目标表。：
cp操作中<
浏览 7提问于2017-06-16得票数 5
回答已采纳
1回答
在BigQuery中，不能对分区表使用create or replace table语句。我可以将表导出到GCS，但是BigQuery会生成多个无法一次性导入到表中的JSON文件。有没有一种从分区表中删除列的安全方法？我使用BigQuery的web界面。
浏览 1提问于2020-09-23得票数 0
因此，现在我正在使用谷歌CloudSQL满足我的需要。我所有的数据插入、选择、更新等等都是从我用PHP编写的API中执行的。所以我的问题是，如果我使用Google BigQuery来满足我的需要，我能得到更
浏览 0提问于2016-10-27得票数 2
回答已采纳
在显示现有分区的Installtion菜单中，菜单为空。如果我单击“新建分区表”，什么都不会发生。谢谢你的帮助。
浏览 0提问于2013-05-30得票数 1
基于Google BigQuery文档，BigQuery有以下限制()：每个分区表的最大分区数- 20,000
谢谢!
浏览 2提问于2020-05-25得票数 2
我想要将CSV数据加载到包含不同分区BigQuery的table.My CSV文件中，我可以将整个CSV文件加载到BigQuery分区表中，以便将特定的csv分区数据分配到BigQuery中的各个分区。
浏览 5提问于2017-04-17得票数 0
回答已采纳
2回答
我正在尝试使用数据流来流到BQ分区表中。文件说：
在将行插入日期分区表中时，我可以看到这种情况。是否有一种方法可以设置要插入的行的分区时间，以便BigQuery可以推断正确的分区？
浏览 1提问于2016-07-28得票数 1
回答已采纳
有没有一种方法可以用一条命令提取完整的BigQuery分区表，以便将每个分区的数据提取到一个单独的文件夹中，格式为part_col=date_yyyy-mm-dd 既然Bigquery分区表可以从hive类型的分区目录中读取文件，那么是否有一种方法可以以类似的方式提取数据。我可以单独提取每个分区，但是当我提取大量分区时，这是非常麻烦的</
浏览 25提问于2019-07-02得票数 5
回答已采纳
我试图使用以下命令从BigQuery中的分区表中删除列其结果是删除不需要的列，更改架构，但不再对数据进行分区。
对于删除列后如何保持数据分区有任何建议吗？仅对于非分区表，文档是透明的。
浏览 1提问于2018-02-16得票数 0
回答已采纳
我有一个表，该表按日使用模式中的时间戳字段my_partition_field (而不是摄入时间_PARTITIONTIME)进行分区。执行以下查询时：BigQuery告诉我，“此查询将在运行时处理XX MB”。处理的数据量与该字段不是分区字段相同。但是，如果有相同的表按摄入时间进行分区，并且运行以下查询：
SELECT _PARTITIONTIME FROM MY_T
浏览 2提问于2021-10-27得票数 0
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
