腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
2
回答
是否使用特定
的
时间
戳列将CSV导入
BigQuery
上
的
已
分区
表
?
我想要将一个大型csv导入
到
一个
bigquery
分区
表
中
,该
表
具有一个timestamp类型
的
列,该列实际上是某个事务
的
日期,问题是当我加载
数据
时
,它会将所有内容都导入
到
今天日期
的
一个
分区
中
。是否可以使用我自己
的
时间
戳值对其进行
分区
?我怎么能做到这一点。
浏览 0
提问于2016-07-05
得票数 1
1
回答
在
分区
表
中保留未
分区
的
旧行
我正在使用一个
BigQuery
分区
表
。
分区
基于
数据
中
的
Timestamp列(而不是基于摄入)。我们正在以每天几百万行
的
速度将
数据
流到这个
表
中
。我们注意
到
,基于特定日期
的
查询扫描
的
数据
比
分区
表
中
的
数据
多得多。以下是未
分区
<e
浏览 0
提问于2019-01-09
得票数 4
1
回答
查询
表
附加
的
BigQuery
配额限制是否适用?
、
在
我
的
C#应用程序
中
,我使用定期添加到
分区
表
table1。目前,这种情况每天只发生在50-100人之间。table1", }) 我知道Big Query有许多限制,而且这些限制通常都有详细
的
文档记录说,“每个
表
每天更新1,000个”,但是文档也明确列出了哪些操作受到配额
的
影响。假设有一个明确
的
列表,也必须有
浏览 4
提问于2019-10-02
得票数 2
回答已采纳
2
回答
使用
BigQuery
存储写API实现对特定
分区
的
Google存储
、
、
我希望通过使用特定
的
分区
将
数据
存储
到
BigQuery
。
分区
是基于摄取
时间
的
。我想使用跨越两年
的
一系列
分区
。我使用
分区
别名目标项目-id:data-set.table-id$
分区
-date。我会遇到失败,因为它确实将目标识别为别名,但作为一个实际
的
表
。它支持吗?
浏览 14
提问于2022-09-12
得票数 1
回答已采纳
1
回答
时间
分区
表
上
的
BigQuery
缓存是如何工作
的
?
、
与
BigQuery
文档不同
的
是,在从
流
数据
分区
表
(Standard )中选择
数据
时
,会缓存结果。示例:当我们对流
数据
分区
表
执行确定性
数据
扫描
时
,使用:如果我们
在
同一
时间
范围
浏览 4
提问于2017-11-13
得票数 5
回答已采纳
2
回答
流到BQ
分区
表
中
、
我正在尝试使用
数据
流来流到BQ
分区
表
中
。文件说:
在
将行
插入
日期
分区
表
中
时
,我可以看到这种情况。是否有一种方法可以设置要
插入
的
行
的
分区
时间
,以便
BigQuery
可以推断正
浏览 1
提问于2016-07-28
得票数 1
回答已采纳
2
回答
数据
流
:我可以用批处理作业连续写入/
流
写入
BigQuery
吗?
、
、
我有一个apache管道,它接收一些信息,将其格式化为TableRows,然后写入
BigQuery
。直到
数据
流
作业完成后,才会将行写入
BigQuery
。如果我有一个需要很长
时间
的
数据
流
作业,我希望能够看到
插入
到
BigQuery
中
的
行,谁能给我指明正确
的
方向? 提前感谢
浏览 0
提问于2018-06-08
得票数 1
3
回答
BigQuery
中
的
日期
分区
模板
表
?
我正在尝试
在
+
表
中
创建
BigQuery
: 用insertAll调用API insertAll得到
的
customer_activated
表
继承了customer
表
的
架构,但
没有
timePartitioning。如何确保模板
表
继承基
表
的
时
浏览 3
提问于2016-06-25
得票数 2
回答已采纳
2
回答
将
数据
流到特定
的
BigQuery
时间
分区
我想知道是否有任何方法将
数据
流到
BigQuery
表
的
特定
时间
分区
。文档指出,您必须使用
表
装饰器:
分区
装饰器使您能够将
数据
加载到特定
的
分区
中
。若要调整时区,请使用
分区
装饰器根据首选时区将
数据
加载到
分区
中
。例如,如果您在太平洋标准
时间
浏览 8
提问于2016-06-17
得票数 9
回答已采纳
1
回答
使用
数据
流
避免
BigQuery
存储API
的
会话关闭
、
、
我正在实现一个ETL作业,它将非
分区
的
BigQuery
表
迁移到
分区
的
表
。为此,我使用了来自
BigQuery
的
Storage。这将创建许多要从其中提取
数据
的
会话。为了将
BigQuery
写入路由
到
正确
的
分区
,我使用了File方法。由于30天
的
限制,
流
插入
是不可行
的</em
浏览 4
提问于2022-09-12
得票数 1
1
回答
BigQuery
最大
分区
在
2000年超过2500个
分区
根据,
分区
表
可以有2500个
分区
: $ bq query --destination_table grey-sort-challenge:partitioning_magic.nyc_taxi_trips_partitioneduse_legacy_sql=false "select * from \`grey-sort-challenge.partitioning_magic.nyc_taxi_trips
浏览 0
提问于2018-03-28
得票数 3
回答已采纳
1
回答
BigQuery
分区
表
插入
过去
的
数据
、
、
我们想要开始
在
BQ中使用“
分区
表
”,但是文档()说,只可能使用“
流
插入
”。 这是否意味着我们不能使用
分区
表
,或者还有其他解决办法?如何为
浏览 2
提问于2018-03-12
得票数 7
回答已采纳
1
回答
BigQuery
:
在
自定义
分区
字段上运行时处理
的
数据
我有一个
表
,该
表
按日使用模式
中
的
时间
戳字段my_partition_field (而不是摄入
时间
_PARTITIONTIME)进行
分区
。执行以下查询
时
:
BigQuery
告诉我,“此查询将在运行时处理XX MB”。处理
的
数据
量与该字段不是
分区
字段相同。但是,如果有相同
的
表</
浏览 2
提问于2021-10-27
得票数 0
回答已采纳
0
回答
BigQuery
插入
作业而不是流式处理
、
我目前正在使用
BigQuery
的
stream选项将
数据
加载到
表
中
。但是,具有日期
分区
的
表
不会显示任何
分区
...我意识
到
这是
流
的
影响。我使用
的
Python代码:
bigquery
_client =
bigquery
.Clien
浏览 9
提问于2016-12-30
得票数 1
回答已采纳
3
回答
BigQuery
“复制表”不适用于小型
表
我试图使用API将一个
BigQuery
表
从一个
表
复制
到
同一个
数据
集中
的
另一个
表
。虽然复制大
表
似乎工作得很好,但我注意
到
目标
表
是空
的
(只创建了0行),但只复制了有限
的
行数(1-10行)。我使用API和
BigQuery
管理控制台获得相同
的
结果。 此问题将复制到我所拥有的任何
数据
集中
的
任何
表
。看上去
浏览 3
提问于2016-02-08
得票数 5
回答已采纳
1
回答
如何知道
bigquery
表
中
的
最小集群大小?
我正在比较集群和
分区
的
性能。我认为这是因为集群
的
最小
数据
大小受到限制。或者,是否还有其他原因造成访问
数据
大小
的
差异? 编辑我找到了前谷歌
的
,
的<
浏览 4
提问于2021-04-05
得票数 1
3
回答
在
列出
的
日期界限之外流到已
分区
表
的
BigQuery
我
在
BigQuery
上注意
到
它说你可以
插入
操作
中</
浏览 9
提问于2017-04-24
得票数 1
1
回答
按日期
时间
划分Google
BigQuery
、
Google :我想在Google
BigQuery
表
上加载~5B记录。我有一个名为“date_time”
的
字段,它描述了记录日期
时间
(从2012年
到
今天)。我希望在这个字段上对
BigQuery
表
进行
分区
。 复杂性:我将所有记录都流到
BigQuery
表
中
,似乎只有过去12个月
的
记录被
BigQuery
接受。date_time:我已经阅读了说明(),但我仍然不明白如何
浏览 2
提问于2019-03-06
得票数 1
回答已采纳
1
回答
BigQuery
表
如何与
分区
和群集字段一起工作?
当将TIMESTAMP列指定为
分区
时
,
分区
将
数据
保存在磁盘上,允许每次访问。这意味着集群字段与记录保存在磁盘上
的
方式无关?
浏览 0
提问于2019-04-10
得票数 0
回答已采纳
1
回答
在
分区
表
中
较晚到达
的
数据
、
、
我正在尝试使用Google
Bigquery
中
的
分区
功能。进入
表
的
日志显示为延迟反映在table.If中日志发生在13点,table.Is上将存在大约15分钟
的
差异有
没有
办法对已
分区
的
表
应用实时?
浏览 11
提问于2017-03-08
得票数 0
点击加载更多
相关
资讯
使用Kafka,如何成功迁移SQL数据库中超过20亿条记录?
从Lambda到无Lambda,领英吸取到的教训
新BigQuery推荐器可提供用户表格分区与分群优化建议
大数据入门基础系列之浅谈Hive的分区表
系统解读Kafka的流和表(三):处理层
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券