实时即未来,最近在腾讯云Oceanus进行实时计算服务,以下为flink写入Kudu实践中的总结。分享给大家~
kudu的架构依赖于Hadoop体系,一般具有3个masterServer。
内部表由Impala管理,从Impala中删除时数据和表会被删除。
外部表(CREATE EXTERNAL TABLE)不受Impala管理,并且删除此表不会将表从其源位置(此处为Kudu)丢弃。只会去除Impala和Kudu之间的映射。
cd /usr/local/service/kudu/bin
# 查看kudu所有表
./kudu table list master01,master02,master03
# 查询表数据
./kudu table scan master01,master02,master03 yourTableName
Kudu 使用Impala创建新表时,它通常是内部表,并且在Kudu中存储时带有Impala的前缀。如,在Kudu中真实的表名常常为impala::default\_database.table\_name
。
而通过Java API(JDBC)方式创建的表,默认在Impala中是看不到的,即在Impala中没有对应的表信息。
不过可以将kudu中的表映射到impala中:
CREATE EXTERNAL TABLE kudu_name
STORED AS KUDU
TBLPROPERTIES (
'kudu.master_addresses' = 'hadoop01:7051,hadoop02:7051,hadoop03:7051',
'kudu.table_name' = 'PERSON'
);
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059 深公网安备号 44030502008569
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
Copyright © 2013 - 2025 Tencent Cloud.
All Rights Reserved. 腾讯云 版权所有