关于Presto对lzo压缩的表查询使用记录
关于Presto对lzo压缩的表查询使用记录
WHYBIGDATA
发布于 2023-01-31 11:47:07
发布于 2023-01-31 11:47:07
关于Presto对lzo压缩的表查询使用记录
- 0.写在前面
- 1.正文
- 0.提前说明
- 1.查询ads层表
- 2.查询dwd|dws|dwt层表
- 3.查询ods层表
0.写在前面
- 实验背景：离线数仓项目
- Presto版本：0.196
- Hive版本：3.1.2
- Hadoop版本：3.1.3
1.正文
0.提前说明
- 纯lzo压缩：ods层
- parquet列式存储加lzo压缩：dwd,dws,dwt层
- 普通文本文件：ads层
1.查询ads层表
select * from ads_visit_stats;
❝ads层的查询没有任何问题。 ❞
2.查询dwd|dws|dwt层表
❝「Presto不支持parquet列式存储加lzo压缩的表的查询」 ❞
Presto-Client查询语句：
select * from dwd_start_log;
Presto-Client查询出错：
Query 20220914_021316_00014_sthct, FAILED, 2 nodes
Splits: 22 total, 0 done (0.00%)
0:01 [0 rows, 0B] [0 rows/s, 0B/s]
查看Presto-Client查询出错的日志文件：
[root@node01 presto]$ tail -500 data/var/log/server.log
信息如下:
Query 20220914_021316_00014_sthct failed: Can not read value at 0 in block -1 in file hdfs://node01:8020/warehouse/gmall/dwd/dwd_start_log/dt=2020-06-15/000001_0
vim /opt/module/presto-0.196/data/var/log/server.log
Caused by: parquet.hadoop.BadConfigurationException: Class com.hadoop.compression.lzo.LzoCodec was not found
at parquet.hadoop.CodecFactory.getCodec(CodecFactory.java:161)
at parquet.hadoop.CodecFactory.getDecompressor(CodecFactory.java:178)
at parquet.hadoop.ParquetFileReader$Chunk.readAllPages(ParquetFileReader.java:610)
at parquet.hadoop.ParquetFileReader.readNextRowGroup(ParquetFileReader.java:496)
at parquet.hadoop.InternalParquetRecordReader.checkRead(InternalParquetRecordReader.java:127)
at parquet.hadoop.InternalParquetRecordReader.nextKeyValue(InternalParquetRecordReader.java:208)
... 16 more
很明显，error显示为com.hadoop.compression.lzo.LzoCodec没有找到
❝对接lzo压缩包的要放置在presto安装目录下的
plugin/hive-hadoop2目录下 ❞
[root@node01 hive-hadoop2]$ cp /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar ./
- 分发lzo的jar包
[root@node01 hive-hadoop2]$ my_rsync ./hadoop-lzo-0.4.20.jar
- 重启Presto-server
[root@node01 presto]$ xcall.sh /opt/module/presto-0.196/bin/launcher stop
[root@node01 presto]$ xcall.sh /opt/module/presto-0.196/bin/launcher start
- 超时|集群仍在初始化，没有足够的活跃的worker节点去执行查询语句 需要等待一会。
- 执行查询语句，不再报错
presto:gmall> select * from dwd_start_log
3.查询ods层表
- ods_log表是纯lzo压缩
presto:gmall> select * from ods_log;
美团技术团队文章关于「Presto二次开发和BUG修复」提到：Presto不支持查询lzo压缩的数据，需要修改hadoop-lzo的代码
❝https://tech.meituan.com/2014/06/16/presto.html ❞
解释说明
Presto是即席查询工具，ods层的数据含有敏感数据和脏数据，通常情况下，数据查询不需要对ods层查询，对于本项目而言，即便Presto读取不了ods层数据，也影响不大。
解决方案
对于这个问题，需要修改hadoop-lzo的代码，美团的解决方案开源在Github上：
❝https://github.com/MTDATA/presto/commits/mt-0.60 ❞
❝顺利结束 ❞
本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。
原始发表：2022-09-15，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
腾讯云开发者
