引言
欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。
SQL问题
Q1 doris前缀索引遇到 VARCHAR 类型时会直接截断,请问遇到update_time日期类型是否会截断
A1 日期类型是计算字节数的;新的v2版本中datetime占用8字节,date占用4字节,老版本v1占用16字节。
Q2 doris 2.1版本查询sql执行时报:couldn't resolve slot
A2 通常是新优化器没开,老优化器兼容问题导致,可以基于官方文档确认新优化器是否打开后再执行sql。
新优化器内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/query/nereids/nereids-new
数据操作问题
Q3 doris表设置的双副本,分别在两个be节点上面,但是降冷后是不是只有一份物理存储了?
A3 冷备后只有一份数据副本,可靠性是通过冷备的介质决定的,比如S3 或者 HDFS自身保障。
Q4 doris存decimal类型的数据,默认就 decimalv3类型?
A4 1.2.4后 将不再显示为DecimalV3,而直接显示为 Decimal;在>=2.0版本开始统一为Decimal了。
Decimal内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/sql-manual/sql-data-types/numeric/DECIMAL
Q5 doris进行delete where 后是否可以恢复数据
A5 不能。当前的数据恢复特性,主要是对于db/table/partition级别,doris为了避免误操作造成的灾难,支持对误删除的数据库/表/分区进行数据恢复,在drop table或者 drop database之后,doris不会立刻对数据进行物理删除,而是在 Trash 中保留一段时间,管理员可以通过recover命令对误删除的数据进行恢复。
数据恢复内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/admin-manual/data-admin/recyclebin/
运维常见问题
Q6 doris如何动态修改be的配置项
A6 动态修改be的配置项,可以通过update api进行修改:
curl -X POST http://{be_ip}:8040/api/update_config?{配置项名}={配置项值}&persist=true
注意事项:
1. 调用时只会update对应be的配置项,如果多个be需要分别补齐对应be_ip进行update
2.部分配置项无法进行update动态修改,可能是当前版本还未支持或者配置项本身不支持动态修改,需要更改be.conf对应配置下后重启be进行修改
BE配置项内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/admin-manual/config/be-config
Q7 doris怎么查表对应的tableId?
A7 如下:
-- 获取表的一个tablet
ADMIN SHOW REPLICA STATUS FROM db.table
-- 通过tablet信息获取
SHOW TABLET tabletid
Q8 doris 3.0版本的存算分离进行回收站清理时报:
[HY000][1105] errCode = 2, detailMessage = Unsupported operation
A8 doris回收站可以分fe和be两侧来看,存算一体和分离下的fe回收站流程一致,但是admin clean trash命令是去清理be回收站。 存算分离下be只是个无存储状态的计算节点,所以这个命令对于存算分离无效。
Q9 doris库中清空表后,事务数还是1000,如何释放:
ERROR 1105 (HY000): errCode = 2, detailMessage =
current running txns on db 4392590 is 1000, larger than limit 1000A9 可以手动abort,参考如下:
curl -X PUT --location-trusted -u user:passwd -H "txn_id:18037" -H "txn_operation:abort"
http://fe_host:http_port/api/{db}/{table}/stream_load2pc { "status": "Success", "msg": "transaction [18037] abort successfully." }
其它问题
Q10 Elasticsearch 到 Apache Doris,如何做到降本增效,统一搜索分析引擎?
A10 腾讯音乐的内容搜索引擎从 Elasticsearch 到 Apache Doris 的替换,实现同时满足内容搜索和数据分析的需求,并满足复杂的自定义标签计算的支持。最终,实现存储成本降低 80%,写入性能提升 4 倍的显著效益。
腾讯音乐:从 Elasticsearch 到 Apache Doris 内容库升级,统一搜索分析引擎,成本直降 80%:
https://mp.weixin.qq.com/s/t3uOilISBXowGrZ-qxRWsA
