首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >【Apache Doris】周FAQ集锦:第 24 期

【Apache Doris】周FAQ集锦:第 24 期

作者头像
一臻数据
发布2024-12-24 15:41:45
发布2024-12-24 15:41:45
4540
举报
文章被收录于专栏:一臻数据一臻数据

引言

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!

在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。

通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。



SQL问题

Q1 doris的倒排索引,如果查询时要精确匹配不走分词,需要怎么写?

A1 全文检索短语匹配,可以通过 MATCH_PHRASE 完成。

倒排索引内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/table-design/index/inverted-index

数据操作问题

Q2 doris的异步物化视图是否支持基表数据写入时触发式更新对应视图?

A2 2.1.4后支持构建支持内表触发式更新,如果物化视图使用的是内表,如果内表数据发生变化,可以触发物化视图刷新,需要在创建物化视图时指定 REFRESH ON COMMIT。

建议升级至>=2.1.6稳定版本。

2.1.4 release note内容可查阅:

https://doris.apache.org/zh-CN/docs/releasenotes/v2.1/release-2.1.4/

Q3 doris的flink-doris-connector如何忽略源端的delete操作?

A3 如下:

代码语言:javascript
复制
# 修改如下属性即可:
sink.enable-delete=false
# 此属性设置为false后,有delete时相当于append操作,即写入入一条一模一样的数据。

Flink Doris Connector内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/ecosystem/flink-doris-connector

Q4 doris的hive catalog性能如何

A4 doris的hive catalog用的不是jdbc,性能优异,且非常便捷,通过hms映射元数据直接去拉取HDFS/S3上的文件进行读写。

hive catalog内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/lakehouse/datalake-analytics/hive

Q5 doris的stream load导入时,为什么到一定使用内存时任务就被cancel?

A5 通常是数据量过大导致,可以调大下be对应的配置项:

代码语言:javascript
复制
# stream load一般适用于导入几个 GB 以内的数据,不适合导入过大的数据。 
curl -X POST http://{be_ip}:{be_http_port}/api/update_config
?streaming_load_max_mb=xxx

stream load内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/data-operate/import/import-way/stream-load-manual

Q6 doris查看tablet的元数据情况时,segment 为什么会存在0的情况?

A6 通常是导入数据时,数据hash到多个tablet,会存在某些tablet没有hash到数据,所以segment数量是0;且这种segment不怎么占用compaction资源。

Q7 doris 在使用 Select Into Outfile 导出文件到本地时,是否可以导出到指定 BE 所在服务器?

A7 不可以。使用 Select Into Outfile 导出文件到本地时,会随机导出到某个本地路径,暂不支持导出到指定路径。

Select Into Outfile内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/data-operate/export/outfile

运维常见问题

Q8 fe进程挂时,如何确认是否为异常kill?

A8 如下:

代码语言:javascript
复制
# 查看下fe.out 中有没有kill pid的日志
grep "kill" fe.out 

Q9 doris集群中系统缓存一直很高,是否正常?

A9 这个指标时操作系统自动调度的,如果集群正常读写可以不用关注。

其它问题

Q10 kettle到doris是否有插件?

A10 Kettle Doris的插件,用于在Kettle中通过 Stream Load 将其他数据源的数据写入到 Doris 中。

该插件是利用 Doris 的 Stream Load 功能进行数据导入的。需要配合 Kettle 服务一起使用。

Kettle Doris Plugin内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/ecosystem/kettle

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-11-08,如有侵权请联系 cloudcommunity@tencent.com 删除
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档