首页
学习
活动
专区
圈层
工具
发布

【Apache Doris】BE宕机问题排查指南

一、背景介绍 在实际线上生产环境中,大家可能遇到过BE 宕机的问题,Apache Doris 的BE部分是由C++编写,当出现一些内存越界,非法访问的问题时会导致BE进程的Crash,同时也比较难排查,...手动配置 Service 自动拉起:服务自动拉起 - Apache Doris 3....如果没有堆栈信息,只有一些启动信息的话,可以通过执行dmesg -T 看看是否是OOM,如果是OOM会有Killed的日志: 三、BE Crash排查 BE Crash 后如何排查: 1....如果是已知问题,并且在新版本已经修复,那么可以考虑通过升级解决这个问题 特殊情况 有时候问题比较难复现,排查问题的周期也会比较长,如果问题比较严重,那么对用户业务的影响面还是比较大的,所以有时需要用户环境生成的...首先可以参考官网OOM的分析以及memtracker如何看: BE OOM分析 - Apache Doris: https://doris.apache.org/zh-CN/docs/admin-manual

1.2K00

【Apache Doris】Compaction问题排查指南

“本文主要说明一些常见Compaction问题的排查思路和临时处理手段。 如果问题紧急,可联系Doris社区同学处理,若阅读中有问题,可以反馈给Doris社区同学。...建议根据tablet 1GB - 10GB的最佳实践,设置bucket数量 ... 1.3 compaction策略问题 compaction score很高的tablet,却很久没有执行过compaction...'{print $8}' | awk -F\| '{print $1}' | awk -Fms '{print $1}' | awk -F= '{sum+=$2} END {print sum}' Apache...本身问题不在compaction,可以观察下,如何compaction不是持续的失败,并且compaction score没有明显的身高,可以暂不处理,持续观察。...很可能查询也会core,只是没有进行查询,所以通过compaction暴露了这个问题。对于此类core,需要联系社区的同学定位处理。

1K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    【Apache Doris】数据副本问题排查指南

    导读 本文本文主要分享Doris中数据副本异常的问题现象、问题定位以及如何处理此类问题。 一、问题现象 1....问题原因 迁移副本过程可能丢version,在2.0.3修复了,或者在数据导入过程中be宕机。...当确定异常tablet_id时,参考如下步骤先进行问题信息收集: 1....如果没问题,就自动修复完成了,不用往下看。如果还是有问题,接着往下看。 2. 重新导数手动修复 如果是多个副本都损坏,并且是分区表的情况下,可以删除这个分区,然后手动重建这个分区,重新导入数据即可。...如果没问题,使用: select count(*) from {table}; 查看是否可读,可读则说明数据副本问题已处理。

    82210

    Apache Doris 数据均衡问题排查指南

    一、基本介绍 1.1 适用场景 本指南适用于 Doris 集群出现以下数据均衡相关问题时的排查与处理: BE 节点上线/下线进度卡死(表现为 BE 的 tablet 数量长时间无变化) BE 节点之间数据分布不均衡...Apache Doris 索引的全面剖析与使用指南 Apache Doris 湖仓一体:打破数据边界,解锁实时分析的终极答案 Doris vs ClickHouse 企业级实时分析引擎怎么选?...Doris 导入慢该如何排查和优化 Doris 建表与分区问题全解析 完 ● 数据极客圈子介绍 ● 圈子1 Apache Doris社区是目前国内最活跃的开源社区(之一)。...Apache Doris(Apache 顶级项目) 聚集了世界全国各地的用户与开发人员,致力于打造一个内容完整、持续成长的互联网开发者学习生态圈!...GitHub:https://github.com/apache/doris dev邮件组:dev@doris.apache.org 可以加作者微信(Faith_xzc)直接进Doris

    28410

    【Apache Doris】数据均衡问题排查指南

    导读 本文主要分享数据均衡过程中的异常问题排查流程、定位调优和常见FAQ。 一、前提概要 当集群处于以下几种情况时,可参考本文进行问题排查。...BE节点之间的数据不均 单个BE节点上的多个磁盘之间的数据不均 BE节点的上线和下线进度卡死(BE的tablet数量没有变化) 在排查数据均衡问题之前,需要先确认FE的以下几个参数是否正确 --检查方式...enable_disk_balance_for_single_replica --修改命令 admin set frontend config("enable_disk_balance_for_single_replica"="true"); 问题排查的思路按照下方步骤...或者通过搜索Master FE的日志grep "tablet schedule\|TableSch" fe.log|grep tablet_id 当均衡任务失败时,可以根据 常见FAQ 小节进行排查。...均衡速度慢 单个均衡任务分为这几个步骤: 全量拷贝一个新tablet-->对新tablet进行增量拷贝-->对于冗余的tablet进行删除 均衡速度慢怎么排查?

    60200

    Apache配置指南及常见问题排查

    本文将分为两部分: 如何配置 Apache 虚拟主机。 如何排查和修复常见的配置错误。 1. Apache 基础配置概述 Apache 的配置文件通常位于 /etc/apache2/ 目录下。...如何排查和修复 Apache 配置错误 在配置 Apache 时,我们可能会遇到一些常见的错误,比如语法错误、权限设置不正确或文件路径错误。接下来,我们将基于以下步骤详细讲解如何排查并修复这些问题。...如果出现错误,Apache 会给出提示,帮助你找到并修复问题。 2.2 解决常见配置问题 问题 1:配置文件中的注释符号问题 Apache 配置文件中,# 是注释符号。...根据错误提示可以快速定位问题。 问题 4:Apache 服务无法启动或重新加载失败 如果修改了配置文件后,Apache 无法重新加载或启动,可能是配置文件的语法问题或端口冲突。...我们还讲解了如何排查和修复常见的配置错误,帮助你快速解决 Apache 服务无法启动或虚拟主机配置问题。

    1.7K10

    Apache Doris FE 问题排查与故障分析全景指南

    前言: FE(Frontend)是 Apache Doris 集群架构中的“大脑”,负责元数据管理、查询解析和调度等关键任务。一旦 FE 出现问题,整个集群的稳定性和可用性将受到严重影响。...因此,掌握 FE 故障定位与排查方法对于保障 Doris 运行至关重要。本文将结合官方文档与实际经验,系统梳理 FE 问题排查的完整路径。...一、FE 元数据结构与排查文档 在排查 Doris 问题时,理解 FE 元数据的组织方式非常重要。...以下是官方提供的两篇核心文档,建议在遇到问题时首先阅读: FE 元数据设计原理 元数据操作失败的排查方法 二、排查 FE 问题需要收集哪些信息? 定位问题,第一步是“取证”。...Doris 的“心脏”,掌握其运行机制与问题排查路径,是数据库平台稳定运行的基础。

    74110

    死锁问题排查

    问题背景 最近有同事说平台的某个服务出现超时异常,让我帮忙看下原因。我进入平台后触发了该服务,并没有发现超时异常,那可能是在特定操作场景下会出现或者是一个非必现问题。...既然已知道异常服务,那可以从这里入手进行分析,又与同事沟通一番,确定了与该服务相关的一些后台模块,接下来重点排查这些模块。...下面是出现问题的参考日志,关键点已包含其中,因为原日志不方便展示。 排查方法 日志中出现了sync....问题本质 上面问题的根因是死锁导致的,死锁也是计算机中常见出现的问题。...往往改动代码引发的死锁问题比较容易出现,像本文中出现的问题就是代码改动导致的,添加功能需求的时候关注点集中在了业务逻辑上,容易忽视锁的问题。

    1.5K10

    Docker EOF问题排查

    一、前言 问题排查过程,源码部分均由我的开发同事排查和记录;在征得其同意后,由我发表在此。...二、问题 某天接到客户反馈,pod的事件中出现大量的 warning event: Readiness probe failed: OCI runtime exec failed: exec failed...三、环境 特别说明:客户在负责运行业务的k8s节点上坚持开启了cpu-manager 组件 版本 k8s 1.14.x 四、排查 1、接到客户反馈后,检查该pod所在节点的kubelet日志,如下...经过排查,发现 runc exec 在运行期间会读取 container 的 state.json,并使用 json decode 时出现异常。 ?...此时排查 runc EOF 和 kubelet cpu-manager update container(默认每 10s 更新一次) 的时间,发现时间点刚好吻合,验证猜想。

    5.5K10

    日常问题排查-调用超时日常问题排查-调用超时

    日常问题排查-调用超时 前言 日常Bug排查系列都是一些简单Bug排查,笔者将在这里介绍一些排查Bug的简单技巧,同时顺便积累素材^_^。 Bug现场 这次的Bug是大家喜闻乐见的调用超时。...开始排查 那么这5秒钟时间到底消失在哪里呢?有3个可能的点: 1)A日志打点到真正发出请求包 2)网络上 3)B真正接收请求包到B日志打点。...可是这又引入了一个新的问题,为什么一次Full GC能达到6s之巨。 为什么这么慢 观察监控,笔者发现Full GC有时候快有时候慢。翻出对应6s的那条gc监控日志。...所以看上去是概率上出现GC慢的问题。 另一个机房没出问题 这时候巧的是,业务开发向笔者反映,另一个机房的相同应用确不会出现此问题。捞了下对应日志,发现其class unloading只有0.9s左右。...另外, 对于一个偶发性的问题,我们应该通过监控等手段去寻找规律,这样就很容易找到突破点。

    1.5K30
    领券