StarRocks-BE
标题 | 指标名称 | 指标单位 | 指标含义 |
COMPACTION DELTAS 数据量 | Cumulative | rowsets | Cumulative compaction deltas 的数据量 |
| Base | rowsets | Base compaction deltas 的数据量 |
| Update | rowsets | Update compaction deltas 的数据量 |
COMPACTION 数据量 | Cumulative | bytes | Cumulative compaction bytes 的数据量 |
| Base | bytes | Base compaction bytes 的数据量 |
| Update | bytes | Update compaction bytes 的数据量 |
TABLET COMPACTIO 最高分 | CumulativeMax | score | tablet 中最大的 base compaction score |
| BaseMax | score | tablet base 最大 compaction 分数 |
ENGINE 请求失败统计(1) | base_compaction | count | engine 失败请求，类型为 base_compaction 的数量 |
| clone | count | engine 失败请求，类型为 clonE 的数量 |
| create_rollup | count | engine 失败请求，类型为 create_rollup的数量 |
| create_tablet | count | engine 失败请求，类型为 create_tablet 的数量 |
| cumulative_compaction | count | engine 失败请求，类型为 cumulative_compaction 的数量 |
| delete | count | engine 失败请求，类型为 deletE 的数量 |
| finish_task | count | engine 失败请求，类型为 finish_task的数量 |
ENGINE 请求失败统计(2) | publish | count | engine 失败请求，类型为 publish的数量 |
| report_all_tablets | count | engine 失败请求，类型为 report_all_tablets的数量 |
| report_disk | count | engine 失败请求，类型为 report_disk的数量 |
| report_tablet | count | engine 失败请求，类型为 report_tablet 的数量 |
| report_task | count | engine 失败请求，类型为 report_task的数量 |
| schema_change | count | engine 失败请求，类型为 schema_changE 的数量 |
ENGINE 请求统计(1) | base_compaction | count | engine 失败请求，类型为 base_compaction 的数量 |
| clone | count | engine 失败请求，类型为 clonE 的数量 |
| create_rollup | count | engine 失败请求，类型为 create_rollup的数量 |
| create_tablet | count | engine 失败请求，类型为 create_tablet 的数量 |
| cumulative_compaction | count | engine 失败请求，类型为 cumulative_compaction 的数量 |
| delete | count | engine 失败请求，类型为 deletE 的数量 |
| drop_tablet | count | engine 失败请求，类型为 drop_tablet 的数量 |
| finish_task | count | engine 失败请求，类型为 finish_task的数量 |
ENGINE 请求统计(2) | publish | count | engine 失败请求，类型为 publish 的数量 |
| report_all_tablets | count | engine 失败请求，类型为 report_all_tablets的数量 |
| report_disk | count | engine 失败请求，类型为 report_disk的数量 |
| report_tablet | count | engine 失败请求，类型为 report_tablet 的数量 |
| report_task | count | engine 失败请求，类型为 report_task的数量 |
| schema_change | count | engine 失败请求，类型为 schema_changE 的数量 |
| storage_migrate | count | engine 失败请求，类型为 Storage_migratE 的数量 |
FRAGMENT 统计 | PlanFragment | count | plan fragment 数量 |
| Endpoint | count | DataStream 的数量 |
FRAGMENT 请求时间 | Duration | 微秒 | fragment 的请求时间 |
TXN 请求统计 | begin | count | txn 类型为 begin 的请求数量 |
| commit | count | txn 类型为 commit 的请求数量 |
| exec | count | txn 类型为 exec 的请求数量 |
| rollback | count | txn 类型为 rollback 的请求数量 |
STREAMING LOAD 数据量 | LoadTotal | bytes | stream load导入的数据大小 |
STREAMING LOAD 统计 | CurrentProcessing | count | streaming load 现有进程数 |
| PipeCount | count | streaming load Pipe数量 |
STREAMING LOAD 时间 | Duration | ms | streaming load 持续时间 |
BE 内存 | Total | bytes | BE memory pool大小 |
| Allocated | bytes | BE memory allocated 大小 |
进程文件句柄数 | Used | count | BE 进程使用文件句柄数量 |
| SoftLimit | count | BE 进程文件句柄 soft 限制数量 |
| HardLimit | count | BE 进程文件句柄 hard 限制数量 |
进程运行线程数 | Thread | count | BE 进程运行的线程个数 |
THRIFT 使用数量 | Broker | count | Broker 使用 thrift 的数量 |
| Backend | count | BE 使用 thrift 的数量 |
| Frontend | count | FE 使用 thrift 的数量 |
TABLET 写统计 | Writer | count | BE TABLET 写统计 |
TABLET COMPACTION 最高分 | UpdateMax | score | tablet update 最大compaction 分数 |
增删 vector 总字节量 | update_del_vector_bytes | byte | 增删 vector 总字节量 |
当前增删 vector 数量 | update_del_vector_num | count | 当前增删 vector 数量 |
更新主键索引总字节量 | update_primary_index_bytes | byte | 更新主键索引总字节量 |
更新主键索引数量 | update_primary_index_num | count | 更新主键索引数量 |
删除 vector 总数量 | vector_deletes_total | count | 删除 vector 总数量 |
更新 rowset 提交请求 | failed | count | 更新 rowset 提交失败请求量 |
| total | count | 更新 rowset 提交总请求量 |
更新 rowset 提交应用持续时间 | duration | us | 更新 rowset 提交应用持续时间 |
更新 rowset 提交应用总量 | total | count | 更新 rowset 提交应用总量 |
BE 内存分配统计(1) | chunk_allocator_mem | byte | chunk_allocator_mem 大小 |
| clone_mem | byte | clone_mem 大小 |
| column_pool_mem | byte | column_pool_mem 大小 |
| compaction_mem | byte | compaction_mem 大小 |
| consistency_mem | byte | consistency_mem 大小 |
| load_mem | byte | load_mem 大小 |
BE 内存分配统计(2) | query_mem | byte | query_mem 大小 |
| schema_change_mem | byte | schema_change_mem 大小 |
| storage_page_cache_mem | byte | storage_page_cache_mem 大小 |
| metadata_mem | byte | metadata_mem 大小 |
| update_mem | byte | update_mem 大小 |
pip 执行线程队列长度 | pip_exe_driver | byte | pip_exe_driver 队列长度 |
| pip_exe_poller_block | byte | pip_exe_poller_block 队列长度 |
| wg_pip_exe_driver | byte | wg_pip_exe_driver 队列长度 |
| wg_pip_exe_poller_block | byte | wg_pip_exe_poller_block 队列长度 |
扫描累计总行数 | rows | count | 扫描累计总行数 |
STREAM LOAD 数据量 | load_rows | count | load_rows 数据量 |
每秒扫描字节数 | query_scan_bytes | byte | 每秒扫描字节数 |
meta 请求次数 | write | count | 写 meta 请求次数 |
| read | count | 读 meta 请求次数 |
meta 请求时长 | write | us | 写 meta 请求时长 |
| read | us | 读 meta 请求时长 |
请求推送次数 | success | count | 成功请求推送次数 |
| fail | count | 失败请求推送次数 |
磁盘使用量(disks data used capacity) | used_capacity | byte | 磁盘使用量 |
磁盘状态(disks state) | disks_state | 1:正常 0:异常 | 磁盘状态 |
StarRocks-FE
标题 | 指标名称 | 指标单位 | 指标含义 |
ALTER 任务统计 | RollupRunning | count | 运行中的 alter job，类型为 ROLLUP 的数量 |
| SchemaChangeRunning | count | 运行中的 alter job，类型为 SCHEMA_CHANGE 的数量 |
IMAGE 统计 | Write | count | FE image write 的数量 |
| Push | count | FE image push 的数量 |
SCHEDULED_TABLET 数量 | ScheduledTablet | count | FE 中 scheduled tablet 数量 |
TRANSACTION 状态统计 | Reject | count | FE 被拒绝的 transaction 数量 |
| Begin | count | FE 开始 的 transaction 数量 |
| Success | count | FE 成功 的 transaction 数量 |
| Failed | count | FE 失败 的 transaction 数量 |
JVM 内存_HEAP | max | bytes | 最大 heap 内存 |
| committed | bytes | 已提交 heap 内存 |
| used | bytes | 已使用 heap 内存 |
JVM 内存_NONHEAP | committed | bytes | 已提交 non heap 内存 |
| used | bytes | 已使用 non heap 内存 |
JVM 内存_OLD | used | bytes | 已使用 old 内存 |
| peak_used | bytes | 最大使用 old 内存 |
| max | bytes | 最大 old 内存 |
JVM 内存_YOUNG | used | bytes | 已使用 young 内存 |
| peak_used | bytes | 最大使用 young 内存 |
| max | bytes | 最大 young 内存 |
ROUTINE LOAD QUEUE 大小 | report queue | count | FE report queuE 的大小 |
ROUTINE_LOAD 行数 | TotalRows | count | FE routine load 的行数 |
| ErrorRows | count | FE routine load 错误的行数 |
ROUTINE LOAD 大小 | Receive | bytes | FE routine load 的大小 |
TABLET_COMPACTION 最高分 | MAX | score | FE tablet 进行 compaction 时 compaction score 最大值 |
EDITLOG 写延时 | Quantile75 | ms | FE editlog 写延时的75分位数 |
| Quantile95 | ms | FE editlog写延时的95分位数 |
| Quantile98 | ms | FE editlog写延时的98分位数 |
| Quantile99 | ms | FE editlog写延时的99分位数 |
| Quantile999 | ms | FE editlog写延时的99.9分位数 |
GC 次数 | YoungGC | count | FE 节点 JVM Young GC 次数 |
| OldGC | count | FE 节点 JVM Old GC 次数 |
GC 时间 | YoungGC | ms | FE 节点 JVM Young GC 时间 |
| OldGC | ms | FE 节点 JVM Old GC 时间 |
JVM 线程数 | Total | count | FE 节点 JVM 中线程总数 |
| Peak | count | FE 节点 JVM 线程峰值 |
BROKER_LOAD 任务统计 | UNKNOWN | count | 类型为 BROKER，状态为 UNKNOWN 的 load job 数量 |
| PENDING | count | 类型为 BROKER，状态为 pENDING 的 load job 数量 |
| ETL | count | 类型为 BROKER，状态为 eTL 的 load job 数量 |
| LOADING | count | 类型为 BROKER，状态为 LOADING 的 load job 数量 |
| COMMITTED | count | 类型为 BROKER，状态为 cOMMITTED 的 load job 数量 |
| FINISHED | count | 类型为 BROKER，状态为 fINISHED 的 load job 数量 |
| CANCELLED | count | 类型为 BROKER，状态为 cANCELLED 的 load job 数量 |
DELETE_LOAD 任务统计 | UNKNOWN | count | 类型为 DELETE，状态为 UNKNOWN 的 load job 数量 |
| PENDING | count | 类型为 DELETE，状态为 pENDING 的 load job 数量 |
| ETL | count | 类型为 DELETE，状态为 eTL 的 load job 数量 |
| LOADING | count | 类型为 DELETE，状态为 LOADING 的 load job 数量 |
| COMMITTED | count | 类型为 DELETE，状态为 cOMMITTED 的 load job 数量 |
| FINISHED | count | 类型为 DELETE，状态为 fINISHED 的 load job 数量 |
| CANCELLED | count | 类型为 DELETE，状态为 cANCELLED 的 load job 数量 |
HADOOP_LOAD 任务统计 | UNKNOWN | count | 类型为 HADOOP，状态为 UNKNOWN 的 load job 数量 |
| PENDING | count | 类型为 HADOOP，状态为 pENDING 的 load job 数量 |
| ETL | count | 类型为 HADOOP，状态为 eTL 的 load job 数量 |
| LOADING | count | 类型为 HADOOP，状态为 LOADING 的 load job 数量 |
| COMMITTED | count | 类型为 HADOOP，状态为 cOMMITTED 的 load job 数量 |
| FINISHED | count | 类型为 HADOOP，状态为 fINISHED 的 load job 数量 |
| CANCELLED | count | 类型为 HADOOP，状态为 cANCELLED 的 load job 数量 |
INSERT_LOAD 任务统计 | UNKNOWN | count | 类型为 INSERT，状态为 UNKNOWN 的 load job 数量 |
| PENDING | count | 类型为 INSERT，状态为 pENDING 的 load job 数量 |
| ETL | count | 类型为 INSERT，状态为 eTL 的 load job 数量 |
| LOADING | count | 类型为 INSERT，状态为 LOADING 的 load job 数量 |
| COMMITTED | count | 类型为 INSERT，状态为 cOMMITTED 的 load job 数量 |
| FINISHED | count | 类型为 INSERT，状态为 fINISHED 的 load job 数量 |
| CANCELLED | count | 类型为 INSERT，状态为 cANCELLED 的 load job 数量 |
ROUTINE_LOAD 任务统计 | NEED_SCHEDULE | count | routine load jobs 统计，state=NEED_SCHEDULE |
| RUNNING | count | routine load jobs 统计，state=RUNNING |
| PAUSED | count | routine load jobs 统计，state=PAUSED |
| STOPPED | count | routine load jobs 统计，state=STOPPED |
| CANCELLED | count | routine load jobs 统计，state=CANCELLED |
SPARK_LOAD 任务统计 | UNKNOWN | count | 类型为 SPARK，状态为 UNKNOWN 的 load job 数量 |
| PENDING | count | 类型为 SPARK，状态为 pENDING 的 load job 数量 |
| ETL | count | 类型为 SPARK，状态为 eTL 的 load job 数量 |
| LOADING | count | 类型为 SPARK，状态为 LOADING 的 load job 数量 |
| COMMITTED | count | 类型为 SPARK，状态为 cOMMITTED 的 load job 数量 |
| FINISHED | count | 类型为 SPARK，状态为 fINISHED 的 load job 数量 |
| CANCELLED | count | 类型为 SPARK，状态为 cANCELLED 的 load job 数量 |
FE MASTER | FE Master | count | 是否为 FE Master；1 Master， 0 Fellower |
节点信息 | FeNodeNum | count | FE 总节点数 |
| BeNodeNum | count | BE 总节点数 |
| BeAliveNum | count | BE 活动节点数 |
| BeDecommissionedNum | count | BE 活动节点数 |
| BkDeadNum | count | Broker 死亡节点数 |
请求响应 | QPS | count/s | 每秒查询率 |
| RPS | count/s | 每秒能处理的请求数目 |
FE 查询统计 | total | count | FE 查询总数 |
| err | count | FE 查询错误总数 |
| timeout | count | FE 查询超时数 |
| success | count | FE 查询成功总数 |
| slow | count | FE 慢查询总数 |
查询失败率 | ErrRate | % | 查询错误率 |
FE 查询延时 | Quantile75 | ms | FE 查询延时的75分位数 |
| Quantile95 | ms | FE 查询延时的95分位数 |
| Quantile99 | ms | FE 查询延时的99分位数 |
| Quantile999 | ms | FE 查询延时的99.9分位数 |
CONNECTION 数量 | Num | count | FE 节点 connection 数量 |
最大 journal id | id | count | 最大 journal id |
Edit Log 写入次数 | write | count | Edit Log 写入次数 |
StarRocks-Broker
标题 | 指标名称 | 指标单位 | 指标含义 |
CPU 利用率 | ProcessCpuLoad | % | 进程 CPU 利用率 |
CPU 使用时间 | ProcessCpuTime | ms | CPU 累计使用时间 |
GC 次数 | YGC | 次 | Young GC 次数 |
| FGC | 次 | Full GC 次数 |
GC 时间 | GCT | s | 垃圾回收时间消耗 |
| FGCT | s | Full GC 消耗时间 |
| YGCT | s | Young GC 消耗时间 |
内存区域占比 | O | % | Old 区内存使用占比 |
| M | % | Metaspace 区内存使用占比 |
| CCS | % | Compressed class space 区内存使用占比 |
| S0 | % | Survivor 0区内存使用占比 |
| S1 | % | Survivor 1区内存使用占比 |
| E | % | Eden 区内存使用占比 |
JVM 内存 | MemHeapInitM | MB | JVM 初始 HeapMemory的数量 |
| MemNonHeapInitM | MB | JVM 初始 NonHeapMemory 的数量 |
| MemHeapMaxM | MB | JVM 配置的 HeapMemory 的数量 |
| MemHeapCommittedM | MB | JVM 当前已经提交的 HeapMemory 的数量 |
| MemHeapUsedM | MB | JVM 当前已经使用的 HeapMemory 的数量 |
| MemNonHeapCommittedM | MB | JVM 当前已经提交的 NonHeapMemory 的数量 |
| MemNonHeapUsedM | MB | JVM 当前已经使用的 NonHeapMemory 的数量 |
文件句柄数 | OpenFileDescriptorCount | count | 已打开文件描述符数 |
| MaxFileDescriptorCount | count | 最大文件描述符数 |
进程运行时间 | Uptime | s | 进程运行时间 |
工作线程数 | PeakThreadCount | count | 峰值线程数 |
| ThreadCount | count | 总线程数量 |
| DaemonThreadCount | count | Daemon 线程数量 |
