弹性 MapReduce(kafka)

最近更新时间:2024-07-11 09:41:11

我的收藏

命名空间

Namespace=QCE/TXMR_KAFKA

监控指标

指标英文名
指标中文名
指标含义
单位
维度
KafkaOsCpuLoadProcesscpuload
CPU 利用率_ProcessCpuLoad
进程 CPU 利用率
%
host4kafkakafka、id4kafkakafka
KafkaOsCpuTimeProcesscputime
CPU 使用时间_ProcessCpuTime
CPU 累计使用时间
ms
host4kafkakafka、id4kafkakafka
KafkaGcUtilGcCountYgc
GC 次数_YGC
Young GC 次数
host4kafkakafka、id4kafkakafka
KafkaGcUtilGcCountFgc
GC 次数_FGC
Full GC 次数
host4kafkakafka、id4kafkakafka
KafkaGcUtilGcTimeGct
GC 时间_GCT
垃圾回收时间消耗
s
host4kafkakafka、id4kafkakafka
KafkaGcUtilGcTimeFgct
GC 时间_FGCT
Full GC 消耗时间
s
host4kafkakafka、id4kafkakafka
KafkaGcUtilGcTimeYgct
GC 时间_YGCT
Young GC 消耗时间
s
host4kafkakafka、id4kafkakafka
KafkaGcUtilMemoryO
内存区域占比_O
Old 区内存使用占比
%
host4kafkakafka、id4kafkakafka
KafkaGcUtilMemoryM
内存区域占比_M
Metaspace 区内存使用占比
%
host4kafkakafka、id4kafkakafka
KafkaGcUtilMemoryCcs
内存区域占比_CCS
Compressed class space 区内存使用占比
%
host4kafkakafka、id4kafkakafka
KafkaGcUtilMemoryS0
内存区域占比_S0
Survivor 0区内存使用占比
%
host4kafkakafka、id4kafkakafka
KafkaGcUtilMemoryS1
内存区域占比_S1
Survivor 1区内存使用占比
%
host4kafkakafka、id4kafkakafka
KafkaGcUtilMemoryE
内存区域占比_E
Eden 区内存使用占比
%
host4kafkakafka、id4kafkakafka
KafkaJvmMemMemheapinitm
JVM 内存_MemHeapInitM
JVM 初始 HeapMemory 的数量
MB
host4kafkakafka、id4kafkakafka
KafkaJvmMemMemnonheapinitm
JVM 内存_MemNonHeapInitM
JVM 初始 NonHeapMemory 的数量
MB
host4kafkakafka、id4kafkakafka
KafkaJvmMemMemheapmaxm
JVM 内存_MemHeapMaxM
JVM 配置的 HeapMemory 的数量
MB
host4kafkakafka、id4kafkakafka
KafkaJvmMemMemheapcommittedm
JVM 内存_MemHeapCommittedM
JVM 当前已经提交的 HeapMemory 的数量
MB
host4kafkakafka、id4kafkakafka
KafkaJvmMemMemheapusedm
JVM 内存_MemHeapUsedM
JVM 当前已经使用的 HeapMemory 的数量
MB
host4kafkakafka、id4kafkakafka
KafkaJvmMemMemnonheapcommittedm
JVM 内存_MemNonHeapCommittedM
JVM 当前已经提交的 NonHeapMemory 的数量
MB
host4kafkakafka、id4kafkakafka
KafkaJvmMemMemnonheapusedm
JVM 内存_MemNonHeapUsedM
JVM 当前已经使用的 NonHeapMemory 的数量
MB
host4kafkakafka、id4kafkakafka
KafkaOsFdCountOpenfiledescriptorcount
文件句柄数_OpenFileDescriptorCount
已打开文件描述符数
count
host4kafkakafka、id4kafkakafka
KafkaOsFdCountMaxfiledescriptorcount
文件句柄数_MaxFileDescriptorCount
最大文件描述符数
count
host4kafkakafka、id4kafkakafka
KafkaRtUptimeUptime
进程运行时间_Uptime
进程运行时间
s
host4kafkakafka、id4kafkakafka
KafkaThreadCountPeakthreadcount
工作线程数_PeakThreadCount
Daemon 线程数量
count
host4kafkakafka、id4kafkakafka
KafkaBytesInPersecOneminuterate
Broker 生产流量_OneMinuteRate
一分钟 Broker 生产消息流量
bytes/s
host4kafkakafka、id4kafkakafka
KafkaBytesOutPersecOneminuterate
Broker 消费流量_OneMinuteRate
一分钟 Broker 消费消息流量
bytes/s
host4kafkakafka、id4kafkakafka
KafkaBytesRejectedPersecOneminuterate
消费被拒流量_OneMinuteRate
一分钟 Topic 请求被拒速率
bytes/s
host4kafkakafka、id4kafkakafka
KafkaFailedFetchRequestsPersecOneminuterate
Fetch 失败请求次数_OneMinuteRate
一分钟 Fetch 失败请求次数
count/s
host4kafkakafka、id4kafkakafka
KafkaFailedProduceRequestsPersecOneminuterate
Produce 失败请求次数_OneMinuteRate
一分钟 Produce 失败请求次数
count/s
host4kafkakafka、id4kafkakafka
KafkaMessagesInPersecOneminuterate
消息生产数_OneMinuteRate
一分钟消息生产速率
count/s
host4kafkakafka、id4kafkakafka
KafkaReplicationBytesInPersecOneminuterate
读取其他 Brokers 流量_OneMinuteRate
一分钟读取其他 Brokers 速率
bytes
host4kafkakafka、id4kafkakafka
KafkaReplicationBytesOutPersecOneminuterate
读到其他 Brokers 流量_OneMinuteRate
一分钟读到其他 Brokers 速率
bytes
host4kafkakafka、id4kafkakafka
KafkaTotalFetchRequestsPersecOneminuterate
Fetch 请求次数_OneMinuteRate
一分钟 Fetch 总请求速率
count/s
host4kafkakafka、id4kafkakafka
KafkaTotalProduceRequestsPersecOneminuterate
Produce 请求次数_OneMinuteRate
一分钟 Produce 总请求速率
count/s
host4kafkakafka、id4kafkakafka
KafkaLeaderelectionRateOneminuterate
LeaderElection 速率_OneMinuteRate
一分钟 LeaderElection 速率
count/s
host4kafkakafka、id4kafkakafka
KafkaLeaderelectionTime99thpercentile
LeaderElection 延时_99thPercentile
LeaderElection 延时_99thPercentile
ms
host4kafkakafka、id4kafkakafka
KafkaLeaderelectionTime999thpercentile
LeaderElection 延时_999thPercentile
LeaderElection 延时_999thPercentile
ms
host4kafkakafka、id4kafkakafka
KafkaLeaderelectionTimeMean
LeaderElection 延时_Mean
LeaderElection 延时_Mean
ms
host4kafkakafka、id4kafkakafka
KafkaLeaderelectionUnderRateOneminuterate
UncleanLeaderElections 速率_OneMinuteRate
一分钟 UncleanLeaderElections 速率
count/s
host4kafkakafka、id4kafkakafka
KafkaPartitionsGlobalGlobalpartitioncount
GlobalPartition 数量_GlobalPartitionCount
此控制器观察到的全局分区数
count
host4kafkakafka、id4kafkakafka
KafkaPartitionsOfflineOfflinepartitioncount
OfflinePartitions 数量_OfflinePartitionCount
此控制器观察到的离线分区数
count
host4kafkakafka、id4kafkakafka
KafkaTopicGlobaltopiccount
GlobalTopic 数量_GlobalTopicCount
该控制器观察到的 GlobalTopic 的数量
count
host4kafkakafka、id4kafkakafka
KafkaLogDirectoryOfflinelogdirectory
离线日志目录数_OfflineLogDirectory
离线日志目录数量
count
host4kafkakafka、id4kafkakafka
KafkaLogflushRateOneminuterate
LogFlush 速率_OneMinuteRate
一分钟消息日志刷新速率
calls/s
host4kafkakafka、id4kafkakafka
KafkaLogflushTime99thpercentile
LogFlush 延时_99thPercentile
LogFlush 延时_99thPercentile
ms
host4kafkakafka、id4kafkakafka
KafkaLogflushTime999thpercentile
LogFlush 延时_999thPercentile
LogFlush 延时_999thPercentile
ms
host4kafkakafka、id4kafkakafka
KafkaLogflushTimeMean
LogFlush 延时_Mean
LogFlush 延时_Mean
ms
host4kafkakafka、id4kafkakafka
KafkaNetworkSocketNetworkprocessoravgidlepercent
网络处理器平均空闲率_NetworkProcessorAvgIdlePercent
网络线程池线程平均的空闲比例
Node
host4kafkakafka、id4kafkakafka
KafkaIsrExpandsPersecOneminuterate
ISR 扩展速率_OneMinuteRate
一分钟 ISR 扩展速率
count
host4kafkakafka、id4kafkakafka
KafkaIsrShrinksPersecOneminuterate
ISR 收缩速率_OneMinuteRate
一分钟 ISR 收缩速率
count
host4kafkakafka、id4kafkakafka
KafkaReplicaLeaderreplicacount
Replica 数量_LeaderReplicaCount
离线 Replica 数量
count
host4kafkakafka、id4kafkakafka
KafkaReplicaOfflinereplicacount
Replica 数量_OfflineReplicaCount
Leader Replica 数量
count
host4kafkakafka、id4kafkakafka
KafkaReplicaManagerPartitioncount
Partitions 数量_PartitionCount
Partition 数量
count
host4kafkakafka、id4kafkakafka
KafkaReplicaManagerUnderminisrpartitioncount
Partitions 数量_UnderMinIsrPartitionCount
最小 In-Sync Replica(ISR)计数下的分区数量
count
host4kafkakafka、id4kafkakafka
KafkaReplicaManagerUnderreplicatedpartitions
Partitions 数量_UnderReplicatedPartitions
UnderReplicatedPartitions 数量
count
host4kafkakafka、id4kafkakafka
KafkaRequestFetchconsumerTime99thpercentile
FetchConsumer 请求延时_99thPercentile
FetchConsumer 请求时间_75thPercentile
ms
host4kafkakafka、id4kafkakafka
KafkaRequestFetchconsumerTime999thpercentile
FetchConsumer 请求延时_999thPercentile
FetchConsumer 请求时间_75thPercentile
ms
host4kafkakafka、id4kafkakafka
KafkaRequestFetchconsumerTimeMean
FetchConsumer 请求延时_Mean
平均FetchConsumer 请求时间
ms
host4kafkakafka、id4kafkakafka
KafkaRequestFetchfollowerTime99thpercentile
FetchFollower 请求延时_99thPercentile
FetchFollower 请求时间_75thPercentile
ms
host4kafkakafka、id4kafkakafka
KafkaRequestFetchfollowerTime999thpercentile
FetchFollower 请求延时_999thPercentile
FetchFollower 请求时间_75thPercentile
ms
host4kafkakafka、id4kafkakafka
KafkaRequestFetchfollowerTimeMean
FetchFollower 请求延时_Mean
平均 FetchFollower 请求时间
ms
host4kafkakafka、id4kafkakafka
KafkaRequestProduceTime99thpercentile
Produce 请求延时_99thPercentile
Produce 请求时间_75thPercentile
ms
host4kafkakafka、id4kafkakafka
KafkaRequestProduceTime999thpercentile
Produce 请求延时_999thPercentile
Produce 请求时间_75thPercentile
ms
host4kafkakafka、id4kafkakafka
KafkaRequestProduceTimeMean
Produce 请求延时_Mean
平均 Produce 请求时间
ms
host4kafkakafka、id4kafkakafka
KafkaRequestsChannelRequestqueuesize
请求队列大小_RequestQueueSize
请求队列大小
size
host4kafkakafka、id4kafkakafka
KafkaDelayedPurgatorySizeFetch
Purgatory 大小_Fetch
请求在 fetch purgatory 等待的数量
size
host4kafkakafka、id4kafkakafka
KafkaDelayedPurgatorySizeProduce
Purgatory 大小_Produce
请求在 producer purgatory 等待的数量
size
host4kafkakafka、id4kafkakafka
KafkaRequesthandlerAvgidlePercentOneminuterate
请求处理平均空闲率_OneMinuteRate
一分钟请求处理空闲率
None
host4kafkakafka、id4kafkakafka
KafkaZookeeperRequestLatency99thpercentile
ZooKeeper 请求延时_99thPercentile
ZooKeeper 请求延时_99thPercentile
ms
host4kafkakafka、id4kafkakafka
KafkaZookeeperRequestLatency999thpercentile
ZooKeeper 请求延时_999thPercentile
ZooKeeper 请求延时_999thPercentile
ms
host4kafkakafka、id4kafkakafka
KafkaZookeeperRequestLatencyMean
ZooKeeper 请求延时_Mean
ZooKeeper 请求延时_Mean
ms
host4kafkakafka、id4kafkakafka

各维度对应参数总览

参数名称
维度名称
维度解释
格式
Instances.N.Dimensions.0.Name
host4kafkakafka
EMR 实例中节点 IP 的维度名称
输入 String 类型维度名称:host4kafkakafka
Instances.N.Dimensions.0.Value
host4kafkakafka
EMR 实例中具体节点 IP
输入具体节点 IP,可从控制台获取,登录 腾讯云 MapReduce 控制台,单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。
Instances.N.Dimensions.1.Name
id4kafkakafka
EMR 实例 ID 的维度名称
输入 String 类型维度名称:id4kafkakafka
Instances.N.Dimensions.1.Value
id4kafkakafka
EMR 实例具体 ID
输入 EMR 具体实例 ID,例如:emr-mm8bs222

入参说明

查询消息队列主题监控数据,入参取值如下: &Namespace=QCE/CKAFKA &Instances.N.Dimensions.0.Name=host4kafkakafka &Instances.N.Dimensions.0.Value=EMR 实例中具体节点 IP
&Instances.N.Dimensions.1.Name=id4kafkakafka &Instances.N.Dimensions.1.Value=EMR 实例具体 ID