云监控

最近更新时间:2024-09-20 14:42:41

我的收藏

操作场景

Prometheus 监控服务-云监控模块集成腾讯云产品基础监控数据,通过 Prometheus 监控进行统一采集、存储和可视化。
说明:
数据采集间隔:1分钟。目前不支持更小的采集间隔。
监控数据粒度:1分钟。如果指标不支持1分钟粒度,则选择5分钟粒度。
集成的监控数据包含云产品的标签数据(部分云产品不支持),标签键必须符合正则表达式 [a-Za-Z_][a-Za-Z0-9_]*,否则会被过滤。
不支持多地域。如果云产品分布在多个地域,需要安装多个集成。

操作步骤

2. 在实例列表中,选择对应的 Prometheus 实例。
3. 进入实例详情页,单击数据采集 > 集成中心
4. 在集成中心选择云监控,单击一键安装。定义集成名称、进行 Exporter 配置和选择对应的云产品。



配置说明

参数
说明
名称
集成名称,命名规范如下:
名称具有唯一性。
名称需要符合下面的正则:'^[a-z0-9]([-a-z0-9]*[a-z0-9])?(\\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*$'。
地域
必填,云产品所在地域。如果云产品不区分地域,则填写任意地域。
数据拉取配置
单位秒。若设置为0,将忽略原始数据的时间戳;若设置大于0,将上报原始数据的时间戳,由于云产品监控数据上报到基础监控存在一定的延迟,该延迟将会体现在最新的数据上。
拉取数据范围:(当前时间 - 数据采集延迟 - 固定的时间间隔, 当前时间 - 数据采集延迟)。
实例刷新间隔
单位分钟,最小值为10。每隔一个实例刷新间隔,集成会重新拉取云产品实例信息。如果修改了实例名、云标签或者增删实例,会在一个实例刷新间隔内更新监控数据。
实例 ID 过滤
选填。不填默认采集主账号下所有实例的数据。键值对形式填写,键是集成定义的云产品 唯一 ID,值是逗号分隔的云产品实例 ID。填写键值对的云产品,只会采集填写的实例。
云标签过滤
选填。键值对形式填写,一个标签键可以对应多个标签值,以 | 分割。不同的标签键取交集,同一标签键下的多个标签值取并集。对于支持云标签过滤的产品,如果同时配置了实例 ID 过滤,该产品的云标签过滤将不会生效。
云标签键替换
选填。将不合法的云产品标签键替换为合法值,例如将中文名转换成自定义的英文名。
云标签键操作
集成默认将标签键的大写字母转换成下划线+小写字母。支持对云产品标签键的转换操作:
ToUnderLineAndLower:默认操作
ToLower:表示全转成小写字母
NoOperation:表示不做转换
标签
选填。可以给集成采集到的指标添加额外的自定义标签。
鉴权
鉴权类型:可选择本账号采集跨账号采集
服务角色:本账号采集配置。固定为 CM_QCSLinkedRoleInTMP。
本账号角色:跨账号采集配置。自定义角色,用于获取本账号临时密钥。
目标账号角色:跨账号采集配置。自定义角色,用于获取目标账号临时密钥。
目标账号 uin:跨账号采集配置。目标账号的主账号 ID。
云产品选择
勾选想要采集的云产品。
Metric Relabel 配置
选填。Prometheus Operator 原生的 metricRelabelings 配置。配置方式与 Prometheus 抓取配置的 metric_relabel_configs 相同,只有部分字段命名方式不同。

Metric Relabel 配置示例

下面是常用的 metricRelabelings 示例:
metricRelabelings:
- action: labeldrop # 去掉名为 labelA 的 label。regex是正则表达式,多个正则表达式用 | 分隔
regex: labelA
- regex: ins-(.*) # 新增一个名为 id 的 label,其值通过名为 instance_id 的 label 的值经过正则处理后得到。例如 instance_id="ins-a",新得到的 id="a"
replacement: $1
sourceLabels:
- instance_id
targetLabel: id
- targetLabel: region # 新增一个 region="ap-guangzhou" 的 label
replacement: ap-guangzhou
- action: drop # 去掉名为 metricA 或 metricB 的指标
sourceLabels:
- __name__
regex: metricA|metricB

支持的云产品

云产品/指标文档
是否支持采集云标签
唯一 ID
补充说明
cvm
仅支持实例维度指标。
sdn_vm
-
云硬盘
cbs
-
lb_public
默认采集实例维度指标,如需监听器或后端服务器维度指标,请 提交工单。不同维度的指标名相同,可以通过 monitor_view 标签来区分维度(实例维度:instance;监听器维度:listener;后端服务器维度:target)。
lb_private
默认采集实例维度指标,如需监听器维度指标,请 提交工单。不同维度的指标名相同,可以通过 monitor_view 标签来区分维度(实例维度:instance;监听器维度:listener)。
负载均衡(四层独占集群)
tgw_set
该产品是负载均衡开白产品,指标随时可能变化,不提供对外指标文档。
cmongo
-
cdb
-
redis
-
redis_mem
支持实例维度和节点维度指标。
云数据库 Tendis
tendis
-
CTSDB(InfluxDB 版)
xstor
该产品是 CTSDB 开白产品,指标随时可能变化,不提供对外指标文档。
mariadb
仅支持实例维度指标。
postgres
-
tdmysql
仅支持实例维度指标。
cynosdb_mysql
仅支持实例维度指标。
sqlserver
仅支持实例维度指标。
keewidb
-
nat_gateway
-
ckafka
不支持 broker_ip 维度指标。
tdmq_pulsar
-
仅5.x版本支持
rocketmq
指标文档和唯一 ID 对应新指标,使用旧指标的用户建议尽快切换。
rabbitmq
-
lb
-
vpngw
-
vpnx
-
vpc_net_detect
-
私有网络-跨可用区流量
sdn_az
指标不支持1分钟粒度,选择5分钟粒度。
private_link
-
cdn
-
ov_cdn
-
COS
cos
存储相关指标延迟过高(2小时左右),不会保留数据的原始时间戳。存储相关指标不支持1分钟粒度,选择5分钟粒度。
dc
-
dcx
-
dcg
同私有网络/网络连接/专线网关。
lighthouse
-
apigw_cloudnative
默认采集实例维度和公网负载均衡维度指标,如需节点维度指标,请 提交工单。实例维度与节点维度的指标名相同,可以通过 monitor_view 标签来区分维度(实例维度:gateway;节点维度:node)。
Nacos
nacos
-
Zookeeper
zookeeper
-
ces
仅支持实例维度指标。
cdwdrs
-
dts
不支持 Kafka 相关维度指标。
云联网
vbc
-
gaap
-
edgeone_l7
-
waf
-
cfs
目前未采集元数据相关指标。
bwp
-
云函数
scf_v2
默认采集别名维度指标,如需版本维度指标,请 提交工单
vod
目前 FluxHitRate、RequestsHitRate、BackOriginBandwidth、BackOriginFlux 四个指标未对外,无法采集。
cls
-
apigateway
仅支持 API 维度指标。
ti_traintask
-
ti_notebook
-
ti_model
-

跨账号采集

注意:
不支持跨站采集(国内站账号与国际站账号不能互相采集)。
场景:账号 A 跨账号采集 账号 B 的监控数据。
配置填写:
在账号 A 下的 Prometheus 监控服务 实例中创建云监控集成。
鉴权类型 选择 跨账号采集。
本账号角色 选择账号 A 创建的自定义角色。
目标账号角色 填入账号 B 创建的自定义角色。
目标账号 uin 填入账号 B 的主账号 ID。




简要流程图


image



自定义角色

账号 A 创建自定义角色

1. 策略 页面,通过策略语法创建 自定义策略,添加 sts:AssumeRole 权限,该权限用于扮演账号 B 的角色。策略语法如下:
{
"version": "2.0",
"statement": [
{
"effect": "allow",
"action": ["sts:AssumeRole"],
"resource": ["*"]
}
]
}
注意:
如果需要限制权限,例如只能扮演账号 B 的自定义角色,可以将 resource 修改为 "qcs::cam::uin/[账号B主账号ID]:roleName/[账号B自定义角色]"。
2. 角色 列表页面,单击新建角色
3. 在弹出的选择角色载体窗口,选择腾讯云产品服务,进入角色信息填写页面。
4. 勾选云服务器 (cvm) 作为角色载体,使用案例选择云服务器,单击下一步
5. 在策略列表内,勾选第1步创建的策略为角色配置策略,单击下一步
6. 标记角色的标签键和标签值,可不填,单击下一步
7. 输入您的角色名称,单击完成后即完成自定义角色创建。

账号 B 创建自定义角色

1. 在角色列表页面,单击新建角色
2. 在弹出的选择角色载体信息窗口,选择腾讯云账户作为角色载体,进入角色信息填写页面。
3. 在输入角色载体信息页面,云账号类型选择其他主账号,账号 ID 填写账号 A 主账号 ID,其它不填,单击下一步
4. 在策略列表内,勾选预设策略 ReadOnlyAccess 为角色配置策略,单击下一步
5. 标记角色的标签键和标签值,可不填,单击下一步
6. 输入您的角色名称,单击完成后即完成自定义角色创建。

常见问题

“数据拉取配置”该怎么配置?

1. 若配置为 0,Prometheus 会使用当前时间戳,覆盖数据的原始时间戳。
使用场景:保证数据时间戳的实时性,以最大限度保证 Prometheus 能及时发出告警。
2. 若配置为某个大于 0 的值 x:
只要是大于 0 的值,Prometheus 就会保留数据的原始时间戳。
使用场景:与控制台监控页的时间戳保持一致。
延迟拉取数据的时间窗口(延迟量等于 x)。
问题背景:为了兼容云产品监控数据上报链路的时延,Prometheus 默认以 (now-固定时延,now) 的时间范围拉取数据。
使用场景:若个别产品上报链路时延过大,此处需设置 x,使得拉取数据的时间范围变为:(now-固定时延-x,now-x),以保证在这个延迟的窗口内,能更大限度地拉取到数据。

更新动态

云监控集成每次保存,都会将集成更新为最新版本。下面是集成每次版本更新的主要时间节点与内容,可以用来评估集成更新的影响。
时间
更新内容
2024年9月
部分云产品支持云标签过滤;支持跨账号采集。
2024年8月
支持私有网络-跨可用区流量、私有网络-私有连接;COS 支持5分钟粒度的存储相关指标;TDSQL-C MySQL 版支持集群 ID 过滤。
2024年7月
支持消息队列 Pulsar 版;云函数支持版本维度。
注意: 云函数新增固定标签 monitor_view,存量实例更新后会产生新时间线。
2024年6月
支持负载均衡(七层独占集群)、腾讯云数据仓库 TCHouse-D、云服务器(内网);负载均衡(内网)支持监听器维度;云原生 API 网关支持公网负载均衡维度。
注意:负载均衡(内网)新增固定标签 monitor_view,存量实例更新后会产生新时间线。
2024年5月
支持云数据库 KeeWiDB;负载均衡(公网)支持后端服务器维度。
2024年3月
支持云原生 API 网关、消息队列 RabbitMQ 版、EdgeOne(七层);支持配置云标签键替换和云标签键转换规则。
2023年12月
支持消息队列 RocketMQ 版 v5、CTSDB(InfluxDB 版)、TI-ONE、云数据库 Tendis、弹性公网 Ipv6。
2023年11月
支持网络探测;负载均衡(公网)支持监听器维度、云数据库 MySQL 支持代理节点维度。
2023年9月
支持日志服务、API 网关、负载均衡(四层独占集群)。
2023年8月
支持 CDN(国外域名)、云点播、云函数(别名)、消息队列 RocketMQ 版。
2023年7月
支持采集域名型负载均衡(公网);支持采集 TDSQL-C MySQL 版云标签。
2023年6月
支持共享带宽包。云数据库 Redis(内存版) Redis 节点维度添加节点类型标签。
2023年5月
支持采集消息队列 CKafka 版云标签。
2023年4月
支持文件存储。
2023年3月
支持云硬盘。
2023年2月
支持负载均衡(内网)、Web 应用防火墙。
2022年11月
支持全球应用加速、云联网、数据传输服务。
2022年9月
支持专线网关;支持采集云产品标签。
2022年7月
支持 Zookeeper、Nacos、COS、CDN(国内域名)。
2022年6月
云监控集成上线。