首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >cdn-3:上传文件到oss-bucket生产级别监控

cdn-3:上传文件到oss-bucket生产级别监控

作者头像
千里行走
发布于 2022-04-28 08:10:15
发布于 2022-04-28 08:10:15
2K0
举报
文章被收录于专栏:千里行走千里行走

我们对服务端上传文件到oss做了收敛,将oss的写操作(目前只有文件上传)封装到基础服务中,那么就涉及到了对oss写操作的监控问题。

目录:

(1).文件上传服务监控之线上效果图

1.监控总览

2.oss bucket上传次数统计

3.oss bucket上传文件大小统计

4.oss bucket上传文件时间统计

5.grafana的dashboard-json

(2).文件上传服务监控之主要代码

1.自研框架注解方式集成

2.prometheus组件主要代码

3.主体逻辑

(3).总结

(1).文件上传服务监控之线上效果图

主要监控维度:

文件上传次数统计情况,文件上传大小统计情况,文件上传耗时统计情况。

每个监控维度都有细分指标,如p90(fileSize), p99(timeCost),详细见后图。

1.监控总览

2.oss bucket上传次数统计

具体数据脱敏

3.oss bucket上传文件大小统计

具体数据脱敏。

4.oss bucket上传文件时间统计

具体数据脱敏。

5.grafana的dashboard-json

配置参考:

https://github.com/hepyu/grafana-action/blob/master/dashboarrd/dashboard-oss/OSS%E5%A4%A7%E7%9B%98-1557749311378.json

(2).文件上传服务监控之主要代码

1.自研框架注解方式集成

cdn和oss的写操作都集成到了自研框架中,目前只对oss做了prometheus监控。

标注1:封装ossClient操作,方便引入prometheus。

标注2:封装的ossClient的方法。

标注3:prometheus组件。

2.prometheus组件主要代码

统计putObject次数的prometheus-Counter:

统计putObject的fileSize和timeCost的prometheus-Histogram:

3.主体逻辑

(3).总结

1.后续需要在每个指标中/新增指标加入返回的cdn的域名。

可以顺带监控不同CDN域名的负载情况。

原因:

不论是pc还是手机上的浏览器,同一时间访问同一个域名的请求个数是有限的,通过多个域名可以提高用户体验。

2.持续完善oss/cdn的接口封装和对应的监控。

3.最终要进行容器化。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-02-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 千里行走 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
巡检项:开启Ckafka跨可用区部署
CKafka 专业版支持跨可用区部署,在拥有3个或3个以上可用区的地域购买 CKafka 实例时,可以任选其中两个可用区购买跨可用区实例。该实例分区副本会强制分布在两个可用区节点上,这种部署方式能够让您的实例在单个可用区不可用情况下仍能正常提供服务。目前,仅专业版支持跨可用区部署,标准版无法支持。
邓愉悦
2022/03/24
8390
Ckafka 实现跨可用区容灾部署案例
CKafka 专业版支持跨可用区部署,在拥有3个或3个以上可用区的地域购买 CKafka 实例时,可以任选其中两个可用区购买跨可用区实例。该实例分区副本会强制分布在两个可用区节点上,这种部署方式能够让您的实例在单个可用区不可用情况下仍能正常提供服务。
邓愉悦
2021/11/12
1.5K0
腾讯云消息队列9月产品月报 | RocketMQ 5.x 支持跨集群复制
专业版实例降配时,若近 7 天峰值带宽或存储超过目标规格,将不再强制禁止降配。降配页面将提供风险提示,用户可自行判断是否继续操作。
腾讯云中间件团队
2025/02/10
1180
腾讯云消息队列9月产品月报 | RocketMQ 5.x 支持跨集群复制
腾讯云消息队列3月产品月报 | CKafka 高级版上线
CKafka 高级版正式上线,在兼容原生 Kafka 2.x 等高版本的同时,提供 20MB/s 的带宽调整步长,可以根据业务需求灵活的扩容。支持跨 AZ 部署,支持 ACL 访问控制。原 CKafka 标准版将停止新购,存量集群实例管控功能,如升配、续费等,均不受影响。推荐您使用 CKafka 高级版产品形态,未来还将继续基于高级版迭代新特性上线。
腾讯云中间件团队
2024/04/08
2990
腾讯云消息队列3月产品月报 | CKafka 高级版上线
腾讯云中间件8月产品月报 | RabbitMQ 支持按量计费模式
TDMQ Pulsar 版专业集群支持消息、元数据两级跨地域复制功能,消息级复制解决用户全球地域的数据统一归档问题,元数据级复制提供解决用户核心业务跨地域容灾的场景。
腾讯云中间件团队
2025/02/10
1560
腾讯云中间件8月产品月报 | RabbitMQ 支持按量计费模式
TDMQ CKafka 版弹性存储能力重磅上线!
自 2024年5月起,TDMQ CKafka 专业版支持弹性存储能力,这种产品形态下,存储可按需使用、按量付费,一方面降低消费即删除、存储使用波动大场景下的存储成本,另一方面存储空间理论上无穷大。
腾讯云中间件团队
2024/05/20
3040
TDMQ CKafka 版弹性存储能力重磅上线!
中间件PaaS层组件容灾方案及实践
当下,随着数字化技术不断深入,愈来愈多企业将核心业务搬到线上。业务系统高可用、可扩展、容灾能力决定企业系统的连续性,中间件作为构建企业核心系统的重要组成部分,其高可用容灾能力也将决定应用系统的。本文结合腾讯云中间件各PaaS产品的容灾能力及实践,以一个行业头部客户业务容灾实践举例,来展开说明基于腾讯云中间件PaaS层相关产品的实践。
邓愉悦
2021/05/31
4.5K12
腾讯云消息队列产品10月产品动态
10月动态 消息队列 RocketMQ 版 【商业化】消息队列 RocketMQ 版专享集群正式商业化。基于开源RocketMQ打造,兼容社区SDK,具有低延迟、高性能、高可靠、万亿级消息吞吐等特点。专享版于 5 月开始在外部客户侧进行白名单开放和打磨,已经在多个外部客户落地,涉及教育、出行、游戏等多个行业。 购买指南: https://cloud.tencent.com/document/product/1493/61589 【新功能】专享集群支持死信消息查询,在消息查询页面,用户可以根据专享集群的 gr
腾讯云中间件团队
2022/11/02
3.4K0
腾讯云消息队列产品10月产品动态
腾讯云消息队列12月产品月报 | 消息队列 MQTT 版正式商业化
TDMQ MQTT 版正式商业化并开始计费,支持直接在控制台购买使用。用户可以购买基础版(2000、5000 TPS)和专业版(6000-50000 TPS)集群,同时支持包年包月和按小时计费两种计费模式。
腾讯云中间件团队
2025/02/10
1860
腾讯云消息队列12月产品月报 | 消息队列 MQTT 版正式商业化
公有云-实验三 使用无服务器函数发邮件
在本实验中,我们将会使用腾讯云的消息队列CKafka、无服务器云函数SCF和对象存储COS,实现一个异常日志检测及记录系统。当业务系统中的应用功能程序生成日志后,会把日志信息通过消息实时传输到CKafka服务端。通过配置异常日志检测SCF的触发规则,一旦日志消息投递成功即可触发异常日志监测SCF的逻辑。异常日志监测SCF会监测接收到的日志消息是否含有异常关键字,然后把异常信息归档后投递到COS并发送邮件到指定的邮箱,从而实现无服务器函数发送邮件的目的。
误入歧途
2024/05/08
3790
公有云-实验三 使用无服务器函数发邮件
腾讯云消息队列5月产品月报 | CKafka 专业版支持弹性存储形态
自 2024年5月起,TDMQ CKafka 专业版支持弹性存储能力,这种产品形态下,存储可按需使用、按量付费,一方面降低消费即删除、存储使用波动大场景下的存储成本,另一方面存储空间理论上无穷大。
腾讯云中间件团队
2024/06/12
2640
腾讯云消息队列5月产品月报 |  CKafka 专业版支持弹性存储形态
10月最新动态!
腾讯云中间件 - 微服务团队产品2021年10月简报: API网关:正式发布云原生网关 ,完美兼容开源 Kong 网关,为您幅度降低网关建设成本;支持条件路由插件,支持自定义认证/请求体插件。 微服务引擎 TSE :发布子产品服务注册中心、配置中心、治理中心。支持一键创建、免运维、高可用、开源增强的组件托管服务。 消息队列 TDMQ: 支持开源RabbitMQ备用交换机能力;支持客户端代码声明功能,原Spring内置客户端使用MQ的客户可以无缝迁移至TDMQ; 支持独占消费、支持集群维度的数据统计
腾讯云中间件团队
2021/11/09
8030
如何选购腾讯云数据库 MySQL及初始化访问数据库
在腾讯云购买云数据库 MySQL及初始化访问数据库是很轻松的事情,有了腾讯云计算作为基础,我们可以把这些复杂的底层操作交给云计算去完成,而我们只要集中精力去实现业务就可以了。
魏艾斯博客www.vpsss.net
2019/10/05
7.7K0
如何选购腾讯云数据库 MySQL及初始化访问数据库
腾讯云Ckafka基础网络与VPC互通及迁移方案
基础网络是腾讯云上所有用户的公共网络资源池,所有云服务器的内网 IP 地址都由腾讯云统一分配,无法自定义网段划分、IP 地址。随着用户规模和更多复杂业务的扩增,基础网络已经不能满足业务需求,因此在基础网络上演进出具备自主可控、安全性更高的私有网络(VPC)。
fankhu
2022/06/12
7.5K4
一文搞懂地域和可用区如何选择
随着云计算的普及,越来越来的业务会选择上云,上云的第一步往往就是云资源的选购,选购云资源时(尤其是IaaS),通常都必须先选择地域Region和可用区AZ,那么我们应该如何选择呢?这两个概念与日常所说的数据中心又有什么区别呢?
cutd
2021/12/03
4.9K0
腾讯云中间件产品月报(第2期)
1. 腾讯微服务平台TSF:提供服务双注册发现能力;提供容器部署前的健康检查功能;多系统可使用同一个TraceID。
腾讯云中间件团队
2021/03/24
1.4K0
腾讯云中间件产品月报(第2期)
腾讯云中间件产品月报(2021年第1期)| 文末好礼送不停
腾讯云中间件 - 微服务团队产品2021年1月简报: 发布新品腾讯云微服务引擎 TSE。 腾讯微服务平台 TSF 新增功能:健康检查与注册中心联动;新增资源时可支持关联数据集;支持 Spring Cloud H 版本;全链路灰度发布支持跨命名空间;TSF 服务告警优化,容器集群导入云主机、安全组配置优化。 腾讯微服务观测台 TSW 广州地域发布;支持服务、接口、组件调用监控能力;支持具体接口调用多维度查询;支持系统内调用拓扑图动态发现。 消息队列 TDMQ 新增集群管理功能;环境更名为命名空间。
腾讯云中间件团队
2021/03/24
1.1K0
从0到1!开发小白快速入门腾讯云数据库
在这个海量数据大爆发的时代,一个单一的开源数据库产品往往很难直接满足企业的业务需求,在某些场景下,无论是性能、安全还是稳定性,都面临着各种各样的问题。
腾讯产业互联网学堂1
2023/12/18
3540
从0到1!开发小白快速入门腾讯云数据库
腾讯云消息队列7月产品月报 | RocketMQ 4.x 通用集群支持 HTTP 协议
接入外部监控 Prometheus,在原有 JMX Exporter 与Node Exporter 的基础上,加入与 Broker IP 的对应。
腾讯云中间件团队
2025/02/10
1470
腾讯云消息队列7月产品月报 | RocketMQ 4.x 通用集群支持 HTTP 协议
如何选购及管理腾讯云 MySQL 数据库
如何选购及管理腾讯云 MySQL 数据库?有了腾讯云计算作为基础,我们可以把这些复杂的底层操作交给云计算去完成,而我们只要集中精力去实现业务就可以了。
魏艾斯博客www.vpsss.net
2019/10/06
12.4K0
如何选购及管理腾讯云 MySQL 数据库
推荐阅读
相关推荐
巡检项:开启Ckafka跨可用区部署
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档