腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

Redis应用—6.热key探测设计与实践

大纲1.热key引发的巨大风险2.以往热key问题怎么解决3.热key进内存后的优势4.热key探测关键指标5.热key探测框架JdHotkey的简介6.热key探测框架JdHotkey的组成7.热key 探测框架JdHotkey的工作流程8.热key探测框架JdHotkey的性能表现9.关于热key探测框架JdHotkey的一些问题10.JdHotkey的安装部署与使用1.热key引发的巨大风险(1)数据层的风险 5.热key探测框架JdHotkey的简介(1)热key探测框架JdHotkey的特点(2)热key探测框架JdHotkey的使用(3)热key探测框架JdHotkey的强实时性和高性能(4)热key探测框架 (3)热key探测框架JdHotkey的强实时性和高性能热key探测框架JdHotkey有很强的实时性。默认下，500ms即可探测出待测key是否热key，是就会进到JVM内存中。如果不是热key，则返回null，并且将key上报到探测集群进⾏数量探测。

东阳马生架构

2025-03-07

6280

标签:

🔥 啥是热数据探测？

，我们再来聊聊热数据探测技术，即 “找出热数据” 的技术。至此，可将热数据探测工作分为配置规则、热 key 上报、热 key 统计、热 key 推送四个步骤：配置规则：指定热 key 的上报条件，圈出需要重点监测的 key 热 key 上报：每台机器将自己的 [上报和计算] 通过上述步骤，一套基本的热 key 检测机制就完成了。但热数据探测系统往往会面对复杂的业务场景，还要考虑其他的问题，比如 key 失效处理等。 [有赞 TMC 热 Key 探测设计] 为满足高并发场景，在设计热 key 探测框架时，还应重点关注如下指标：实时性：考虑到热 key 的突发性（甚至可能是 1 毫秒），必须能够实时发现热 key 并推送，集中计算集群可水平扩展此外，优秀的热 key 探测框架还应满足易接入、业务无侵入、可动态配置、规则热更新、可视化管理等特性。

程序员鱼皮

2021-04-15

1.1K0

标签:

etcd集群搭建和使用中常见的报错信息（热key探测系列教程）

etcd的下载地址：https://github.com/etcd-io/etcd/releases 当前最新的v3.4.9，我之前用的时候包括目前京东热key线上都是用的3.4.6，下面主要是看一下如何搭建

天涯泪小武

2020-07-08

1.6K0

标签:

容器镜像服务

分布式环境下对部分热数据（如redis热key，热请求）进行探测，并对探测结果及时同步到各个client实例的JVM内存的方案简述

可先阅读之前的这篇，有赞的热key探测及缓存方案。常见场景突发性的无法预先感知的热点数据请求，或者有阵发性明显热点数据的。热key特性如userId-99= /cart,/cartAdd,....。目标大幅降低热数据对下游服务（如redis、mysql）的冲击，在极短时间内探测出热点数据并缓存到jvm内存中。 (时间戳)代表该key被探测出的时间 2 应包含key的名字，如 /queryGoods? 所以还需要客户端来做一个aop切面，如果查询的对象在热key集合中，则获取到的value应该赋值给热key，尤其是redis的热key。 KeyModel即是对要探测的key的封装，包含了name，createTime，count等信息。

天涯泪小武

2020-01-13

1.4K0

标签:

云数据库 Redis®

京东毫秒级热key探测框架设计与实践，已完美支撑618大促

，注意，我们的热key探测框架只关心key，其实就是一个字符串，随意怎么组合成这个字符串由使用者自己决定，所以该框架具备非常强的灵活性，可以完成热数据探测、限流熔断、统计等多种功能。京东热key探测框架架构设计在经历了多次被突发海量请求压垮数据层服务的场景，并时刻面临大量的爬虫刷子机器人用户的请求，我们根据既有经验设计开发了一套通用轻量级热key探测框架——JdHotkey。它有很强的实时性，默认情况下，500ms即可探测出待测key是否热key，是热key它就会进到jvm内存中。主要用于存放规则配置，各worker的ip地址，以及探测出的热key、手工添加的热key等。然后当worker探测出来热key后，会将key发往etcd，dashboard也会监听热key信息，进行入库保存记录。

天涯泪小武

2020-06-30

3.9K0

标签:

云数据库 Redis®

小知识，啥是热数据探测？

至此，可将热数据探测工作分为配置规则、热 key 上报、热 key 统计、热 key 推送四个步骤：配置规则：指定热 key 的上报条件，圈出需要重点监测的 key 热 key 上报：每台机器将自己的上报和计算通过上述步骤，一套基本的热 key 检测机制就完成了。但热数据探测系统往往会面对复杂的业务场景，还要考虑其他的问题，比如 key 失效处理等。 ? 有赞 TMC 热 Key 探测设计为满足高并发场景，在设计热 key 探测框架时，还应重点关注如下指标：实时性：考虑到热 key 的突发性（甚至可能是 1 毫秒），必须能够实时发现热 key 并推送高性能：框架应保持轻量且高性能，有效降低成本准确性：精准探测符合规则的热 key，不漏报、更不误报一致性：保证应用实例与本地缓存的热 key 一致，不能出现数据错误可扩展：要统计的 key 数量级很大时，集中计算集群可水平扩展此外，优秀的热 key 探测框架还应满足易接入、业务无侵入、可动态配置、规则热更新、可视化管理等特性。

程序员鱼皮

2021-04-16

8070

标签:

云数据库 Redis®

商品，活动热key问题监听

目前为了实现本地缓存最高命中率,以及节约服务器内存资源,只有活动信息以及时段信息等上线就不会变化的,而且要是高频查询的(像活动是不是活动商品,活动有效期啊,活动开团时段啊等等),这些咱们进行本地化缓存 2.另外固定热key 周期性时间规律比较强,用LFU最近最少使用极有可能淘汰掉只是暂时没开团的活动,导致本地缓存命中率低顺带着提一嘴,我们这里用的京东云提供给我们的热点发现服务,我也就是LUR算法,对一定时间内的数据做统计二热key

名字是乱打的

2022-03-30

5470

标签:

大厂热数据探测开源项目不能错过!

APP后台热数据探测框架，对任意突发性的无法预先感知的热点数据，推送到所有服务端JVM内存中，以大幅减轻对后端数据存储层的冲击，并可以由使用者决定如何分配、使用这些热key（譬如对热商品做本地缓存、对热用户进行拒绝访问主要用于存放规则配置，各worker的ip地址，以及探测出的热key、手工添加的热key等。同时，该jar完成了key上报、监听etcd里的rule变化、worker信息变化、热key变化，对热key进行本地caffeine缓存等。然后当worker探测出来热key后，会将key发往etcd，dashboard也会监听热key信息，进行入库保存记录。当worker探测出来热key后，会推送回来，client里提供了方法，根据业务做相应的处理，比如限流、降级访问的部分接口等等。

2022-12-06

5900

标签:

Redis中大Key与热Key的解决方案

1.2、什么是热key 热 key 指的是频繁访问的键。(总结就是热，访问频繁。) 频繁访问：在某一段时间内被频繁访问的 key 就是热key 。业务方面：比如商城促销的场景下，某个商品的缓存可能就会成为热key。这种情况下热key 反应的不仅是该键的访问频率高，还反映了用户对某个业务功能的热度。 2.2、热 key 的影响CPU占用率高：因为是热key，所以 CPU 一直占用，进而导致Redis实例的CPU负载增加。请求阻塞：如果 key 有访问优先级，热key 的存在可能导致请求队列中其他的请求被阻塞。响应时间延长：因为热key ，其他的请求被阻塞了造成响应时间延长。 3.2、热 key 产生的原因3.2.1、热门数据热key 的产生一般意味着系统访问火爆了，但是火爆的只是其中一个点或者n个点。

2024-09-02

1K0

标签:

Redis中大key问题，热key问题的解决方案

遇到大key、热key问题，主要是去拆分大key问题业务场景中经常会有各种大key的情况，比如：1. 现在本地计算最后存储在哪个key中，计算出key的hash值，默认是通过（pin）的hash值，模除100，然后确认存在那个key上面2. 即newHashKey = hashKey + (hash(field) % 10000);hset(newHashKey, field, value);hget(newHashKey, field)热key 可以将热key，通过轮询放在不同的服务器， 2. 二、缓存大key问题Redis使用过程中经常会有各种大key的情况，比如单个简单的key存储的value很大。

2023-09-18

1.1K1

标签:

2023腾讯·技术创作特训营第二期