Redis扫描匹配大量密钥的性能？
Redis是一个开源的内存数据结构存储系统，具有高性能、高可用性和可扩展性的特点。它支持多种数据结构，如字符串、哈希、列表、集合和有序集合，并提供了丰富的操作命令。
在Redis中，扫描匹配大量密钥的性能取决于以下几个因素：
- 数据量：Redis的性能与数据量成正比，当数据量增加时，扫描匹配的性能可能会下降。因此，如果需要高性能的扫描匹配操作，可以考虑将数据分片存储在多个Redis实例中，以提高并行处理能力。
- 扫描模式：Redis提供了多种扫描模式，如KEYS、SCAN和SSCAN。其中，KEYS命令是最简单的扫描模式，但在处理大量密钥时可能会导致阻塞。相比之下，SCAN命令使用游标方式进行扫描，可以避免阻塞，并且支持分批次返回结果，适用于处理大量密钥的情况。
- 索引结构：Redis使用哈希表作为主索引结构，通过哈希算法将密钥映射到对应的哈希槽中。在扫描匹配操作中，Redis会遍历所有的哈希槽，查找符合条件的密钥。因此，索引结构的设计和优化对于扫描匹配性能至关重要。
- Redis版本：Redis不断进行性能优化和功能改进，新版本通常会提供更好的扫描匹配性能。因此，建议使用最新版本的Redis，以获得更好的性能和稳定性。
在腾讯云的产品中，推荐使用的与Redis相关的产品是腾讯云的云数据库Redis版（TencentDB for Redis）。该产品提供了高性能、高可用性的Redis服务，支持自动备份、数据恢复、监控告警等功能，适用于各种场景下的数据存储和缓存需求。
更多关于腾讯云云数据库Redis版的信息，请参考以下链接：
请注意，以上答案仅供参考，具体的性能表现还需要根据实际情况进行评估和测试。
相关·内容
我有一个类似这样的构造：
while {
keys, cursor, err = redis.scan(cursor, "bla:*", 100)
for keys {
res = redis.get(keys[i])
....
}
....
}
是否可以将scan和get命令放入管道中？如果是，我该怎么做？我对性能有一些问题。
浏览 0提问于2020-11-18得票数 0
我正在使用RedisCluster访问信息。这是我的代码：
package kafka;
import java.util.Collection;
import java.util.HashMap;
import java.util.HashSet;
import java.util.Map;
import java.util.Set;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisCluster;
import redis.clients.jedis.ScanParams;
import redis.c
浏览 1提问于2018-10-04得票数 0
redis-cli -s /data/redis/redis.sock --scan --pattern "*abcd|6128*" | xargs -L 100 redis-cli -s /data/redis/redis.sock DEL
上面的命令没有从redis中删除adta，并给出了以下输出
(integer) 0
虽然key命令可以完美地工作
redis-cli -s /data/redis/redis.sock KEYS 'abcd|6291*' | xargs redis-cli -s /data/redis/redis.sock DEL;
是
浏览 1提问于2016-10-27得票数 0
Redis 4.0密钥命令可以列出所有需要的模式密钥内存使用密钥可以返回密钥内存如何将它们一起使用来获得该模式密钥的已用内存总和
浏览 0提问于2018-10-01得票数 0
我已经使用StackService.Redis中的IRedisClient尝试了使用和不使用'*‘通配符的以下代码。它不会像我预期的那样返回匹配模式的键的列表。我尝试搜索包含存储在searchPattern变量中的值的所有键，但没有返回任何结果。如果我遗漏了什么，请告诉我。
using var cache = BuildClient();
cacheKeyList = cache.ScanAllKeys($"*{searchPattern}*").Skip(skip).Take(take).ToList();
浏览 6提问于2021-11-18得票数 0
我正在使用PHP-Redis和Redis版本3.1.6
$result = $redis->keys('source_1234_[a-zA-Z]*_[0-9]*');
产生
{array} [6]
0 = "source_1234_test_1"
1 = "source_1234_test_2"
2 = "source_1234_test_3"
3 = "source_1234_test_4"
4 = "source_1234_test_5"
5 = "source_123
浏览 4提问于2018-04-05得票数 1
2回答
用Node中的lua脚本扫描键
、、、、
我一直试图从Redis获得所有的密钥使用扫描，同时也避免使用计数。问题是，当有很多钥匙时(例如。1000000) SCAN 0 MATCH *扫描速度比以下慢得多：
KEYS *
或
SCAN 0 MATCH * COUNT 1000000
我读过一篇关于使用Lua以获得更好性能的谚语。在这件事上有人能帮我吗？我想使用Lua来处理键数超过100万的所有键的扫描。我正在使用npm的红色包装。
浏览 0提问于2020-02-12得票数 0
回答已采纳
当我使用springboot时，我使用redis作为缓存服务器。但是我读了spring-data-redis源代码，当驱逐缓存时，代码是
byte[][] keys = Optional.ofNullable(connection.keys(pattern)).orElse(Collections.emptySet())
.toArray(new byte[0][]);
Redis建议将key命令替换为scan命令。为什么spring团队不这样做。
浏览 3提问于2020-06-12得票数 4
2回答
为此，我使用了。
我需要创建脚本，将模式mobile*的所有键从一个Redis host1复制到host2。
通过从host1中选择带有模式mobile*的所有键，我就可以做到这一点。然后使用get key方法循环遍历每个密钥以返回数据。然后使用host2方法为set设置键：
$auKeys = $redis->keys("mobile*");
foreach ($auKeys as $key) {
$data = $redis->get($key);
$redis2->set($key, $data, 6000);
echo $key
浏览 1提问于2016-04-01得票数 0
回答已采纳
1回答
我正在研究的应用程序之一最近从redis转到了redis cluster。现在，我一直在使用keys命令来获取键空间下的所有密钥。但现在它说的是Cannot use 'KEYS' with redis-cluster。用Laravel编写的应用程序和我正在使用Predis作为redis客户端。
我将树响应存储在redis中，它位于parent:child:ItemID格式的命名空间中。所以我有这样的条目
parent:child:1
parent:child:2
parent:child:3
这些键中的每一个都有与其相关联的JSON。我正在获取每个JSON条目，遍历这些键
浏览 0提问于2019-07-17得票数 2
我开始玩Redis，把一些值放到数据库中。
var redis = require("redis"),
client = redis.createClient();
// if you'd like to select database 3, instead of 0 (default), call
// client.select(3, function() { /* ... */ });
client.on("error", function (err) {
console.log("Error " + err);
浏览 2提问于2013-10-14得票数 1
回答已采纳
3回答
在Redis缓存中，我有3个密钥
1111-2222-4444 1111-2222-3333 1112-2222-3333
我有一个部分键1111，我想返回两个键1111-2222-4444,1111-2222-3333
我有以下代码
public List<String> getKeys(String partialkey) {
ScanParams scanParams = new ScanParams();
scanParams.match("*");
String cur = redis.clients.jed
浏览 10提问于2022-01-24得票数 0
1回答
我对Redis非常陌生，最初使用键来迭代我的数据集，但根据我在documents中所能读到的内容，它实际上是不被推荐的--特别是在包含许多键的较大数据集中，因为键遍历整个数据集，阻塞了很长时间，而扫描遍历数据集中的数据块，因此阻塞时间比键短。如果理解正确，我想知道是否有优化扫描迭代的方法，这样它就不会随机迭代(比方说) 10.000个数据，而是从给定的点开始迭代。
示例：
a1
a2
a3
b1 < --- start iterating from here instead of from a1
b2
b3
这样就能为“我们”省下很多表演？
浏览 4提问于2020-03-24得票数 0
回答已采纳
我的缓存里有这样的散列键-
products:P101
products:P211
products:P327
...
现在，我想使用widlcard对这些缓存项进行HSCAN，但它不起作用
hscan "products:P121" 0 //this works
scan 0 match products:* //this works
hscan "products:*" 0 //this does not work
我还想在我的c# .net核心应用程序中使用通配符扫描检查是否存在任何项，我使用了下面的代码，但它没有返回任何数据-
var db = s_r
浏览 71提问于2021-10-11得票数 0
2回答
使用Redis集群比只使用普通Redis和创建分片有什么优势？
在我看来，Redis集群更多的是关于数据安全(使用主从架构来解决故障)。
浏览 3提问于2016-04-29得票数 4
我使用python通过使用match选项来匹配某些信息？但不起作用。
import redis
import REDIS
class UserCache(object):
def __init__(self):
self.rds = self._connectRds()
def _connectRds(self):
_db = REDIS['usercache']
pool = redis.ConnectionPool(host=_db['HOST'], port= _db['PO
浏览 5提问于2014-09-22得票数 11
回答已采纳
2回答
你好，我有一个redis数据库，其中包含100k+人员的面部嵌入。所有这些都以键值对的形式存储在redis中。例如：
{
"embedding:angelina" : [128-D vector of angelina],
"embedding:emma" : [128-D vector of emma],
"embedding:dicaprio" : [128-D vector of dicaprio]
}
现在，我正在尝试将目标嵌入与数据集中的所有嵌入进行比较，以找到最佳匹配。我尝试这样做的一种方法是首先检索所有以嵌入*表达
浏览 5提问于2022-01-12得票数 0
回答已采纳
当我在一个高可用的Redis服务器上运行KEYS *时，我得到了下面的错误。 文件"/usr/local/lib/python3.7/site-packages/redis/client.py"，行1394，在set return "/usr/local/lib/python3.7/site-packages/elasticapm/instrumentation/packages/base.py"，(‘SET’，* "/usr/local/lib/python3.7/site-packages/elasticapm/instrumentation/pa
浏览 19提问于2020-09-18得票数 0
我正在使用php-redis软件包，大部分在大多数流行的repos中可用。你称之为
$redis = new Redis();
$redis->connect('127.0.0.1', 6379);
如果我想的话
$var = $redis->getKeys('something.*');
在后端，它会进行同步和阻塞吗？
KEYS something.*
或者以非阻塞的方式迭代使用扫描，允许并发线程作为
SCAN 0 MATCH something.* COUNT 10
SCAN $iteratorFromLastCall MATCH somethi
浏览 1提问于2017-10-17得票数 1
回答已采纳
我有一个以下格式的密钥：
Error.1
Error.24
Error.32
使用StackExchange.Redis，如何对所有与Error.格式匹配的键执行KeyDelete操作
在另一个答案中，我看到了LUA脚本：
EVAL "return redis.call('del', unpack(redis.call('keys', ARGV[1])))" 0 Error.*
但我不确定如何使用Database.ScriptEvaluate()调用它
浏览 3提问于2016-12-21得票数 5
回答已采纳
我正在尝试将所有密钥从db=2复制到db=3中，该redis在端口6380上运行。
我已经关注了几个其他的SO问题，但没有得到回复。请找到查询same.Could的人帮助，下面的命令有什么问题？
redis-3.2.8/src/redis-cli -p 6380 -n 2 --scan | xargs redis-
3.2.8/src/redis-cli -p 6380 migrate localhost 6380 '' 3 0 copy keys
浏览 2提问于2019-07-16得票数 1
1回答
在redis中，声明不应在生产中使用keys命令，因为它在执行时阻塞其他进程，所以最好对具有一定批处理大小的所有键使用扫描迭代。我在文档中看到redis使用散列索引，所以我假设它不能用于范围查询，如扫描和键。
但是我们的系统是以这样的方式完成的，我们需要广泛地使用扫描。可以吗?它能显著降低哈希查询的性能吗？
浏览 0提问于2021-01-12得票数 1
回答已采纳
1回答
这是一个后续问题。我最初询问了一个redis实例中不同数据库中redis 键操作的时间复杂性。我之所以问这个问题，是因为我试图实现一个缓存，其中有x多段键，每个键都可能有y实际数据实例，从而生成xy总键。
但是，我想支持主键的外卡搜索，似乎在redis中唯一实现的对键的外卡查询是key命令，因此不鼓励使用该命令。在我看来，将x键放在一个单独的数据库中是一个不错的折衷方案，在这个数据库中，键数越少，键操作的执行情况就越好。
有人能提出更好的选择吗？
谢谢。
浏览 5提问于2012-05-26得票数 1
回答已采纳
我使用ServiceStack C#来保存和检索Redis中的数据。我想通过值来查找关键字。尝试对此操作使用SearchKey(字符串模式)，但不成功！代码：
IList<City> ilstCity = RedisClient.SearchKeys("urn:City:babol");
Console.WriteLine(ilstCity[0].Title);
您如何做到这一点？
浏览 0提问于2014-06-08得票数 0
据我所知，Redis完全在内存中运行，只是将其数据同步回磁盘，这是它如此快的主要原因。
他们的网站说被弃用了，围绕这一说法的散文似乎表明，他们的近期计划不包括对大于系统内存的数据库的持续支持(老实说，这描述了我使用过的大多数数据库，甚至包括具有规范化好处的RDBMSes )。
这是否意味着Redis不再适合(长期)作为数据密集型或高流量应用程序中的主要或唯一数据存储？对于主要事件，我是否应该坚持使用SQL/Mongo/Raven/等，而对于偶尔出现的花哨(缓存等)，我是否应该考虑使用Redis？
或者，是否有人成功地使用Redis进行了扩展，而没有使用不推荐使用的VM功能？如果是这样，又是如何
浏览 1提问于2013-03-03得票数 0
回答已采纳
我刚接触redis，所以我肯定做错了什么：
我已经在Azure Redis中存储了大约16,000个键/值。
我使用以下代码编写键/值
foreach (var worksheet in wksList)
{
var wksYYMM = string.Format("{0}{1:00}", worksheet.ReviewDt.Year, worksheet.ReviewDt.Month);
var wksKey = string.Format("{0}:{1}:{2}", provCode, wksYYM
浏览 0提问于2014-10-18得票数 16
回答已采纳
1回答
我在Redis有几个类似的键，比如：
/第200条
/第200条？
/第200条/其他东西
我想检索所有的散列，这些散列都有‘/ that /200%’这样的键。
这在Redis有可能吗？如果是，怎么做？
浏览 4提问于2016-06-08得票数 0
回答已采纳
如果我做像这样的事情
number_of_keys = redis_instance.keys('foo*').size
然而，这个请求有10,000个键，有没有办法加快这个过程，因为我只想对它们进行计数，而不是先返回一整批，然后对它们运行ruby .size方法来对它们进行计数？
问题是，考虑到我实际上并不需要10,000个键，返回10,000个键就有点慢和浪费了--我所需要的就是看看有多少个键。
编辑:我应该指定redis_instance是的一个实例。
浏览 1提问于2013-06-30得票数 1
回答已采纳
我正在处理的应用程序需要创建一个计数器，表示每个内容被查看的次数。
这里有两个目标：
实时更新计数器
最小化MySQL上的负载
目前，我们要做的是在Redis中为包含视图计数的每一段内容设置一个缓存键。当发生视图事件时，我们增加视图计数。如果在发生读或写时键上没有值，则使用单独的数据源(Influxdb)计算所有时间视图计数。
问题是，由于我们重组InfluxDB数据的方式，我们现有的方法将不再可行。使用流入数据计算卡片的所有时间视图已不再具有足够的性能，原因是我不会进入这里(请随意询问)。
本质上，我们不再有一种方法来计算所有时间的视图计数‘从头开始’。我们将需要依赖现有的计数器值，并且只增
浏览 0提问于2018-12-18得票数 1
回答已采纳
我正在建立一个CherryPy的网络应用程序与redis作为主数据库，现在我有很多关键值存储在数据库中，我想只显示每页10个条目。所以我只想知道在这种情况下应该使用sql limit还是redis scan。
import redis
import json
import cherrypy
from controllers.base import BaseController
con = redis.Redis(host='localhost', port=6379, db=3)
class HomeController(BaseController):
@cher
浏览 0提问于2018-03-29得票数 1
1回答
我想从我的Redis中删除所有匹配SomePrefix*的键。有可能吗？我只看到了库中的m_connectionMultiplexer.GetDatabase().KeyDelete()，而没有看到KeyMatch()或GetAllKeys()。
最好不要像这样的Lua脚本
我想用它来初始化web应用程序，以实现应用程序的开发状态。
浏览 1提问于2014-10-26得票数 1
回答已采纳
16回答
是否有Redis命令可以拉取数据库中的所有密钥？我见过一些python-redis库获取它们。但想知道这是否可能从redis-client。
浏览 33提问于2011-03-10得票数 591
回答已采纳
我的问题是:我有一组值，每个值都必须有一个expire值。代码：
set a:11111:22222 someValue
expire a:11111:22222 604800 \\usually equal a week
在理想的情况下，我会将所有这些值都放在一个哈希表中，并为每个值赋予适当的expire值，但是redis不允许在哈希域中使用expire。
问题是，我也有一个进程，需要大约每小时获取一次所有这些密钥
keys a:*
这个命令的开销非常大，而且根据redis文档，它可能会导致性能问题。在每个给定的时刻，我大约有25000-30000个密钥。
有没有人知道我该如何解决这样的问题
浏览 4提问于2013-11-14得票数 5
回答已采纳
我在Redis有以下的结构，
commKey:hkey1
target1 - value1
target2 - value2
commKey:hkey2
target2 - value3
target3 - value4
commKey:hkey3
target1 - value5
target3 - value6
...
逗号将出现在所有哈希键上，后面跟着一个名称空间和一个唯一的字符串(hkey1、hkey2、hkey3.)。我想删除所有密钥中的所有target1。target1出现在commKey:hkey1和commKey:hkey3中。所
浏览 2提问于2016-12-01得票数 2
回答已采纳
我正在尝试对本地开发设置进行文档化，以使新开发人员的工作变得更加简单。我在Ember应用程序中设置的一部分。我遵守了的指示，但当Ember应用程序启动时，我遇到了巨大的延迟。它达到了这样的程度:它说Serving on http://localhost:4200，然后在消息和输出之间有一个很大的延迟(大约10分钟)，在输出中，Ember显示编译所有内容所需的时间。也就是说，显示的编译时间只有几分钟。
我的码头-Compose.yml文件：
version: '2'
services:
nginx:
container_name: 'nginx&#
浏览 3提问于2016-08-14得票数 3
回答已采纳
1回答
高效查询Redis
、、、、
我正在构建一个钱包应用程序，我正在使用redis来缓存用户当前的钱包余额。我被要求检索使用该应用程序的所有用户的全部余额的总和。我一直在寻找一种方法来查询redis中的数据，因为它已经缓存在那里了。
我用来保存它们的密钥是user_id-current-balance。有没有一种方法可以获取所有以-current-balance结尾的键，然后检索它们持有的所有数据？有没有更好的方法来做这件事？
浏览 3提问于2021-11-26得票数 1
我使用redis "flushdb“刷新Redis中的所有数据，但导致redis-server消失，我想问题可能是清理了大量的密钥。那么，有没有办法顺利地刷新Redis呢？也许会有更多的时间来刷新所有数据？
浏览 0提问于2015-07-07得票数 1
3回答
在Redis DB中，我有许多字符串类型的键，以节省应用程序的下载时间，例如：
Key value
20131028:1 100
20131028:2 15
20131028:3 10
..........
我想用redis命令求所有key的所有值的和，请帮我解决。非常感谢。
浏览 1提问于2013-10-29得票数 7
我没有在任何正式文档中找到它，redis timeseries模块在以下方面的限制是什么：
最大可加标签数？最大键大小？最大键数或时间序列？
请让我知道
浏览 4提问于2020-03-20得票数 1
回答已采纳
我们正在尝试为AWS的Elasticache管理的Redis实例禁用将RAM交换到磁盘-但找不到正确的属性来执行此操作。
我们也找不到一种方法来SSH它，并从kernerl中关闭交换，您能帮助一下吗？
浏览 0提问于2016-10-07得票数 3
2回答
我有一个问题，让Redis搜索键的基础上，他们的属性在一个集合。例如，我有一个发送通知的应用程序，出于某种原因，我不想使用数据库存储发送通知的数组，这是我目前必须做的。应用程序使用Rails和redis。我有：
project.rb
def red
red = Redis.new(:host => "localhost", :port => redis_port, :db => 3)
end
# where I store the ids of notified users for the project
def notified_users
re
浏览 10提问于2015-09-23得票数 1
回答已采纳
用红宝石表示的1+十亿个密钥。
现在，我想让所有的，在python中的密钥。
partkeys = redisclient.keys("abcd*")
会没事的。
但
keys = redisclient.keys("ab*")
将提高ResponseError。
redis.exceptions.ResponseError:键错误
和
keys = redisclient.keys("*")
将引发ConnectionError。
redis.exceptions.ConnectionError:连接demo.abcd.com:6397
浏览 2提问于2014-10-23得票数 2
我在redis中有多个密钥，比如key_1、key_2、key_3等等。我想在每个键的前缀后面加上"s“(这里的键前缀是”键“)，这样它就变成了keys_1，keys_2，keys_3 我正在使用django缓存from django.core.cache import cache 有没有什么功能可以根据模式重命名关键字，或者redis-cli中有没有什么东西可以解决这个问题。 请帮帮忙。
浏览 26提问于2021-02-01得票数 0
我在Redis里存了很多东西。其中一组使用名称空间cache (键以cache:开头)。我想知道名称空间为cache的数据/值的大小。我能在Redis中做到这一点吗？有什么建议吗？
浏览 41提问于2020-08-06得票数 1
如何设计仅在剩余关键字范围内的Redis搜索/扫描算法？
remaining keys = <All Keys> - <Set of Keys>
设计背景:我们的IOT JAVA Consumer应用程序运行在具有多个副本的kubernetes pod中。应用程序的数量非常庞大(超过数百万个)，因此我们使用Redis散列来存储Appliance的元数据。例如，redis中的数据结构是
sample Hash - DEVICE|APC2(i.e. for 2nd series appliance)
sample Key - APC278ER89A1(i.e. Devic
浏览 0提问于2020-06-08得票数 0
3回答
我试着在我的Redis上加载一些重载，以便测试并找出任何上限。首先，我加载了大小为32个字符的50,000和100,000个键，值大约为32个字符。两种密钥大小都不超过8-15秒。现在，我尝试将4kb的数据作为每个键的值。前10000个密钥需要800毫秒才能设置。但从这一点开始，它逐渐变慢，设置整个50,000个关键点大约需要40分钟。我正在使用NodeJs和加载数据库。是我做错了什么，还是Redis在处理4KB的大值时有那么慢？
我现在发现的另一件事是，当我运行与当前客户端并行的另一个客户端并更新密钥时，第二个客户端在8秒内完成了50000个具有4kb值的密钥的加载，而第一个客户端仍然永远在
浏览 1提问于2011-04-19得票数 6
回答已采纳
我想使用扫描遍历一些存储在具有相同前缀的Redis中的键，并在我的应用程序代码中使用键的值进行一些处理。在处理完后，删除从扫描输出返回的密钥安全吗？我在扫描文档中没有提到这一点：
浏览 2提问于2022-02-09得票数 0
回答已采纳
1回答
在我的集群中，我有一个nodejs应用程序荚和一个redis荚，我试图从nodejs连接到redis，但是我得到了以下错误：
[ioredis] Unhandled error event: Error: getaddrinfo ENOTFOUND redis at GetAddrInfoReqWrap.onlookup [as oncomplete] (dns.js:60:26)
值得注意的是，在我的nodejs应用程序中，我指向redis:6379，如果我更改指向localhost:6379的指针，我将得到一个ECONNREFUSED错误。
我的redis部署yaml如下所示：
apiVe
浏览 4提问于2020-06-09得票数 0
回答已采纳
我遵循了关于如何使用本教程中的节点创建基于令牌的身份验证的教程。
我把一切都解决了，但我有一个问题。
我存储令牌的方式是：
KEY =令牌
VALUE = UserData (用户名、电子邮件等)
为了保护多个设备登录，我想使现有的令牌失效，并生成新的令牌。在登录期间，我想检查用户的令牌是否已经存在。但是，我需要按值查找密钥。(我需要通过电子邮件找到令牌)。但是，当我浏览Redis文档时，我找不到任何关于按值查找密钥的行。
(非常感谢:)
浏览 2提问于2015-06-22得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
