首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    玩转 lua in Redis

    一、引言 Redis学了一段时间了,基本的东西都没问题了。从今天开始讲写一些redis和lua脚本的相关的东西,lua这个脚本是一个好东西,可以运行在任何平台上,也可以嵌入到大多数语言当中,来扩展其功能。lua脚本是用C语言写的,体积很小,运行速度很快,并且每次的执行都是作为一个原子事务来执行的,我们可以在其中做很多的事情。由于篇幅很多,一次无法概述全部,这个系列可能要通过多篇文章的形式来写,好了,今天我们进入正题吧。 二、Lua简介 Lua 是一个小巧的脚本语言。是巴西里约热内卢天主教大学(Pontifical Catholic University of Rio de Janeiro)里的一个研究小组,由Roberto Ierusalimschy、Waldemar Celes 和 Luiz Henrique de Figueiredo所组成并于1993年开发。 其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。Lua由标准C编写而成,几乎在所有操作系统和平台上都可以编译,运行。Lua并没有提供强大的库,这是由它的定位决定的。所以Lua不适合作为开发独立应用程序的语言。Lua 有一个同时进行的JIT项目,提供在特定平台上的即时编译功能。 Lua脚本可以很容易的被C/C++ 代码调用,也可以反过来调用C/C++的函数,这使得Lua在应用程序中可以被广泛应用。不仅仅作为扩展脚本,也可以作为普通的配置文件,代替XML,ini等文件格式,并且更容易理解和维护。 Lua由标准C编写而成,代码简洁优美,几乎在所有操作系统和平台上都可以编译,运行。一个完整的Lua解释器不过200k,在目前所有脚本引擎中,Lua的速度是最快的。这一切都决定了Lua是作为嵌入式脚本的最佳选择。 三、使用Lua脚本的好处 1、减少网络开销:可以将多个请求通过脚本的形式一次发送,减少网络时延和请求次数。 2、原子性的操作:Redis会将整个脚本作为一个整体执行,中间不会被其他命令插入。因此在编写脚本的过程中无需担心会出现竞态条件,无需使用事务。 3、代码复用:客户端发送的脚步会永久存在redis中,这样,其他客户端可以复用这一脚本来完成相同的逻辑。 4、速度快:见 与其它语言的性能比较, 还有一个 JIT编译器可以显著地提高多数任务的性能; 对于那些仍然对性能不满意的人, 可以把关键部分使用C实现, 然后与其集成, 这样还可以享受其它方面的好处。 5、可以移植:只要是有ANSI C 编译器的平台都可以编译,你可以看到它可以在几乎所有的平台上运行:从 Windows 到Linux,同样Mac平台也没问题, 再到移动平台、游戏主机,甚至浏览器也可以完美使用 (翻译成JavaScript). 6、源码小巧:20000行C代码,可以编译进182K的可执行文件,加载快,运行快。 四、redis和lua整合详解 1、调用Lua脚本的语法: $ redis-cli --eval path/to/redis.lua KEYS[1] KEYS[2] , ARGV[1] ARGV[2] ... --eval,告诉redis-cli读取并运行后面的lua脚本 path/to/redis.lua,是lua脚本的位置 KEYS[1] KEYS[2],是要操作的键,可以指定多个,在lua脚本中通过KEYS[1], KEYS[2]获取 ARGV[1] ARGV[2],参数,在lua脚本中通过ARGV[1], ARGV[2]获取。 注意: KEYS和ARGV中间的 ',' 两边的空格,不能省略。

    03

    使用Redis实现高流量的限速器

    Redis是生产环境中默默无闻的主力配置。它不常用作主要的数据存储,但它可存储和访问临时数据(度量,会话状态,缓存等损失可以容忍的数据)方面有一个甜蜜点,并且速度非常快,不仅提供了最佳性能,还通过一组有用的内置数据结构提供了高效的算法。它是现代技术栈中最常见的主要部件之一。 Stripe的限速器建立在Redis的基础之上,直到最近,他们都运行在Redis 的一个非常Hot的实例上。服务器上有用于故障转移的follower,但在任何时候,只有一个节点处理每个操作。 你不得不佩服这样的系统。各种消息称,Redis可以在一个节点上每秒处理一百万次操作 - 我们项目不需要那么多,但是也有很多操作。每个速率限制检查都需要运行多个Redis命令,并且每个API请求都要通过很多速率的限制器。一个节点每秒处理大约数十到数十万个操作。 我们最终通过迁移到10个节点的Redis群集来实现这个目标。对性能的影响可以忽略不计,我们现在有一个简单的配置开关可以实现水平可伸缩性。 操作的限制 在更换系统之前,应该理解导致原始故障的原因和结果。 Redis的一个值得理解的特性是:它是一个单线程程序。但是会有后台线程处理一些像删除对象这样的操作,实际上所有正在执行的操作都堵塞在访问单个流控制点上。理解这点相对容易--Redis需要保证操作的原子性(无论是单一命令MULTI,还是 EXEC),这是源于它一次只执行其中一个操作的事实。 这个单线程模型确实是我们的瓶颈。 面对失败 即使以最大容量运营,我们发现Redis也会非常优雅地降级。主要表现:从与Redis交谈通信的节点观察到的基线连接性错误率增加 - 为了容忍发生故障的Redis,它们受到连接和读取超时(约0.1秒)的限制,并且与过载主机无法无法建立连接。 Redis这种表现虽然不是最佳的,但大部分时间情况都是好的。只有当合法 用户能够成功进行身份验证并在底层数据库上运行昂贵的操作时,它才会成为一个真正的问题,因为我们的目标是拦截巨大的非法流量冲击(即数量级超过允许的限制)。 这些流量峰值会导致错误率的成比例增加,并且许多流量还应该被允许通过,因为限速器默认是允许在错误情况下通过请求。这会给后端数据库带来更大的压力,这种压力在过载时不会像Redis那样优雅地失败。很容易看到数据库分区几乎完全无法操作。 Redis Cluster的分片模型 Redis的核心设计价值在于速度,而Redis集群的构建方式不会对此产生影响。与许多其他分布式模型不同,在其输出响应成功信号时,Redis集群中的操作并未在多个节点上进行确认,而是更像是一组独立的Redis通过分散空间来分担工作负载。这牺牲了高可用性,有利于保持操作的快速性 - 与标准的Redis独立实例相比,针对Redis群集运行操作的额外开销可以忽略不计。 分片是根据key进行的,可能的key总数分为16,384个插槽。key的插槽是通过稳定的哈希散列函数计算的,所有客户端都知道该如何操作: HASH_SLOT = CRC16(key) mod 16384 例如,如果我们想执行GET foo,我们会得到foo的以下插槽号: HASH_SLOT = CRC16("foo") mod 16384 = 12182 集群中的每个节点将处理16,384个插槽中的一部分,确切数量取决于节点数量。节点彼此通信以协调插槽分配以及可用性和插槽的再平衡。 客户端使用该CLUSTER系列命令来查询群集的状态。一个常见的操作是CLUSTER NODES获得插槽到节点的映射,其结果通常在本地缓存,并保持数据新鲜。 127.0.0.1:30002 master - 0 1426238316232 2 connected 5461-10922 127.0.0.1:30003 master - 0 1426238318243 3 connected 10923-16383 127.0.0.1:30001 myself,master - 0 0 1 connected 0-5460 我简化了上面的输出,但重要的部分是第一列中的主机地址和最后一个中的数字。5461-10922意味着这个节点处理开始于5461和结束于10922的插槽范围。 `MOVED`重定向 如果Redis群集中的某个节点接收到一个插槽不处理的的key的命令,则不会尝试向其他插槽转发该命令。相反,客户端会被告知在其他地方再次尝试。这是以MOVED新目标的地址作为回应的形式 : GET foo -MOVED 3999 127.0.0.1:6381 在集群重新平衡期间,插槽会从一个节点迁移到另一个节点,MOVED是服务器用于告诉客户端其插槽

    01
    领券