高并发开发知识点：缓存、降级、限流、令牌桶、漏桶

高并发下有三大利器来保护系统：缓存，降级，限流。

缓存

缓存是为了降低系统处理工作量提高系统访问速度，因为有些重复性的程序处理工作已经被缓存下来，下次遇到同样的请求直接读取缓存即可。

降级

降级是在服务器流量暴增的情况下，有取舍的对部分页面及功能有策略的降低其服务水准，已释放服务资源保证核心业务正常运行

限流

限流是对某一个时间窗口期请求书做限制，保持系统的可用性及稳定性，防止因流量暴增而导致的系统运行缓慢甚至宕机。常用的限流算法有令牌桶和漏桶。

在大数据量高并发访问时，经常会出现服务或接口面对暴涨的请求而不可用的情况，甚至引发连锁反应导致整个系统崩溃。此时你需要使用的技术手段之一就是限流，当请求达到一定的并发数或速率，就进行等待、排队、降级、拒绝服务等。

令牌桶

生成令牌的速度是恒定的，而请求去拿令牌是没有速度限制的。这意味，面对瞬时大流量，该算法可以在短时间内请求拿到大量令牌，而且拿令牌的过程并不是消耗很大的事情。

令牌桶算法（Token Bucket）：是网络流量整形（Traffic Shaping）和速率限制（Rate Limiting）中最常使用的一种算法。典型情况下，令牌桶算法用来控制发送到网络上的数据的数目，并允许突发数据的发送。

比如双11的时候，主要的业务就是让用户查询商品，以及购买支付，此时，金币查询、积分查询等业务就是次要的，因此要对这些服务进行服务的降级，典型的服务降级算法是采用令牌桶算法。

漏桶

漏桶算法（Leaky Bucket）：主要目的是控制数据注入到网络的速率，平滑网络上的突发流量。漏桶算法提供了一种机制，通过它，突发流量可以被整形以便为网络提供一个稳定的流量。

漏桶的出水速度是恒定的，那么意味着如果瞬时大流量的话，将有大部分请求被丢弃掉（也就是所谓的溢出）。

请求先进入到漏桶里，漏桶以一定的速度出水，当水请求过大会直接溢出，可以看出漏桶算法能强行限制数据的传输速率。

最后，不论是对于令牌桶拿不到令牌被拒绝，还是漏桶的水满了溢出，都是为了保证大部分流量的正常使用，而牺牲掉了少部分流量，这是合理的，如果因为极少部分流量需要保证的话，那么就可能导致系统达到极限而挂掉，得不偿失。