前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >再谈分布式ID生成方案

再谈分布式ID生成方案

作者头像
Bug开发工程师
发布2018-07-23 18:38:41
4260
发布2018-07-23 18:38:41
举报
文章被收录于专栏:码农沉思录

前言

昨天沉思君分享了一篇关于分布式ID生成方案的文章《分布式ID常见解决方案》,文中介绍了几种常见的分布式ID生成方案,并讨论了其优缺点。刚好最近沉思君在看李艳鹏老师合著的书《可伸缩服务架构:框架与中间件》,里面也有谈到分布式ID的设计思路,该项目已在GitHub上开源,项目名称为Vesta,今天就简单给大家介绍下Vesta的设计思路。

数据结构

首先介绍下Vesta中ID的数据结构。Vesta的ID类型是Java的long型,也就是二进制的64位。其中根据不同的业务场景,Vesta提供了2种ID类型给使用者,分别是最大峰值型和最小粒度型。每种类型的不同比特位代表的含义略有不同。

  • 最大峰值型:

字段

版本

类型

生成方式

秒级时间

序列号

机器ID

位数

63

62

60-61

30-59

10-29

0-9

因为使用的是秒级时间,所以时间段的位数比较少,而序列号位数相对比较多,着意味着1秒内可以承受的峰值比较高。

  • 最小粒度型:

字段

版本

类型

生成方式

毫秒级时间

序列号

机器ID

位数

63

62

60-61

20-59

10-19

0-9

由于时间精确到毫秒级,故粒度比较小,单位毫秒内生成的序列号比较少,适合用于峰值不高的场景。

其中,版本的默认值是0,其作用是用于扩展位或者扩容时的临时方案,比如当ID快用完的时候,只要将版本号修改为1,又可以使用很多年了。

生成类型表示的是ID生成器的发布模式,Vesta目前支持3种发布模式,分别是:嵌入发布模式,中心服务器发布模式和REST发布模式,一共3种,所以用2个二进制位就可以表示了。嵌入发布模式指的是直接调用本地Jar的方式生成分布式ID,这种方式需要提前配置好本地机器ID,优点是不需要依赖中心服务器。中心服务器发布模式指的是通过远程过程调用的方式调用中心服务器来生成分布式ID,缺点是需要依赖于中心服务器。REST发布模式指的是通过REST API调用中心服务器来生成分布式ID,优点是支持多语言,而前2种方式目前只支持Java客户端。

机器ID指的是生成分布式ID的机器对应的ID,Vesta支持3种机器ID分配方式,分别是属性配置方式、IP映射方式和数据库配置方式。下面将对这几种机器ID配置方式进行说明。

机器ID配置方式

  • 属性配置方式

属性配置方式,顾名思义就是在配置文件或机器的环境变量中配置好机器ID。这种方式适用于机器数量少的情况,如果机器数量多,配置起来是很繁琐的。

  • IP映射方式

IP映射方式,则是将所有需要生成ID的机器IP分别映射成唯一的机器ID,并配置在配置文件里,当服务启动的时候,将IP跟机器ID的映射初始化到Map中,再根据所在机器的IP就可以得到该机器对应的ID了。这种方式配置起来比较简单。

  • 数据库配置方式

数据库配置方式则是将机器IP跟机器ID的映射配置在数据库里,这种方式配置起来也比较简单,缺点是需要依赖外部数据库。

序列号生成方式

接下来讲下Vesta中的序列号生成方式。由于在同一台机器上可能存在多线程并发申请生成ID,所以生成单位时间内的序列号时需要考虑同步。Vesta中有3种生成序列号的方式,分别是基于Synchronized锁方式、基于ReentranLock方式和基于CAS无锁技术方式。

其中,基于Synchronized锁方式和基于基于ReentranLock方式比较简单,就是在递增序列号时加锁来进行同步,在此不赘述。

基于CAS无锁技术的方式使用了原子变量引用实现,因为生成ID时,需要同时更新时间戳和序号,为了实现原子更新,故使用了原子变量引用AtomicReference。该类提供了compareAndSet方法来实现CAS操作。如果CAS操作失败,则进入下一轮循坏,继续尝试更新,直到更新成功为止。

核心代码如下:

代码语言:javascript
复制
public class AtomicIdPopulator implements IdPopulator, ResetPopulator {

    class Variant {

        private long sequence = 0;
        private long lastTimestamp = -1;

    }

    private AtomicReference<Variant> variant = new AtomicReference<Variant>(new Variant());

    public AtomicIdPopulator() {
        super();
    }

    public void populateId(Id id, IdMeta idMeta) {
        Variant varOld, varNew;
        long timestamp, sequence;

        while (true) {

            // Save the old variant
            varOld = variant.get();

            // populate the current variant
            timestamp = TimeUtils.genTime(IdType.parse(id.getType()));
            TimeUtils.validateTimestamp(varOld.lastTimestamp, timestamp);

            sequence = varOld.sequence;

            if (timestamp == varOld.lastTimestamp) {
                sequence++;
                sequence &= idMeta.getSeqBitsMask();
                if (sequence == 0) {
                    timestamp = TimeUtils.tillNextTimeUnit(varOld.lastTimestamp, IdType.parse(id.getType()));
                }
            } else {
                sequence = 0;
            }

            // Assign the current variant by the atomic tools
            varNew = new Variant();
            varNew.sequence = sequence;
            varNew.lastTimestamp = timestamp;

            if (variant.compareAndSet(varOld, varNew)) {
                id.setSeq(sequence);
                id.setTime(timestamp);

                break;
            }

        }
    }

    public void reset() {
        variant = new AtomicReference<Variant>(new Variant());
    }

更多细节可以下载项目源码进行了解。项目地址:

代码语言:javascript
复制
https://github.com/cloudatee/vesta-id-generator
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-05-27,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 码农沉思录 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
消息队列 TDMQ
消息队列 TDMQ (Tencent Distributed Message Queue)是腾讯基于 Apache Pulsar 自研的一个云原生消息中间件系列,其中包含兼容Pulsar、RabbitMQ、RocketMQ 等协议的消息队列子产品,得益于其底层计算与存储分离的架构,TDMQ 具备良好的弹性伸缩以及故障恢复能力。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档