关于消息队列的思考：如何满足多种消费语义

更多腾讯海量技术文章，请关注云加社区：https://cloud.tencent.com/developer

作者：杨锡坤

消息队列是服务架构中常见的组件，可用于服务间解耦、事件广播、任务异步/延迟处理等，本文对于消息队列的实现如何满足几种消费语义进行了阐述。

消息队列组成

生产者（Producer）：负责产生消息

消息代理（Message Broker）：负责存储/转发消息（转发分为推和拉两种，拉是指Consumer主动从Message Broker获取消息，推是指Message Broker主动将Consumer感兴趣的消息推送给Consumer）

消费者（Consumer）：负责消费消息

消息队列的消费语义

消息至多被消费一次

消息至少被消费一次

消息仅被消费一次

为了支持上面3种消费语义，可以分3个阶段考虑消息队列系统中 Producer 、 Message Broker 、 Consumer 需要满足的条件：

1、消息至多被消费一次

该语义是最容易满足的，特点是整个消息队列吞吐量大，实现简单。适合能容忍丢消息，消息重复消费的任务。

Producer 发送消息到 Message Broker 阶段： Producer 发消息给 Message Broker ，不要求 Message Broker 对接收到的消息响应确认， Producer 也不用关心 Message Broker 是否收到消息了。

Message Broker 存储/转发阶段：对 Message Broker 的存储不要求持久性，转发消息时也不用关心 Consumer 是否真的收到了。

Consumer 消费阶段： Consumer 从 Message Broker 中获取到消息后，可以从 Message Broker 删除消息，或 Message Broker 在消息被 Consumer 拿去消费时删除消息，不用关心 Consumer 最后对消息的消费情况如何。

2、消息至少被消费一次

适合不能容忍丢消息，允许重复消费的任务。

Producer 发送消息到 Message Broker 阶段：Producer 发消息给 Message Broker ， Message Broker 必须响应对消息的确认。

Message Broker 存储/转发阶段： Message Broker 必须提供持久性保障，转发消息时，Message Broker 需要 Consumer 通知删除消息，才能将消息删除。

Consumer 消费阶段： Consumer 从 Message Broker 中获取到消息，必须在消费完成后，Message Broker 上的消息才能被删除。

3、消息仅被消费一次

适合对消息消费情况要求非常高的任务，实现较为复杂。

在这里需要考虑一个问题，就是这里的“仅被消费一次”指的是如下哪种场景：

Message Broker 上存储的消息被 Consumer 仅消费一次

Producer 上产生的消息被 Consumer 仅消费一次

Message Broker 上存储的消息被 Consumer 仅消费一次场景要求：

Producer 发送消息到 Message Broker 阶段：Producer 发消息给 Message Broker ，不要求 Message Broker 对接收到的消息响应确认， Produce r也不用关心 Message Broker 是否收到消息了。

Message Broker 存储/转发阶段：Message Broker 必须提供持久性保障，并且每条消息在其消费队列里有唯一标识（这个唯一标识可以由 Producer 产生，也可以由 Message Broker 产生）。

Consumer 消费阶段： Consumer 从 Message Broker 中获取到消息后，需要记录下消费的消息标识，以便在后续消费中防止对某个消息重复消费（比如 Consumer 获取到消息，消费完后，还没来得及从 Message Broker 删除消息，就挂了，这样 Message Broker 如果把消息重新加入待消费队列的话，那么这条消息就会被重复消费了）。

Producer 上产生的消息被 Consumer 仅消费一次场景要求：

Producer 发送消息到 Message Broker 阶段：Producer 发消息给 Message Broker ， Message Broker 必须响应对消息的确认，并且 Producer 负责为该消息产生唯一标识，以防止 Consumer 重复消费（因为 Producer 发消息给 Message Broker 后，由于网络问题没收到 Message Broker 的响应，可能会重发消息给到 Message Broker ）。

Message Broker存储/转发阶段：Message Broker必须提供持久性保障，并且每条消息在其消费队列里有唯一标识（这个唯一标识需要由Producer产生）。

Consumer消费阶段：Consumer 从 Message Broker 中获取到消息后，需要记录下消费的消息标识，以便在后续消费中防止对某个消息重复消费（比如 Consumer 获取到消息，消费完后，还没来得及从 Message Broker 删除消息，就挂了，这样 Message Broker 如果把消息重新加入待消费队列的话，那么这条消息就会被重复消费了）。

结语

现在业内已经有许多成熟的消息队列的实现了，对于选择用哪一个实现，可以先根据业务需要支持的消费语义进行初步筛选，之后再根据运维难度、社区活跃度、性能、可用性等综合考虑选择合适的消息队列系统，如何判断一个消息队列实现是否支持某个消费语义，根据本文中阐述的3个阶段去判断即可。