目录
随着 5G 时代的来临,万物物联的伟大构想正在成为现实。联网的物联网设备在 2018 年已经达到了 70 亿, 在未来两年,仅智能水电气表就将超过10亿 。
海量的设备接入和设备管理对网络带宽、通信协议以及平台服务架构都带来了很大挑战。对于物联网协议来
说,必须针对性地解决物联网设备通信的几个关键问题:
MQTT 是基于 Publish/Subscribe 模式的物联网通信协议,凭借简单易实现、支持 QoS( (Quality of Service,服务质量) )、报文小等特点,占据 了物联网协议的半壁江山:
当初物联网协议不止MQTT这一种协议,看下图。
MQTT官网:MQTT - The Standard for IoT Messaging
MQTT中文网:首页 | MQTT中文网
MQTT(Message Queuing Telemetry Transport,消息队列遥测传输协议),是一种基于发布/订阅 (publish/subscribe)模式的"轻量级"通讯协议,该协议构建于TCP/IP协议上,由IBM在1999年发布。
MQTT最大 优点在于,可以以极少的代码和有限的带宽,为连接远程设备提供实时可靠的消息服务。
作为一种低开销、低带宽 占用的即时通讯协议,使其在物联网、小型设备、移动应用等方面有较广泛的应用。
MQTT是一个基于客户端-服务器的消息发布/订阅传输协议。MQTT协议是轻量、简单、开放和易于实现的,这些特点使它适用范围非常广泛。在很多情况下,包括受限的环境中,如:机器与机器(M2M)通信和物联网 (IoT)。其在,通过卫星链路通信传感器、偶尔拨号的医疗设备、智能家居、及一些小型化设备中已广泛使用。
我们看到上面这幅图,中间MQTT Broker是MQTT服务端,两边都是MQTT的客户端;
客户端其实就是一些设备,比如这个设备就是左边的一个智能冰箱,它现在要对外去发送一些数据 ,把自己的一些状态信息发布出去,那它只需要向这个MQTT的这个服务端发布一个数据就可以了(Publish)。
那这个数据就被发布到这个MQTT的服务端,现在右边,不管是我们的移动设备也好,还是我们的服务器设备也好,他们想要获取冰箱的一些这个状态数据,只需要向这个服务端进行一次订阅就可以了,叫做Subscribe。
订阅了之后,MQTT的服务端就会主动的将这个数据推送给它们。
这个三个设备只需要订阅一次成功之后,后续只要冰箱这边有数据发布过来,MQTT这个服务端就会主动将数据推送过去。
由于物联网的环境是非常特别的,所以MQTT遵循以下设计原则:
MQTT协议工作在低带宽、不可靠的网络的远程传感器和控制设备通讯而设计的协议,它具有以下主要的几项特性:
主流的MQTT是基于TCP连接进行数据推送的,但是同样有基于UDP的版本,叫做MQTT-SN。这两种版 本由于基于不同的连接方式,优缺点自然也就各有不同了。
消息服务质量(QoS)支持,可靠传输保证;有三种消息发布服务质量:
1字节固定报头,2字节心跳报文,最小化传输开销和协议交换,有效减少网络流量。 这就是为什么在介绍里说它非常适合"在物联网领域,传感器与服务器的通信,信息的收集,要知道嵌入式设备的运算能力和带宽都相对薄弱,使用这种协议来传递消息再适合不过了。
在线状态感知:使用Last Will和Testament特性通知有关各方客户端异常中断的机制。
MQTT协议广泛应用于物联网、移动互联网、智能硬件、车联网、电力能源等领域。
实现MQTT协议需要客户端和服务器端通讯完成,在通讯过程中,MQTT协议中有三种身份:
其中,消息的发布者和订阅者都是客户端,消息代理是服务器,消息发布者可以同时是订阅者。
MQTT传输的消息分为:
MQTT会构建底层网络传输:它将建立客户端到服务器的连接,提供两者之间的一个有序的、无损的、基于字节流的双向传输。 当应用数据通过MQTT网络发送时,MQTT会把与之相关的服务质量(QoS)和主题名(Topic)相关连。
一个使用MQTT协议的应用程序或者设备,它总是建立到服务器的网络连接。客户端可以:
MQTT服务器以称为"消息代理"(Broker),可以是一个应用程序或一台设备。它是位于消息发布者和订阅者 之间,它可以:
MQTT 是基于 发布(Publish)/订阅(Subscribe)模式来进行通信及数据交换的,与 HTTP 的 请求(Request)/应答(Response)的模式有本质的不同。
订阅者(Subscriber) 会向 消息服务器(Broker) 订阅一个 主题(Topic) 。成功订阅后,消息服务器会将该主题下的消息转发给所有的订阅者。
主题(Topic)以 ‘/’ 为分隔符区分不同的层级。包含通配符 ‘+’ 或 ‘#’ 的主题又称为主题过滤器(Topic Filters); 不含通配符的称为主题名(Topic Names)例如:
chat/room/1
sensor/10/temperature
sensor/+/temperature
$SYS/broker/metrics/packets/received
$SYS/broker/metrics/#
+': 表示通配一个层级,例如a/+,匹配a/x, a/y '#': 表示通配多个层级,例如a/#,匹配a/x, a/b/c/d 注: ‘+’ 通配一个层级,’#’ 通配多个层级(必须在末尾)。
发布者(Publisher) 只能向 ‘主题名’ 发布消息,订阅者(Subscriber) 则可以通过订阅 ‘主题过滤器’ 来通配多个主题名称。
会话(Session)。
每个客户端与服务器建立连接后就是一个会话,客户端和服务器之间有状态交互。会话存在于一个网络之间, 也可能在客户端和服务器之间跨越多个连续的网络连接。
MQTT协议中定义了一些方法(也被称为动作),来于表示对确定资源所进行操作。这个资源可以代表预先存在的数据或动态生成数据,这取决于服务器的实现。通常来说,资源指服务器上的文件或输出。主要方法有:
官方文档中对于MQTT协议包的结构有着具体的说明: MQTT Specification
在MQTT协议中,一个MQTT数据包由:
三部分构成。MQTT数据包结构如下:
固定头存在于所有MQTT数据包中, 固定头包含两部分内容,首字节(字节1)和剩余消息报文长度(从第二个字 节开始,长度为1-4字节),剩余长度是当前包中剩余内容长度的字节数,包括变量头和有效负载中的数据)。剩余长度不包含用来编码剩余长度的字节。 剩余长度使用了一种可变长度的结构来编码,这种结构使用单一字节表示0-127的值。大于127的值如下处 理。每个字节的低7位用来编码数据,最高位用来表示是否还有后续字节。因此每个字节可以编码128个值,再加 上一个标识位。剩余长度最多可以用四个字节来表示。
数据包类型
位置:第一个字节(Byte 1) 中的7-4个bit位(Bit[7-4]),表示4位无符号值
通过第一个字节的高4位确定消息报文的类型,4个bit位能确定16种类型,其中0000和1111是保留字段。
MQTT消息报文类型如下:
标志位
位置:第一个字节中的0-3个bit位(Bit[3-0])。意思是字节位Bit[3-0]用作报文的标识。
首字节的低4位(bit3~bit0)用来表示某些报文类型的控制字段,实际上只有少数报文类型有控制位,如下图:
1:其中Bit[3]为DUP字段,如果该值为1,表明这个数据包是一条重复的消息;否则该数据包就是第一次 发布的消息。 2:Bit[2-1]为Qos字段:
如果同时将Bit 1和Bit 2都设置成1,那么客户端或服务器认为这是一条非法的消息,会关闭当前连接。 目前Bit[3-0]只在PUBLISH协议中使用有效,并且表中指明了是MQTT 3.1.1版本。对于其它MQTT协议版本,内容可能不同。所有固定头标记为"保留"的协议类型,Bit[3-0]必须保持与表中保持一致,如SUBSCRIBE协议,其Bit1必须为1。如果接收方接收到非法的消息,会强行关闭当前连接。
MQTT消息QoS
MQTT发布消息服务质量保证(QoS)不是端到端的,是客户端与服务器之间的。订阅者收到MQTT消息的 QoS级别,最终取决于发布消息的QoS和主题订阅的QoS。
Qos消息发布订阅
Qos1消息发布订阅
Qos2消息发布订阅
Bit[0]为RETAIN字段,发布保留标识,表示服务器要保留这次推送的信息,如果有新的订阅者出现, 就把这消息推送给它,如果设有那么推送至当前订阅者后释放。
可变头的意思是可变化的消息头部。有些报文类型包含可变头部有些报文则不包含。可变头部在固定头部和消息内容之间,其内容根据报文类型不同而不同。
1、协议名
协议名是表示协议名MQTT的UTF-8编码的字符串。MQTT规范的后续版本不会改变这个字符串的偏移和 长度。
支持多种协议的服务端使用协议名字段判断数据是否为MQTT报文。协议名必须是UTF-8字符 串“MQTT”。如果服务端不愿意接受CONNECT但希望表明其MQTT服务端身份,可以发送包含原因码为 0x84(不支持的协议版本)的CONNACK报文,然后必须关闭网络连接 。
2、协议版本
位无符号值表示客户端的版本等级。3.1.1版本的协议等级是4,MQTT v5.0的协议版本字段为5(0x05) 。
3、MQTT会话(Clean Session)
MQTT客户端向服务器发起CONNECT请求时,可以通过’Clean Session’标志设置会话。 ‘Clean Session’设置为0,表示创建一个持久会话,在客户端断开连接时,会话仍然保持并保存离线消 息,直到会话超时注销。 ‘Clean Session’设置为1,表示创建一个新的临时会话,在客户端断开时,会话自动销毁。
4、Will Flag/Will Qos/Will Retain
如果Will Flag被设置为1,这意味着,如果连接请求被接受,服务端必须存储一个Will Message,并和网络连接关联起来。之后在网络连接断开的时候必须发布Will Message,除非服务端收到DISCONNECT包删掉 了Will Message 。 Will Message会在某些情况下发布,包括但不限于:
如果Will Flag被设置为1,连接标识中的Will QoS和Will Retain字段将会被服务端用到 Will QoS这两个bit表示发布Will Message时使用QoS的等级 。 Will Retain这个bit表示Will Message在发布之后是否需要保留。 如果Will Flag设置为0,那么Will Retain必须是0 。 如果Will Flag设置为1:
5、User Name Flag
6、Password Flag
7、MQTT连接保活心跳
心跳的作用:
PINGREQ包从客户端发往服务端,可以用来: 1:在没有其他控制包从客户端发送给服务端的时候,告知服务端客户端的存活状态。 2:请求服务端响应,来确认服务端是否存活。 3:确认网络连接的有效性。 PINGRESP包从服务端发送给客户端来响应PINGREQ包。它代表服务端是存活的。 MQTT客户端向服务器发起CONNECT请求时,通过KeepAlive参数设置保活周期。 Keep Alive是以秒为单位的时间间隔。用2字节表示,它指的是客户端从发送完成一个控制包到开始发送下一个的最大时间间隔。客户端有责任确保两个控制包发送的间隔不能超过Keep Alive的值。如果没有其他控制包可发,客户端必须发送PINGREQ包 。 客户端可以在任何时间发送PINGREQ包,不用关心Keep Alive的值,用PINGRESP来判断与服务端的网络连接是否正常。 如果Keep Alive的值非0,而且服务端在一个半Keep Alive的周期内没有收到客户端的控制包,服务端必须作为网络故障断开网络连接 如果客户端在发送了PINGREQ后,在一个合理的时间都没有收到PINGRESP包,客户端应该关闭和服务端的网络连接。 Keep Alive的值为0,就关闭了维持的机制。这意味着,在这种情况下,服务端不会断开静默的客户端。
8、MQTT遗愿消息(Last Will)
MQTT客户端向服务器端CONNECT请求时,可以设置是否发送遗愿消息(Will Message)标志,和遗愿消 息主题(Topic)与内容(Payload)。 MQTT客户端异常下线时(客户端断开前未向服务器发送DISCONNECT消息),MQTT消息服务器会发布遗 愿消息。
常见的一种可变头比如:Packet Identififier(消息ID)
一个消息ID包含2字节,高字节在前,低字节在后。包含Packet Identififier的协议类型包括:
PUBLISH( QoS > 0 ) PUBACK PUBREC PUBREL PUBCOMP SUBSCRIBE SUBACK UNSUBSCRIBE UNSUBACK
消息ID默认是从1开始并自增,如果一个消息ID被用完后,这个消息ID可以被重用。
对于PUBLISH (QoS 1)来说,如果发送端接收到PUBACK,那么这个消息ID就用完了。
对于PUBLISH(QoS 2),如果接收方收到PUBCOMP,那么这个消息ID就用完了。
对于SUBSCRIBE和UNSUBSCRIBE,消息ID使用完成的标记是发送方收到了对应的SUBACK和UNSUBACK。
另外客户端和服务端的消息ID是独立分配的,客户端和服务端可以同时使用同一个消息ID。
有些报文类型是包含Payload的,Payload意思是消息载体的意思
如PUBLISH的Payload就是指消息内容(应用程序发布的消息内容)。
而CONNECT的Payload则包含C
lient ; Identififier; Will Topic; Will Message; Username; Password
等信息。
包含payload的报文类型如下:
MQTT消息格式包含 Fixed Header, Variable Header和Payload。 因为MQTT消息格式非常精简,所以可以高效的传输数据。
Fixed Header中包含首字节,高4位用来表示报文类型,低4位用于类型控制。目前只有PUBLISH使用了类型控制字段。其它控制字段被保留并且必须与协议定义保持一致。
Fixed Header同时包含Remaining Length,这是剩余消息长度,最大长度为4字节,理论上一条MQTT最大可以传输256MB数据。Remaining Length=Variable Header+Payload长度。
Variable Header是可变头部,有些报文类型中需要包含可变头部,可变头部根据报文类型不同而不同。比如 Packet Identififier在发布,订阅/取消订阅等报文中都使用到。
Payload是消息内容,也只在某些报文类型中出现,其内容和格式也根据报文类型不同而不同。