以太网RJ45温湿度变送器日志排查，TCP/UDP/SNMP通信故障定位案例

以太网RJ45温湿度变送器日志排查，TCP/UDP/SNMP通信故障定位案例

物联网 · 机房动环 · 通信故障排查 · 盛世宏博

在机房、配电室、档案库房、车间自控等工程场景中，RJ45以太网温湿度变送器是环境感知体系的基础终端，同时支持 TCP（Modbus TCP）、UDP 主动上报、SNMP（v2c/v3）三类主流通信模式。在大规模部署时，经常出现一类极具迷惑性的现象：同一台设备，某一种协议通信稳定，另外一种协议持续超时、丢包、随机断连。很多现场工程师习惯于直接更换传感器或者交换机，忽略设备本地运行日志、网关采集日志、交换机端口日志、抓包报文日志之间的交叉比对，导致故障反复复现，无法根治。

日志是整个故障定位链路的核心证据链。变送器固件日志记录协议栈申请缓冲区、连接建立、报文接收、CRC 校验失败、内存池耗尽、看门狗复位事件；边缘网关采集日志记录请求下发时间、应答超时、重传次数、解析异常；交换机日志记录 CRC 错包、FIFO 溢出、风暴抑制、ACL 丢弃、会话老化；平台侧日志记录接收队列溢出、协议解析报错、数据入库失败。只有把四层日志对齐时间戳，才可以区分故障归属：硬件探头、设备固件、二层网络、三层策略、采集驱动、平台解析。本文从日志分级体系、三类协议故障日志特征、标准化排查流程、四个真实工程案例、日志采集规范、固件与网络优化方案完整展开，面向动环集成、运维调试、嵌入式开发人员，解决跨协议差异化通信故障。

一、RJ45温湿度变送器日志体系与字段规范

绝大多数国产以太网温湿度变送器基于 LwIP 轻量级协议栈开发，固件内置分级日志输出接口，支持 Web 页面实时日志、串口调试日志、远程 Syslog 上送三种输出渠道。工程调试阶段建议开启 Info 与 Debug 级别，稳定上线之后关闭 Debug，保留 Warn、Error、Fatal 告警日志，避免日志本身挤占 MCU 的内存与报文缓冲区，诱发次生通信故障。

标准日志条目必须携带统一时间戳、设备 SN、IP、MAC、通道编号、协议类型、事件码、附加数据域。典型日志字段如下：

• TIMESTAMP：UTC 或者本地 NTP 同步时间，未同步时间的日志无法做多设备时序对齐，排查价值大幅降低；
• LOG_LEVEL：Debug / Info / Warn / Error / Fatal；
• PROTO：TCP / UDP / SNMP；
• EVENT_CODE：连接建立、连接关闭、RST 重置、报文接收、校验失败、缓冲区耗尽、Trap 发送、OID 读取、内存分配失败；
• RAW_DATA：报文头部摘要，不完整存储整条报文，防止日志溢出；
• RESOURCE：当前可用 pbuf、TCP PCB 数量、空闲内存。

TCP 协议相关日志重点观测 PCB（协议控制块）数量、半连接队列、保活探测结果、重传计数；UDP 日志重点观测接收队列溢出计数、主动上报目的 IP/端口配置校验；SNMP 日志重点区分 GetRequest、GetNext、GetBulk、Trap 发送，记录共同体校验失败、v3 鉴权失败、OID 不存在、应答生成失败事件。很多低成本变送器固件缺陷：当 TCP PCB 资源耗尽之后，不会主动输出 Error 日志，仅仅静默丢弃新连接，表现为随机连接失败，这也是工程中非常隐蔽的坑点。

除设备本地日志之外，配套日志源还包括：采集网关驱动日志、Linux 系统内核日志、tcpdump 抓包日志、交换机 syslog、监控平台接收服务日志。排查时优先保证全部设备 NTP 对时，误差控制在 100ms 以内，否则会出现“网关记录请求超时，但是设备日志显示已经收到并应答”的时序错位误判。

二、TCP、UDP、SNMP 故障对应的典型日志特征

2.1 TCP（Modbus TCP）日志故障特征

TCP 是面向连接、流式传输协议，基于 LwIP 的变送器 TCP 资源是有限的，协议栈预先分配固定数量的 PCB，一般廉价设备同时支持最大连接数在 2～8 条。TCP 故障日志主要分为连接类、报文解析类、资源耗尽类三类。

连接类异常日志关键词：SYN 收到但是无资源、connect timeout、RST received、FIN 关闭、keepalive probe failed。当网关侧持续收到 RST 复位报文，同时变送器日志打印 tcp_pcb alloc fail，直接指向并发连接超限，多主站同时轮询抢占连接资源。

报文解析类日志关键词：MBAP header invalid、length mismatch、crc error、frame incomplete。这类日志是 TCP 粘包、分包最直接证据，TCP 本身没有报文边界，固件如果没有环形缓冲区与状态机解析，直接按固定长度读取，就会出现跨帧解析失败，温湿度数值跳变、寄存器错位。很多现场人员看到数据偶尔乱跳，优先怀疑探头损坏，忽略日志中持续出现的帧长度不匹配告警。

资源耗尽类：pbuf alloc failed、heap malloc fail。当设备同时承载 Modbus TCP、SNMP、UDP 主动上报，高并发下报文缓冲区耗尽，新到 TCP 请求直接丢弃，日志不会主动提示“通信超时”，只会记录内存分配失败。该场景典型表现：ping 全程无丢包，单协议测试正常，多协议同时轮询时随机超时断连。

2.2 UDP 主动上报日志故障特征

UDP 无连接、无握手、无确认重传，设备按照配置周期主动向平台指定 IP+端口推送温湿度数据包。UDP 故障日志特征和 TCP 差异极大：不会出现连接相关事件，重点记录目的地址校验、发送队列溢出、发送失败计数。典型日志：udp sendto fail、tx queue full、dest ip unreachable。

UDP 天然不保证送达，所以日志里面“报文发送成功”只代表设备把报文推送给网卡驱动，不能代表报文抵达采集服务器。这个认知误区是绝大多数 UDP 上报丢包排查失败的根源。必须两端抓包：变送器端口镜像抓包确认报文发出，服务器网卡抓包确认报文到达；如果设备日志显示发送成功，服务器抓包看不到报文，故障链路在交换机、ACL、防火墙、VLAN 策略。

另外一类高频日志：udp queue overflow，多见于告警风暴场景，短时间大量超限报文排队，固件发送队列长度有限，尾部报文直接丢弃，日志记录溢出计数。UDP 日志适合用来统计长期丢包率，计算丢包是否集中出现在交换机流量高峰时段。

2.3 SNMP 日志故障特征（v2c / v3 / Trap）

SNMP 承载在 UDP 161（查询）、UDP 162（Trap 告警），日志分为查询交互日志和主动告警推送日志两大类。v2c 最常见报错日志：community mismatch，共同体字符串大小写、空格不一致，返回 GenError、noSuchName；SNMPv3 日志重点关注鉴权失败、加密参数不匹配：auth failure、priv error。

GetBulk 是工程高频诱因，NMS 网管使用 snmpwalk 默认开启 GetBulk，一次性批量读取大量 OID，短时间占用大量 pbuf，挤占 Modbus TCP 的缓冲区，日志打印 pbuf 分配失败，表现为 SNMP 读取正常，TCP Modbus 间歇性超时。Trap 独立日志：trap send ok、trap send failed，Trap 同样是 UDP，发送成功日志不等于平台收到告警。很多项目只依靠 Trap 作为唯一告警渠道，一旦 Trap 丢包，库房高温高湿、漏水告警完全丢失，存在档案损毁、机房设备过热的重大风险。行业标准做法是 Trap 做告警加速，周期性 SNMP Get 轮询作为告警判定兜底。

三、分层日志排查标准化流程

现场排查严格遵循自底向上分层顺序：物理链路层 → 设备终端日志 → 网络设备日志 → 采集网关日志 → 平台服务日志，不跳过任何一层，优先排除简单故障，再定位复杂固件、协议栈问题。整套流程适配国产化麒麟服务器、国产交换机、国产变送器的信创项目。

第一步：基础连通性校验，采集底层链路证据。长 ping 带时间戳，持续 100～500 个报文，统计丢包率、时延抖动；读取交换机端口日志，查看 rx_crc_errors、fcs error、alignment error，如果持续出现 CRC 错包，优先定位网线、屏蔽、水晶头、PoE 供电干扰，上层协议无论 TCP/UDP/SNMP 都会不稳定，只是容错能力不同，故障表现有差异。很多短包 SNMP 查询不受影响，长流 TCP 优先出错，容易误导工程师判定为 TCP 驱动问题。

第二步：导出变送器本地日志，过滤时间窗口。把故障发生前后 10～30 分钟日志单独导出，过滤对应协议关键字，统计报错频次，区分是偶发单次事件，还是周期性批量报错。同时读取设备资源快照：当前 PCB 数量、剩余内存、pbuf 使用情况，判断是否资源泄漏。LwIP 老版本固件存在 TCP 异常断开之后 PCB 不自动回收的内存泄漏，运行数天之后连接资源耗尽，重启设备临时恢复，日志里可以观察 PCB 数量持续单向上涨。

第三步：端口镜像抓包，和日志交叉印证。在交换机配置端口镜像，同时镜像变送器上联口，分别抓取 TCP 502、UDP 上报端口、UDP 161/162。Wireshark 过滤对应报文，对比设备日志记录的发送时间、报文摘要，如果日志记录应答发出，抓包没有看到应答报文，说明设备固件在发送环节异常；如果报文已经到达服务器网卡，网关日志没有收到应答，说明采集程序、系统防火墙、接收缓冲区存在问题。

第四步：网关与平台日志比对。查看采集驱动日志的请求下发时间、超时阈值、重试次数。很多自研动环驱动没有单独的超时日志，仅仅标记设备离线，无法区分“网络丢包超时”和“设备没有应答”。调试阶段建议驱动增加详细日志：每一条请求的 send 时间、recv 时间、重试次数、应答原始报文、解析结果。

第五步：复现与压力验证。如果故障随机出现，单台测试正常，多台并发才复现，需要搭建简易压力测试脚本，批量并发轮询，持续采集日志，复现资源耗尽场景，确认是固件并发能力不足，还是网关并发调度不合理。

四、典型故障定位工程案例

案例一：同设备 TCP Modbus 频繁断连，SNMP 长期稳定

项目场景：IDC 高密度机柜部署 16 台 PoE RJ45 温湿度变送器，接入机柜内接入交换机，边缘网关采用 Modbus TCP 轮询采集，运维平台通过 SNMPv2c 读取设备基础状态与温湿度 OID。故障现象：Modbus TCP 每隔 10～30 分钟断开，网关不断重建连接；SNMPwalk 读取全程稳定，几乎没有超时。更换交换机、更换网关之后故障依旧，单台直连调试一切正常。

日志采集：导出变送器调试日志，断连时刻没有明显报错；交换机端口日志持续少量 CRC 错包，数量不高，ping 测试 0 丢包；抓包观察，TCP 数据流出现校验和错误报文，大量重传，SNMP 查询都是短小单 UDP 报文，出错概率极低。物理检查水晶头，机柜理线空间狭小，施工压接时仅压紧 1、2、3、6 数据线对，其余线对裁剪过短，接触不良；交换机为 PoE A 模式，数据线对同时承载供电与数据传输，阻抗不连续带来信号畸变，长 TCP 数据流更容易误码，短 UDP SNMP 查询容错性更强。拨动网线水晶头，可以瞬间触发 TCP 连接 RST 重置，设备日志同步记录 tcp receive invalid segment。

处置方案：全部重新压接屏蔽水晶头，采用 8 芯全部压紧；机柜内更换六类屏蔽网线，远离服务器供电线缆；交换机端口强制 100M 全双工，关闭 EEE 绿色节能功能，降低信号抖动。整改之后交换机 CRC 错包清零，TCP 不再随机断连，两类协议通信全部稳定。

案例二：SNMP GetBulk 诱发 TCP Modbus 批量超时

项目场景：档案库房动环改造项目，国产一体化平台同时两套采集链路：Modbus TCP 读取温湿度实时曲线，NMS 网管定时 snmpwalk 遍历全部设备 MIB，用来做设备资产管理、在线状态巡检。上线之后出现规律性故障：每次网管执行全量 walk 的时间段，Modbus TCP 超时率从 0% 上升至 15%，部分设备直接无应答，walk 结束之后自动恢复。库房温湿度曲线出现成片空洞，存在档案环境监控盲区风险。

日志排查：变送器日志在故障时段持续打印 pbuf alloc failed，内存池耗尽。该型号变送器 LwIP 的 pbuf 池全局共享，Modbus TCP、SNMP、UDP 上报共用同一批缓冲区；snmpwalk 默认使用 GetBulk，单次请求批量拉取大量 OID，瞬间抢占绝大多数报文缓冲区，Modbus TCP 请求到达之后无法分配接收 pbuf，固件直接丢弃请求，不返回应答报文。网关日志标记 Modbus 请求超时，但是设备日志没有收到对应 TCP 请求记录。

处置方案：网管侧禁用 GetBulk，改为单 OID Get 请求，拉长轮询间隔，错开和 Modbus 采集的时间窗口；固件升级（如厂商支持），把 SNMP 和 Modbus 拆分为独立 pbuf 内存池；网络侧划分 VLAN，业务采集流量和网管巡检流量隔离，交换机配置 QoS，Modbus TCP 采集报文优先级高于 SNMP 巡检报文。

案例三：UDP 主动上报丢包，设备日志显示发送成功，平台无数据

项目场景：配电室无人值守改造，变送器配置 UDP 主动上报模式，每 5s 推送一组温湿度数据。现场现象：平台偶尔长时间收不到报文，但是登录设备 Web 查看，实时温湿度采集正常，设备日志打印每一条 udp sendto success。调试电脑同网段接入，接收 UDP 数据正常；跨三层之后丢包随机出现。

日志与抓包：变送器镜像端口抓包，报文按时发出；采集服务器网卡抓包，丢失的报文没有抵达网卡。查看核心交换机 ACL 日志，交换机配置广播风暴抑制，UDP 目的端口无固定业务的报文，超过阈值之后直接丢弃，丢弃动作记录在交换机 syslog，之前排查没有调取交换机日志，一直怀疑变送器固件发送逻辑异常。另外叠加因素：配电室变频器高频干扰，瞬时广播报文激增，触发风暴抑制阈值，温湿度 UDP 上报报文连带被丢弃。

处置方案：在交换机风暴抑制白名单增加 UDP 上报目的端口，豁免限制；变送器和采集网关之间部署独立工业交换机，和动力回路交换机物理隔离；UDP 上报增加序列号，平台做丢包统计，同时增加 TCP 备用采集链路，UDP 做低延迟上报，TCP 兜底补全历史曲线，防止单一链路失效丢失环境数据。

案例四：TCP 连接资源泄漏，设备运行数天后通信假死

项目场景：车间自控项目，网关长连接模式和变送器建立 TCP 连接，持续轮询。设备刚上电一切正常，连续运行 3～7 天之后，网关无法新建 TCP 连接，老连接也随机断开；设备 Web 页面还可以打开，ping 正常，重启变送器立刻恢复，运维人员每周定期重启设备临时规避故障。

日志分析：开启设备长期日志记录，观察 PCB 数量持续单调上涨，即使连接正常关闭，PCB 没有释放。固件 LwIP 版本存在已知内存泄漏 bug，异常 RST 断开场景，协议控制块没有回收，PCB 资源慢慢耗尽，达到设备最大连接上限之后，新 SYN 请求直接丢弃，日志打印 tcp pcb alloc fail。网关侧日志大量 connect timeout、connection refused。Web 页面使用独立的 HTTP TCP 监听，占用另外一组有限资源，所以网页还可以访问，采集通道先失效。

处置方案：向设备厂商申请固件版本升级，修复 PCB 泄漏；网关侧优化连接策略，不长期保持长连接，轮询完成之后主动释放连接，采用短连接模式，减少长时间占用 PCB；增加平台侧设备资源巡检，远程读取设备 PCB 使用状态，接近阈值提前产生预警，不需要人工定期重启。

五、日志长期采集、存储与运维规范

工程交付阶段，很多项目关闭变送器远程 syslog，只依靠平台告警，故障发生之后没有回溯证据，只能盲调。对于档案馆、配电室、算力机房这类高可靠场景，建议构建统一日志采集链路，所有变送器、网关、交换机把日志推送到独立日志服务器，日志存储周期不低于 90 天。

日志采集有几个硬性约束：日志流量不能抢占业务采集带宽，syslog 使用 UDP，单独 VLAN；日志级别默认 Warn/Error，调试时临时开启 Debug，调试完成之后关闭；日志服务器做日志过滤、聚合、告警，当连续出现 pbuf 耗尽、CRC 错包、鉴权失败、Trap 发送失败，提前推送运维告警，做到故障预识别，而不是等到平台离线之后再排查。

同时建立日志审计台账，对于批量部署的同型号变送器，统计同类报错的设备分布，如果一批设备集中出现同一类固件报错，可以判定是固件版本共性问题，统一升级，避免逐个现场调试。日志还可以用来评估通信链路质量，统计长期丢包率、重传次数，作为链路改造、设备更换的数据依据，而不是依靠运维主观感受判断网络稳定性。

六、协议选型、固件与网络优化建议

从大量日志复盘案例可以看出，没有绝对完美的协议，不同协议的脆弱点完全不同，工程上推荐混合冗余采集架构，规避单一协议固有缺陷。对于档案库房、配电室等高等级环境监控场景，推荐主链路使用 Modbus TCP，具备应答、重传、保活机制，适合稳定采集历史曲线；UDP 主动上报作为低延迟告警辅助链路；SNMP 用于设备资产管理、在线巡检、阈值告警推送（Trap），同时用周期性 SNMP Get 作为告警兜底。

设备选型阶段，必须要求厂商开放完整日志输出接口，提供资源状态 OID，能够远程读取 PCB、pbuf、剩余内存，优先选择经过压力测试、修复 LwIP 内存泄漏的固件版本；大批量部署之前，做 72 小时并发压力测试，持续导出日志，验证多协议并发场景下的稳定性，不要只做单协议连通测试。

网络侧优化：PoE 交换机统一关闭 EEE、绿色节能，端口固定速率双工；动力车间、配电室、机柜高密度部署场景优先屏蔽网线，做好等电位接地；划分业务 VLAN，采集流量、网管巡检流量、日志流量隔离；合理配置 ACL、风暴抑制，把业务采集端口加入白名单；开启交换机端口错误报文日志，把物理层隐性故障提前暴露。

采集驱动开发层面，TCP 链路必须实现环形缓冲区、帧解析状态机，解决粘包分包；增加保活探测，空闲连接定时发送探测报文，防止被交换机会话老化断开；同一个 TCP 连接禁止并发下发多条请求，避免应答错乱；SNMP 采集严格限制并发、禁用默认 GetBulk；UDP 接收端增加序列号校验、丢包统计，识别链路质量劣化。

七、总结

RJ45 以太网温湿度变送器 TCP、UDP、SNMP 差异化通信故障，是动环工程调试中典型的疑难问题，现象迷惑性极强，经常出现“一部分协议正常、一部分协议异常”，单纯依靠 ping、平台告警很难定位根因。整套排查体系的核心就是多源日志交叉比对：变送器固件协议栈日志、网关采集驱动日志、交换机端口与安全策略日志、抓包报文日志，统一时间戳对齐，分层定位故障边界，区分物理链路、硬件、固件协议栈、网络策略、采集驱动、平台解析不同故障域。

大量现场案例证明，绝大多数间歇性、随机复现的通信故障，并不是设备硬件直接损坏，而是隐性因素叠加：水晶头阻抗不连续、共享内存池资源抢占、LwIP 内存泄漏、风暴抑制策略误拦截报文、会话老化、GetBulk 高并发抢占缓冲区。规范的日志采集、分级调试、压力验证、多协议冗余架构，可以极大降低故障排查难度，提升档案库房、机房、配电室环境监控系统的长期可靠性，保障温湿度数据持续、完整采集，为档案十防、机房设备安全运行提供可信感知底座。