一、先想清楚要核验的是动作还是结果

很多装配线一开始想做的是"检测产品有没有装好"，等真上了线才发现，漏装一颗螺丝、装错步骤顺序、用错料号这类问题，靠最终目检或成品检测根本拦不住——漏装的孔位是空的，最后一道全检如果不拆开看内部，根本发现不了。

所以这类系统的目标不是"检产品"，是"检过程"：工人在这一步是不是拿了规定的件、按规定的顺序、用规定的动作完成了操作。把这句话翻成工程语言，就是要在产线上实时判断"当前动作是否匹配 SOP 的这一步"。

这一步想清楚很关键，因为它决定了后面整套技术路线。如果目标是检结果，上的是缺陷检测那一套；目标是检过程，就要上动作识别和时序约束，完全是两条路。

二、把 SOP 变成状态机，而不是一段文字

SOP 在纸面上是一串步骤描述，但机器要消费的是结构化的约束。实际做法是把每条 SOP 拆成一组带时序的状态：每一步有前置条件、动作类型、操作对象、允许时长、以及和前后步骤的顺序约束。

举一个常见的装配节拍：取料 → 对位 → 压装 → 锁附 → 自检。在模型里，它不是五句话，而是一张有向图——"压装"的前置是"对位已完成"，效果是"压装标记置位"；"锁附"的前置是"压装标记置位"且"当前手持物为螺丝刀"。任何一步没拿到前置就发生，或者事件顺序对不上，就触发偏离。

这么建模的好处是，核验逻辑和具体工位解耦。换型号只是换这张图里的步骤和对象，识别算法本身不用动。我们早期犯过的错就是反过来——把步骤判断硬写进识别代码里，换一个工位就改一遍，最后逻辑乱到没人敢动。

三、感知层：骨架不够，得看手和拿什么

感知上最容易想简单的是"上个人体姿态估计就行"。实际上光有骨架解决不了核验，因为核验的关键不是人在摆什么姿势，而是手在拿什么、对哪个件做了什么。

所以感知是三路合起来：工位上方一台俯视相机加侧面一到两台，先覆盖整个工作台——俯视负责看台面上的件和手的位置关系，侧视补足俯视被工人身体挡住的视角。然后跑两部分模型：一部分做人体关键点（2D 或 3D 骨骼），另一部分做手-物交互检测，专门识别"手 + 手持物 + 被操作件"的三元组。

难点都在这第二部分。工人戴手套，手的纹理和肤色特征没了，常规手部检测掉点；台面上几种件长得很像，只靠外观分不清料号；动作还会互相遮挡，压装时手整个盖在件上。应对上，件上贴或刻可识别标识（一维码、特定纹理、或结构特征）比纯靠外观稳；手套问题靠骨架 + 手部包围盒联合推断，不单独依赖手的外观。

这里有个关于相机布置的教训：一开始只装了侧面一台，结果工人一低头看件，手和件全被头肩挡住，大半动作看不见。改成俯视为主、侧视补盲之后，可见动作比例从六成出头拉到九成以上。可见比例上不去，后面再好的模型也救不回来。

四、时序判决：动作识别和约束哪个说了算

动作识别这块，轻量做法是用骨骼序列喂一个时序模型（早期我们用的是基于窗口的分类，后来换成对时序更友好的结构），直接判"当前在做什么动作"。但单看动作识别有个根本问题：它判的是"像不像"，不是"该不该"。工人做了一个很像锁附的动作，但这一步 SOP 要求的是压装，动作识别会说"锁附"，系统却该判"错序"。

所以判决不是动作识别单独说了算，而是"动作识别输出 + 状态机约束"共同决定。状态机是裁判：动作识别给出一个带置信度的"当前动作候选"，状态机再拿它去匹配"这一步期望的动作"，匹配上就推进状态，匹配不上或者顺序冲突就报警。两条信息分开，模型错了约束还能兜一层。

实时性上，装配单步通常 2~5 秒，系统要在动作结束前后一秒内给判定，不然等工人走完三步再提示就晚了。边缘侧单帧推理压到 30 毫秒以内，多相机并行，时序窗口滑动更新，不等地攒一批再算。

误报率这里要单独拎出来说。告警如果天天误报，工人三天就不看了，系统形同虚设。实际做法是把置信度低、又没触发硬冲突的事件先挂起，只把"明确违反约束"（比如跳过步骤、用错件、顺序颠倒）当确定告警，模糊的留给人工复核。目标不是零误报，是把误报压到工人还愿意信任的水平——经验上每小时几次以下是能接受的边界。

五、只存异常片段，不存全程视频

这类系统涉及拍人，隐私和合规是绕不开的工程约束，不是上线后补的。

做法上，正常视频不落盘，只在内存里做实时分析；只有触发告警的那段前后各几秒存下来，作为复核和工艺改进的依据。人脸在存储前做模糊处理，能看动作、认不出是谁。数据留存设上限，到期自动清，不进长期库。

这既是为了合规（个人信息处理要最小化、有期限），也是为了工人接受度——如果工人觉得自己在被全程录像，抵触情绪会直接反映在配合度上，反而让系统失效。把"只记异常、不记全程、匿名化"讲清楚，产线推行阻力小很多。

核验结果不能只在本地闪个灯，要接到产线系统才有用。偏离事件实时推 MES，对应工单打上过程异常标记；同时接安灯，严重偏离（比如用错料号）立刻停线或提示班组长。

接口上走 OPC UA 或 TCP/HTTP 都能做，但要点是：推送的是"事件 + 序列 + 异常片段索引"，不是原始视频流。原始视频流塞进 MES 既不现实也不合规，存索引、按需调阅才是对的拆法。

装配 SOP 视觉核验，技术上是在做一件把"人做没做对"翻译成机器能判定语言的事：先把 SOP 拆成带前置和时序约束的状态机，再用多相机感知拿到"手拿了什么、做了什么"，最后由状态机而不是动作识别单独拍板。难的不在单个模型精度，而在三处工程约束——相机布置要把动作可见比例顶到九成以上，误报率要压到工人还愿意信的水平，以及涉及拍人就必须把最小化、匿名化、限期留存当硬约束而不是补丁。

装配过程 SOP 视觉核验：把"动作对不对"变成可判定的状态机

售前咨询

人工智能

架构设计

物联网

装配SOP视觉核验系统通过状态机建模、多相机感知与动作识别，实时判定工人是否按规操作。系统以俯视为主、侧视补盲，结合手-物交互与骨架推断，将动作可见性提至九成以上。只存异常片段并匿名化处理，通过MES与安灯接口推送事件，严控误报率，确保产线高效合规运行。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

装配过程 SOP 视觉核验：把"动作对不对"变成可判定的状态机

装配过程 SOP 视觉核验：把"动作对不对"变成可判定的状态机

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐