美的如何利用英特尔“AI+大数据”平台实现工业智能化升级？

新技术浪潮正推动着工业制造行业飞速革新，并以人工智能技术为代表，引领着第四次工业革命的进程，“AI+工业”正逐渐成为第四次工业革命的主力军。9月23日，英特尔举办了“智能制造，‘芯’向未来——智能技术助力工业制造勾画未来蓝图”为主题的圆桌论坛，邀请其客户和合作伙伴分享工业智能化升级的实际案例。 本案例中，英特尔联合美的，推出工业视觉检测云平台。利用英特尔的至强可扩展处理器平台、OpenVINO 工具套件英特尔发行版（以下简称 “OpenVINO 工具套件”）、Analytics Zoo “大数据分析 +AI” 平台等一系列产品与技术，为智能方案成功实施和运行提供了坚实基础。通过这些高性能硬件基础设施和软件框架，企业的生产和运营可以实现从自动化向智能化的转变。

项目背景

美的集团（以下简称 “美的”）希望通过完整、可复制的产品缺陷检测方案，来完善其智能制造 产业链中的关键环节。如前面提到的，由工业相机、工控机以 及机器人组成的传统视觉方案存在诸多问题，例如定制化方案 开发周期长、成本高，检测内容多样化造成参数标定繁琐、工 人使用困难，占用产线空间大，对工艺流程有影响。 因此，美的希望通过新的技术方法来优化和升级检测方案，打造以下能力：

• 对单个检测项目形成通用的推理算法，并可推广至不同 产线；
• 可在任何产线上做到无缝部署，不干扰现有生产和工艺 流程；
• 在无人工干预情况下做到高鲁棒性，并在全天候高频次下， 保证准确率和延迟的稳定；
• 整个检测过程在 100 毫秒以内完成，识别率达到 98% 以上。

来自生产一线的海量数据资源，让美的具备了利用 AI 技术， 特别是深度学习方法，来解决上述问题的基础，并通过与英特尔 展开深入的技术合作，提升了算法和算力。如图 2-1-5 所示， 美的通过前端高清图像采集、后端训练推理的架构，构建了基 于深度学习的工业视觉检测云平台，为旗下各产线提供瑕疵检 测、工件标定、图像定位等一系列辅助检测能力。

在这一过程中，英特尔不仅为新方案提供了 Analytics Zoo 大数据分析和 AI 平台，来构建从前端数据预处理到模型训练、推理， 再到数据预测、特征提取的全流程，还针对美的各生产线的实际检测需求，为新方案选择了轻锐的 SSDLite + MobileNet V2 算法模型并实施优化，令新方案进一步提升了效果。

基于 Analytics Zoo 的端到端解决方案

如前所述，美的设计的机器视觉检测云平台架构主要由前、后 端两部分组成，由工业相机、工控机等设备构成图像采集前端， 部署在工厂产线上，经云化部署的英特尔 架构服务器集群则 组成云平台的后端系统。

在前端，执行图像采集的机器人通常装有多个工业相机，或进 行远距离拍摄，用于检测有无和定位；或进行近距离拍摄，用 于光学字符识别（Optical Character Recognition，OCR）。 以微波炉划痕检测为例，如图 2-1-6 所示，当系统开始工作时， 通过机器人与旋转台的联动，先使用远距离相机拍摄微波炉待 检测面的全局图像，并检测计算出需要进行 OCR 识别的位置， 再驱动近距离相机进行局部拍摄。相机采集到的不同图像，先由搭载英特尔酷睿处理器的工控机进行预处理，根据检测需求确定需要传输到云端后，再将数据传送到后端云服务器， 实施深度学习训练和推理。

虽然这一架构并不复杂，但新方案要达到美的希望的灵活、敏捷和高通用性却并非易事。尤其是以端到端方式构建从数据采集、模型训练、算法部署的全流程，如果中间每个环节都由美的自行建设，势必会耗费大量的时间和开发成本，且容易造成软硬件紧耦合和扩展性差的问题。

Analytics Zoo 融合了 Apache Spark、TensorFlow、BigDL 等多种技术框架，可直接运行在英特尔 架构服务器构建的 大数据集群上，并可通过对英特尔 至强 可扩展处理器进 行深度优化，充分释放强大的性能潜力。同时，Analytics Zoo 所集成的英特尔 数学核心函数库（Intel Math Kernel Library，英特尔 MKL）与多线程技术，也帮助美的工业视 觉检测云平台大幅提升特征训练、图片预测以及数据批处理等 效率。

通过双方的紧密合作，英特尔帮助美的在其新方案后端的云服务器中，基于 Analytics Zoo 构建了端到端数据分析流水线方案。整个方案流程如图 2-1-7 所示，包括以下几个主要步骤：

1. 通过 Spark，方案以分布式方式处理来自各产线工业 相 机 获 取 的 大 量 视 频 和 图 像。 其 中，Analytics Zoo 使 用 PySpark 从磁盘中读取视频或图像数据并进行预处理，构 造 出TensorFlow Tensor 的 弹 性 分 布 式 数 据 集（Resilient Distributed DataSet，RDD）。整个训练流程可以自动从单个 节点扩展到基于英特尔 架构服务器的大型 Hadoop / Spark 集群，无需修改代码或手动配置。
2. 使用 TensorFlow 目标检测 API 接口，直接构建对象检测模 型，例如，可以采用轻量级的 SSDLite + MobileNet V2 模型。
3. 直接使用在第一步中预处理的图像 RDD，以分布式方式在 Spark 集群上训练（或微调）对象检测模型。例如，为了以分 布式方式处理缺陷检测流水线的训练数据，方案使用 PySpark 将原始图像数据读取到 RDD 中，然后应用一些变换来解码图 像，并提取边界框和类标签。方法如下所示：

而返回的 RDD（train_rdd）中的每条记录都包含一个 NumPy ndarray 的列表（即图像、边界框、类和检测到的框的数量）， 它可以直接用于创建 TensorFlow 模型，并在 Analytics Zoo 上进行分布式训练。通过创建 TFDataset（如下所示），可以 实现这一功能。

1. 训练结束后，可以基于与训练流程类似的流水线，直接使用 RDD 评估图像数据集，使用 PySpark、TensorFlow 和 BigDL 在 Analytics Zoo 上，以分布式方式在 Spark 集群上执行大规 模模型评估（或推理）；
2. 使用 Analytics Zoo 中 POJO 模式的 API, 将整个 Pipeline 轻松地部署于在线 Web 服务中，以实现低延迟的在线服务（例 如，Web 服 务、Apache Storm、Apache Flink 等）。 实 现 代码如下：

更多有关详细信息，请参阅：https://analytics-zoo.github.io/master/#ProgrammingGuide/ inference/

通过这样的方法，新方案可以对预处理过的图像进行识别， 提取出需要进行检测的标的物，例如螺钉、铭牌标贴或型号等， 并通过不断地迭代分布式训练提高对检测物的识别率。最后， 系统会将识别结果传递给机械臂等自动化设备来执行下一步 动作。 值得一提的是，英特尔至强 可扩展处理器为新方案提供了另一项关键要素：计算力。部署在该云平台中的英特尔 至强 可扩展处理器得到了充分的性能优化，其英特尔高级矢量扩 展 512（Intel Advanced Vector Extensions 512，英特尔 AVX-512）等技术以出色的并行计算能力，满足了该云平台在模型训练和模型推理时对算力的需求。

基于英特尔架构优化的目标检测算法模型

如前文所述，提升基于机器视觉的工业辅助检测系统的工作效 能，关键在于为其选择高效、适宜的目标检测。美的的新方案 选择了更适于实时目标检测的SSDLite + MobileNet V2模型。

利用 Analytics Zoo，新方案使用 TFDataset 来表示一个分 布式存储的记录集合，每条记录包含一个或多个 TensorFlow Tensor 对 象。 这 些 Tensor 被 直 接 用 作 输 入， 来 构 建 TensorFlow 模型。 如以下代码所示，方案通过 TensorFlow Object Detection API 构建了 SSDLite + MobileNet V2 模型：

在模型构建之后，方案首先加载预先训练的 TensorFlow模型， 然后使用 Analytics Zoo 中的 TFOptimizer，通过以下方式对 模型进行微调训练：

最终方案在验证数据集上的成效可达 0.97 mAP@0.5。

方案成效

将深度学习的方法引入工业辅助检测领域，不仅让美的工业视觉检测云平台可以快速、敏捷、自动地识别出待测产品可能存 在的问题，例如螺钉漏装、铭牌漏贴、LOGO 丝印缺陷等。更重要的是，该云平台能够良好适应非标准变化因素，即便检测内容和环境发生变化，云平台也能很快适应，省去了冗长的新 特征识别、验证时间。同时，这一方案也能有效地提高检测的 鲁棒性，克服了传统视觉检测过于依赖图像质量的问题。

新方案在美的产线中实际部署后，达到了很好的应用效果。从已有 9 条产线的实际部署测试数据来看，该方案对现有产线的影响几乎为零。同时，由 Analytics Zoo 提供统一的数据分析 + AI 平台，大幅降低了方案进行分布式训练和推理以及提供低 延迟在线服务所耗费的人力物力成本。相比传统的工业视觉方案，如图 2-1-8 所示，项目部署周期缩短了 57%，物料成本减少 30%，人工成本减少 70% 。

同时，经英特尔优化的 SSDLite + MobileNet V2 目标检测算 法模型也有效提升了方案的执行效率和准确率。来自一线的数 据表明，方案对诸多缺陷的识别率达到了 99.98%，推理预测 时间从原先的 2 秒缩减到现在的 124 毫秒。

更多示例以及优化细节，请参阅 Github 相关代码： https://github.com/intel-analytics/analytics-zoo/blob/master/pyzoo/zoo/examples/tfnet/train_lenet.py