百度Paddle应用：汽车说明书跨模态智能问答

工欲善其事必先利其器。做人工智能，必然少不了基础框架。深度学习领域两大主流框架TensorFlow和PyTorch，一个是来自Google，另一个来自于Facebook. 国内其实也有不少框架，百度的Paddle算是做得最早的，除此之外，还有华为的MindSpore等等。

说实话，前两年看Paddle其实步子迈得还比较慢，和TensorFlow、PyTorch差距很大。但其实Paddle相比TensorFlow、PyTorch天然有中文优势，毕竟百度开发，国内程序员群体很大，如果好好维护社区，是很有希望得到快速发展的。

最近登上Paddle的GitHub看到宣传，还是很惊喜的，虽然star（4.3k）和TensorFlow（165k）还很有差距，但是在往正确的方向发展，社区也越来越热闹。做框架最重要的便是生态，基础功能经过一段时间的研发各家基本大差不差，作为一个工具，开箱即用，安装使用方便，另外最新的模型及时跟进推出，更多地支持学术界使用，提供代码开源和复现，获得欢迎只是时间问题。

相比之下，华为的MindSpore就显得较为冷清了。

这次要介绍的便是Paddle新推出的一个新应用：汽车说明书跨模态智能问答。相信大家面对各种厚厚的手册很容易抓狂，即使是电子版能够搜索关键字，但是往往不是太多命中，就是一个也没命中，很难一下获得理想的答案。另外我们不是业内人士，很多专业术语也不了解，例如：谁知道汽车手册里后备箱叫做尾门呢？

这便是这个应用的由来：对用户提出的问题，自动从汽车说明书中寻找答案并进行回答。如下图所示，用户提出问题："如何更换前风窗玻璃的刮水片"，问答引擎从寻找相关文档，然后抽取出相应的答案，并进行高亮展示。

通过使用汽车说明书问答系统，能够极大地解决传统汽车售后的压力：

· 用户：用户没有耐心查阅说明书，打客服电话需要等待

· 售后客服：需要配置大量客服人员，且客服专业知识培训周期长

· 构建问题库：需要投入大量人力整理常见问题库，并且固定的问题库难以覆盖灵活多变的提问

对于用户来说，汽车说明书问答系统能够支持通过车机助手/APP/小程序为用户提供即问即答的的功能。对于常见问题，用户不再需要查阅说明书，也无需打客服电话，从而缓解了人工客服的压力。

对于客服来讲，汽车说明书问答系统帮助客服人员快速定位答案，高效查阅文档，提高客服的专业水平，同时也能够缩短客服的培训周期。

整体流程

问答系统主要包括 3 个模块：OCR处理模块、排序模块和跨模态阅读理解模块。

其中，OCR模块对提供的汽车说明书文档进解析，并将解析结果保存下来供后续排序模块使用。

对于用户提问的问题，首先会被传入排序模块，排序模块会针对该问题对解析的文档进行排序打分，其结果将会被传入跨模态阅读理解模块。阅读理解模块将从分数最高的说明书文档中，抽取用户问题的答案，并返回给用户。

下图展示了用户提问的三个问题："后备箱怎么开"，"钥匙怎么充电" 和 "NFC解锁注意事项"，汽车说明书问答系统找到答案并进行高亮显示。

附：

汽车说明书跨模态智能问答github地址：https://github.com/PaddlePaddle/PaddleNLP/tree/develop/applications/doc_vqa

AI人工智能与大数据