制造业AI知识库验收：有引用的答案，为什么仍然可能用错？

在制造业知识问答中，答案附带来源，能够帮助使用者核对依据。但“有引用”只是检查的起点。

假设维修人员查询某台设备的报警处理方法，系统找到了手册，也准确引用了其中的操作步骤。然而，这份手册适用于另一种设备配置，当前设备并不满足操作条件。

这时，引用是真实的，回答却未必适用。

因此，验收AI知识库时，需要分别检查三个问题：资料能否找到、引用是否支持结论、结论是否适用于当前业务条件。

以下以设备维修资料查询为例，介绍一种可操作的测试方法。文中设备和问题均为假设示例，不代表实际项目结果。

一、先把“回答正确”拆成几个检查项

只用“对”或“不对”评价答案，往往难以定位问题。可以把一次问答拆成以下检查项：

这些检查项对应不同的故障原因。例如，找到旧版资料可能与版本管理有关；引用正确但结论扩大，可能发生在回答生成环节。两者需要采取不同的修正方法。

二、用一个问题检查适用条件

假设测试问题是：

“设备A出现E17报警，应该怎么处理？”

准备测试时，应先让业务人员确认：仅凭“设备A”和“E17”，是否足以确定处理方法？

如果同一系列设备存在不同控制器、配置或手册版本，预期回答就不应直接给出操作步骤，而应先确认必要信息。

可以据此设计两条测试：

测试一：条件不完整

输入只有设备系列和报警代码。

检查系统是否询问具体型号、配置或其他必要条件。

测试二：条件完整

补充型号、配置和适用版本。

检查系统是否找到对应资料，并说明建议成立的条件。

这组测试关注的是系统能否识别信息缺口，而不只是能否生成答案。

三、单独测试新旧版本冲突

知识库中保留历史文件，有助于查询旧设备和追溯记录，但也可能造成版本混用。

测试时，可以准备两份存在明确差异的假设文档，例如：

• 旧版手册适用于配置X；
• 新版手册适用于配置Y；
• 两份文件对同一报警的检查步骤不同。

分别使用配置X、配置Y和未提供配置的提问，观察系统是否：

1. 根据适用范围选择资料；
2. 在回答中标明所依据的版本；
3. 避免将两份文件的步骤拼接；
4. 在无法确定版本时要求补充信息。

需要注意，发布日期较新的文件不一定适用于所有旧设备。版本选择应结合适用范围，不能只按上传时间排序。

四、检查引用是否真正支持结论

引用检查不能只看链接是否可打开，还要核对回答中的关键判断是否有依据。

例如，原文写的是：

“出现该报警时，检查连接状态。”

如果回答扩展成“该报警一定由连接松动引起，更换部件即可恢复”，就超出了这段原文所能支持的范围。

验收时可以逐项核对：

• 回答中的关键步骤能否在原文中找到？
• 原文中的限制条件是否被保留？
• 是否把“可能原因”写成了“确定原因”？
• 是否加入资料没有给出的数值、顺序或操作建议？

对于多个来源组合形成的回答，还应检查不同资料是否适用于同一设备和条件。

五、用不同账号验证权限

权限测试应使用不同角色的账号，对同一个问题进行提问。

例如，准备一份仅允许维修团队访问的内部记录，再使用有权限和无权限的账号分别查询。

检查范围不只是文件能否打开，还包括：

• 搜索结果是否展示受限片段；
• 回答是否复述受限内容；
• 引用标题或摘要是否泄露敏感信息；
• 追问后是否间接获得原本受限的信息。

测试应在授权环境中使用合适的样本。预期结果应与企业既有访问规则保持一致。

六、把“没有足够依据”作为正常测试结果

知识库不可能覆盖所有故障。测试集应保留一部分资料没有答案的问题。

这类问题的合格表现，可以是：

• 明确说明当前资料不足；
• 请求补充必要信息；
• 返回相关资料，但说明尚不能形成结论；
• 提示由相应岗位人员进一步判断。

不应把所有未给出完整建议的回答都判为失败。相反，没有依据却给出确定步骤，才需要重点排查。

七、用一张记录表支持复测

测试记录应足够具体，使修改前后的结果可以比较。

如果需要汇总指标，可以分别统计资料命中、引用支持、权限符合和信息不足时的处理情况。每项统计都应说明样本范围与判断标准，避免只用一个笼统的“准确率”概括所有表现。

结语

制造业AI知识库的验收，需要从“能找到资料”进一步走向“能在正确条件下使用资料”。

在小范围试点中，先验证版本、适用条件、引用和权限，再逐步扩展场景，有助于暴露具体问题，也便于确定后续修正方向。

对于涉及设备安全和现场操作的回答，仍应由具备相应职责的人员依据现行规程确认。知识助手可以辅助资料查询与整理，现场操作责任和审批流程需要保持明确。