人机协同蒸馏：LLM实用技术指南

将LLMs从黑盒中解放出来：人机协同蒸馏实用指南

随着自然语言处理领域的进步和新思想的发展，我们看到越来越多高效利用计算资源的方法，从而生产出运行成本更低、更易于控制的人工智能系统。大型语言模型（LLMs）潜力巨大，但也对工业界需要模块化、透明度和数据隐私的现有工作流程提出了挑战。在本次演讲中，我将展示一些实用解决方案，用于在实际应用中使用最新的最先进模型，并将其知识提炼成更小、更快的组件，以便在内部运行和维护。

我将分享一些真实世界的案例研究和方法，探讨如何在开发阶段（而非运行阶段）使用大型生成模型，通过高效的人机协同工作流程来整理其结构化预测，并蒸馏出小至 6MB 的特定任务组件。这些组件运行成本低、注重隐私、可靠，并且可以组合成更大的自然语言处理系统。

如果你正试图构建一个执行特定任务的系统，你不需要将你的请求转换为任意语言，然后调用最能理解任意语言的大型模型。开发这些模型的人在讲述这样的故事，但我们其他人没有义务相信他们。

拉近原型与生产的距离

• 标准化输入和输出
• 从评估开始
• 迭代地处理数据
• 评估实用性，而非仅仅准确性
• 考虑自然语言的结构和歧义性

案例研究

案例研究 #1

• 任务：从 Reddit 烹饪帖中提取菜肴、食材和设备
• 成果：400MB 模型，每秒处理 2000+ 词，8 小时数据开发，击败少样本 LLM 基线 (0.74)，推理速度提升 20 倍。

案例研究 #2 (某机构)

• 任务：实时大宗商品交易洞察，提取结构化属性
• 环境：高安全环境
• 成果：6MB 模型，每秒处理 16000+ 词，F1 分数 99%，数据开发速度提升 10 倍，8 个市场流程 投入生产。

案例研究 #3 (某机构)

• 任务：从支持工单和使用问题中提取可操作见解
• 成果：处理 1 年的支持工单，速度提升 6 倍，易于适应新场景，将通用功能与产品特定逻辑分离。

现实并非端到端的预测问题

• 人机协同蒸馏是一个重构过程。
• 迭代和正确的工具可以帮助你超越原型平台期。
• 降低操作复杂性意味着减少出错的可能性。
• 期待数据带来的惊喜，并为变化做好计划。
• 无需在开发最佳实践或隐私方面做出妥协。FINISHED