Alpaca Formula微调模型研究争议：开源模型与ChatGPT存在性能差距

【ITBEAR科技资讯】5月29日消息，开源语言模型的发展取得了令人瞩目的进步。然而，对于这些开源模型是否能够与来自OpenAI、谷歌和其他公司的经过精心训练的语言模型竞争，存在一些争议。

据先前报道，使用Alpaca Formula训练的开源语言模型几乎不需要耗费大量时间和资源，就能够达到类似于ChatGPT的水平。Alpaca Formula是指开发者利用ChatGPT生成的训练数据来微调meta语言模型LLaMA。通过使用这些数据，LLaMA模型能够在短时间内学习生成与ChatGPT相似的输出，且所需计算资源较少。

然而，最近伯克利大学的研究人员对此进行了不同的研究。他们使用Alpaca Formula对LLaMA和GPT-2的一些基础模型进行了实验，并请人工评估这些结果，同时还使用GPT-4进行自动评估。

初步结果与之前的开发者所得出的结论相似：改进过的模仿模型在展示模仿数据的任务中的性能远超基础模型，与ChatGPT相当。

然而，更加有针对性的自动评估显示，这些模仿模型实际上只在已见过的模仿数据的任务中表现良好。在其他领域中，与GPT-4相比，仍然存在明显的性能差距。这是因为这些基础模型在广泛的预训练过程中获取了大部分功能，而非微调阶段所获得的。

研究人员指出，进行这种评估的工作者常常在短时间内对人工智能内容进行评估，而缺乏相关专业知识，容易被误导。

值得注意的是，OpenAI的研究员约翰舒尔曼最近批评了使用ChatGPT数据来微调开源基础语言模型的做法。他指出，如果微调数据集中包含了原始模型中未包含的知识，那么这些模型可能会产生更多不准确的内容。

综上所述，虽然开源语言模型的进步不容忽视，但在与OpenAI、谷歌和其他公司训练有素的语言模型进行竞争时，仍然存在一定的差距。对于开源模型的评估需要更加准确和全面，以充分了解其性能和局限性。