重新定义大模型推理！Google | 提出SELF-DISCOVER框架，大模型可自写推理结构！

ShuYini

发布于 2024-03-11 21:23:41

3570

发布于 2024-03-11 21:23:41

引言

在人工智能领域，大模型（LLMs）如GPT-4和PaLM 2在文本生成方面展现了强大性能。然而，这些模型在处理复杂推理任务时仍面临挑战。传统的提示方法，如思维链（CoT），虽然在某些情况下有效，但它们通常依赖于预设的推理过程，这可能不适用于所有类型的任务。

为此，Google的研究人员提出了「SELF-DISCOVER框架，可实现自动发现和构建推理结构，以解决各种任务」。该方法显著提高了GPT-4和PaLM 2的性能，相比思维链(CoT)，性能提升高达32%。

https://arxiv.org/pdf/2402.03620.pdf

背景介绍

大型语言模型（LLM）的基础是由Transformer组成的，例如：GPT-4、PaLM 2，它们在连贯文本生成、指令遵循方面取得了令人印象深刻的突破。为了提升大模型解决复杂问题的能力，受到人类认知理论的启发，人们提出了各种提示（Prompt）方法。例如，Zero-Shot、Few-Shot思维链（CoT）模仿了人们分步解决问题的方式；基于分解的提示（decomposition-based prompting）技术，灵感来自于人们如何将一个复杂的问题分解为一系列较小的子问题，然后逐一解决这些子问题；回溯提示（step-back prompting）技术灵感来源于人类对相关任务的反思。

但是以上的这些技术作为一个原子推理模块，存在一定的局限性，因为当面对给定任务时都会存在隐含的先验假设。相反，本文作者认为每个任务都有独特的内在结构，这是有效解决推理问题的基础。

基于以上考虑，本文作者提出了一个名为自发现（SELF-DISCOVER）的框架，它允许LLMs自发现并组合原子推理模块，并形成一个明确的推理结构，以便在解码过程中遵循。这种方法的核心是一个自发现过程，其中LLMs从多个原子推理模块（如批判性思维和逐步思考）中选择，并将其组合成一个推理结构。

SELF-DISCOVER框架

SELF-DISCOVER框架的核心部分是自发现过程，它允许大型语言模型（LLMs）在没有明确标签的情况下，自主地为特定任务生成推理结构。SELF-DISCOVER框架包含两个主要阶段：自发现特定任务的推理结构、应用推理结构解决问题。如下图所示：

「阶段一：自发现特定任务的推理结构」主要包含三个主要动作：选择（SELECT）、适应（ADAPT）和实施（IMPLEMENT）。如下图所示：

其中：

「选择（SELECT）」在这个阶段，模型从一组原子推理模块（例如“批判性思维”和“逐步思考”）中「选择对于解决特定任务有用的模块」。模型通过一个元提示（meta-prompt）来引导选择过程，这个元提示结合了任务示例和原子模块描述。选择过程的目标是确定哪些推理模块对于解决任务是有助的。
「适应（ADAPT）」 一旦选定了相关的推理模块，下一步是调整这些模块的描述使其更适合当前任务。这个过程到将一般性的推理模块描述转化为更具体的任务相关描述。例如，对于算术问题，“分解问题”的模块可能被调整为“按顺序计算每个算术操作”。同样，这个过程使用元提示和模型来「生成适应任务的推理模块描述」。
「实施（IMPLEMENT）」 在适应了推理模块之后，SELF-DISCOVER框架将这些适应后的推理模块描述「转化为一个结构化的可执行计划」。这个计划以键值对的形式呈现，类似于JSON，以便于模型理解和执行。这个过程不仅包括元提示，还包括一个人类编写的推理结构示例，以帮助模型更好地将自然语言描述转化为结构化的推理计划。

「阶段二：应用发现推理结构」 完成阶段一之后，模型将拥有一个专门为当前任务定制的推理结构。在解决问题的实例时，模型只需遵循这个结构，逐步填充JSON中的值，直到得出最终答案。

这个过程的关键在于，它允许模型在没有人类干预的情况下，自主地生成适合特定任务的推理结构，这不仅提高了模型的推理能力，而且提高了推理过程的可解释性。通过这种方式，模型能够更有效地处理复杂和多样化的任务。