AAAI聚焦提示工程与推理技术

AAAI：提示工程与推理成为焦点

今年，人工智能促进协会年度人工智能会议（AAAI）收到了约9000篇论文投稿，因此需要相应规模的项目委员会，由两位项目主席和四位副项目主席共同负责。

加州大学洛杉矶分校计算机科学副教授、Alexa AI组织某机构访问学者、人工智能促进协会高级成员及AAAI会议最佳论文委员会主席Kai-Wei Chang是副项目主席之一。凭借这一身份，他对今年AAAI投稿的趋势有着独特的洞察。

AAAI项目收录了超过1600篇论文，自然涵盖了极其广泛的主题。“论文来自各个不同领域——计算机视觉、自然语言处理、神经网络，”Chang表示。“机器人领域在会议中占据了很大比重，同时也有搜索和规划等传统领域的论文。”

不过，Chang指出，有两个主题尤为突出：提示工程和推理。

提示工程

“提示工程”指的是致力于从大型生成模型（如文本到图像合成器或大型语言模型）中提取准确、一致且公平输出的方法。大型语言模型在大规模文本语料上训练，因此编码了大量关于世界的客观信息。但它们的训练目标是生成在一般情况下可能出现的词语序列，而非在特定情况下准确的序列。

“例如，我让一个模型生成我的个人简介，它生成的内容相当不错，”Chang说。“也许该模型是在我的个人主页上训练的，它说我是加州大学洛杉矶分校的教授，从事自然语言处理研究，并向ACL等会议投稿，这些都没错。但它也给出了一些随机信息——比如说我获得过某个奖项，实际上并没有。”

“这些模型需要某种事实核查机制来过滤掉不适当的内容。AAAI有几篇论文探讨了如何确保生成的文本具有个性化、可靠性和一致性。”

在Chang的研究中，大型语言模型的公平性是一个重要课题。同样，由于大型语言模型的输出基于统计平均值，它们可能会强化训练数据中普遍存在的刻板印象。例如，如果大型语言模型收到一个提到医生的输入（提示），它可能会在生成的输出中默认使用男性代词来指代该医生。

“文本到图像生成中也存在类似现象，”Chang补充道。“如果你要求模型生成医生的图像，它很可能会生成男性医生。我们发现，可以通过在提示中添加描述来纠正这一点——比如‘所有个体，无论其性别和肤色，都可以成为律师’。或者，可以通过增加更多样化的训练数据来提高生成的多样性。”

推理

推理涉及推断实体或概念之间逻辑关系的推论，以执行比机器学习模型目前擅长的分类类型更复杂的任务。许多研究人员认为，这必然涉及符号推理——一种多年来似乎被机器学习取代的人工智能方法。

“你可以定义一个损失函数或一个称为语义概率层的神经网络层，使模型能够学习使用符号知识进行推理，”Chang解释说。“例如，你可以定义一些规则，并根据模型预测违反这些规则的可能性来定义损失。然后，通过最小化损失来训练模型，以避免违反规则。”

“例如，对于语言生成，你可以说，‘我想生成一个句子，它必须包含某些概念或某些词语’——或者相反，它不能包含任何不良词语。约束也可以是‘软约束’。例如，如果你在进行机器人规划，你可以设置一个约束，规定机器人不应进入某个区域，除非必要。所以并不是机器人不能进入该区域，而是模型被训练来避免进入。”

Chang表示，他本人也一直在研究这样一种方法，即利用一个辅助网络来帮助主模型朝着满足一组约束条件的输出方向前进。

“你可以训练一个辅助神经网络来帮助你将复杂的约束分解成更小的部分，从而更容易地将其融入主模型，”Chang解释说。“以语言生成为例，假设你想生成一个故事，它必须包含某些用户定义的词语，同时故事的情感基调必须是积极的。这些约束很难融入文本生成中，因为生成的输出必须连贯，而模型可能不知道在哪里插入这些词语并保持情感积极。神经网络可以学习将这些规则分解为词元级别的约束，并产生相应的概率来引导主模型。”

然而，Chang强调，尽管提示工程和推理是今年AAAI的热门话题，但它们仍然只占会议内容的一小部分。“人工智能现在非常流行，”他说。“有多个子领域，如机器学习、计算机视觉、自然语言处理和机器人技术。来自所有这些不同领域的投稿相当多样化。”FINISHED