ACL 2024大语言模型研究全景解析

会议背景

ACL 2024

如同整个对话式AI领域一样，某机构在今年计算语言学协会（ACL）会议上发表的论文主要集中在大语言模型（LLMs）的研究工作上。使LLMs输出如此卓越的特性——如语言流畅性和语义连贯性——也 notoriously 难以量化；因此，模型评估已成为一个特别关注的领域。但某机构的论文探索了广泛的LLM相关主题，从代码合成和自动语音识别等应用，到持续预训练和幻觉缓解等LLM训练和部署问题。被最近创刊的ACL会议录接受的论文用星号标记。

研究主题

代码合成

微调语言模型以联合重写和补全可能存在错误的代码

Dingmin Wang, Jinman Zhao, Hengzhi Pei, Samson Tan, Sheng Zha

通过错误注入获取有错误的局部代码。

持续预训练

高效持续预训练用于构建领域特定大语言模型*

Yong Xie, Karan Aggarwal, Aitzaz Ahmad

数据质量

大量网络内容是机器翻译的惊人事实：来自多向并行性的见解*

Brian Thompson, Mehak Dhaliwal, Peter Frisch, Tobias Domhan, Marcello Federico

文档摘要

摘要-源对齐的力量

Ori Ernst, Ori Shapira, Aviv Slobodkin, Sharon Adar, Mohit Bansal, Jacob Goldberger, Ran Levy, Ido Dagan

幻觉缓解

通过学习事实一致性模型生成带引用的答案

Rami Aly, Zhiqiang Tang, Samson Tan, George Karypis

意图分类

你的模型能区分否定和含义吗？揭示意图编码器的挑战

Yuwei Zhang, Siffi Singh, Sailik Sengupta, Igor Shalyminov, Hwanjun Song, Hang Su, Saab Mansour

反讽识别

MultiPICo：多语言视角主义反讽语料库

Silvia Casola, Simona Frenda, Soda Marem Lo, Erhan Sezerer, Antonio Uva, Valerio Basile, Cristina Bosco, Alessandro Pedrani, Chiara Rubagotti, Viviana Patti, Davide Bernardi

知识 grounding

图思维链：通过在图上的推理增强大语言模型

Bowen Jin, Chulin Xie, Jiawei Zhang, Kashob Kumar Roy, Yu Zhang, Zheng Li, Ruirui Li, Xianfeng Tang, Suhang Wang, Yu Meng, Jiawei Han

MATTER：使用异构知识源的记忆增强Transformer*

Dongkyu Lee, Chandana Satya Prakash, Jack G. M. FitzGerald, Jens Lehmann

遍历树：一种用于通过知识图谱增强黑盒语言模型的零样本推理算法

Elan Markowitz, Anil Ramakrishna, Jwala Dhamala, Ninareh Mehrabi, Charith Peris, Rahul Gupta, Kai-Wei Chang, Aram Galstyan

遍历树方法如何使用知识图谱接口处理查询"哪位演员同时在《盗梦空间》和《星际穿越》中出演？"的示例。

LLM解码

BASS：批量注意力优化的推测采样*

Haifeng Qian, Sujan Gonugondla, Sungsoo Ha, Mingyue Shang, Sanjay Krishna Gouda, Ramesh Nallapati, Sudipta Sengupta, Anoop Deoras

机器翻译

拼写错误查询对翻译和产品搜索的影响

Greg Hanneman, Natawut Monaikul, Taichi Nakatani

微调悖论：提升翻译质量而不牺牲LLM能力

David Stap, Eva Hasler, Bill Byrne, Christof Monz, Ke Tran

模型编辑

传播与陷阱：通过反事实任务进行基于推理的知识编辑评估

Wenyue Hua, Jiang Guo, Marvin Dong, Henghui Zhu, Patrick Ng, Zhiguo Wang

构建用于基于推理的反事实编辑（ReCoE）数据集数据的流程演示。直线表示来自现有数据集的数据；虚线表示来自LLM生成的数据；锯齿线表示通过破坏其他数据获得的数据。

模型评估

贝叶斯提示集成：黑盒大语言模型的模型不确定性估计

Francesco Tonolini, Jordan Massiah, Nikolaos Aletras, Gabriella Kazai

ConSiDERS—人类评估框架：重新思考生成式大语言模型的人类评估

Aparna Elangovan, Ling Liu, Lei Xu, Sravan Bodapati, Dan Roth

LLMs的事实置信度：关于当前估计器的可靠性和鲁棒性

Matéo Mahaut, Laura Aina, Paula Czarnowska, Momchil Hardalov, Thomas Müller, Lluís Marquez

微调的机器翻译指标在未见过的领域中表现不佳

Vilém Zouhar, Shuoyang Ding, Anna Currey, Tatyana Badeka, Jenyuan Wang, Brian Thompson

测量检索增强生成的问答难度

Matteo Gabburo, Nicolaas Jedema, Siddhant Garg, Leonardo Ribeiro, Alessandro Moschitti

模型鲁棒性

极端未校准和对抗性鲁棒性的错觉

Vyas Raina, Samson Tan, Volkan Cevher, Aditya Rawal, Sheng Zha, George Karypis

多模态模型

CaMML：面向大模型的上下文感知多模态学习器

Yixin Chen, Shuai Zhang, Boran Han, Tong He, Bo Li

CaMML框架，包括检索器、感知器和生成器。在收到用户查询q后，CaMML检索器从数据存储中识别相关的多模态上下文C。然后CaMML感知器无缝集成各种模态的数据，有效编码长上下文信息并将其注入CaMML生成器。这使得能够预测既基于上下文又基于查询的响应。

基于大语言模型的语音识别的多模态检索

Jari Kolehmainen, Aditya Gourav, Prashanth Gurunath Shivakumar, Yi Gu, Ankur Gandhe, Ariya Rastrow, Grant Strimel, Ivan Bulyko

REFINESUMM：用于生成多模态摘要数据集的自我精炼MLLM

Vaidehi Patil, Leonardo Ribeiro, Mengwen Liu, Mohit Bansal, Markus Dreyer

序数分类

探索文本分类中的序数性：显式和隐式技术的比较研究

Siva Rajesh Kasa, Aniket Goel, Sumegh Roychowdhury, Karan Gupta, Anish Bhanushali, Nikhil Pattisapu, Prasanna Srinivasa Murthy

问答

超越边界：一种类人的方法，用于在结构化和非结构化信息源上进行问答*

Jens Lehmann, Dhananjay Bhandiwad, Preetam Gattogi, Sahar Vahdati

MinPrompt：基于图的少样本问答最小提示数据增强

Xiusi Chen, Jyun-Yu Jiang, Wei-Cheng Chang, Cho-Jui Hsieh, Hsiang-Fu Yu, Wei Wang

使用自动响应分割从未标记文档合成对话

Fanyou Wu, Weijie Xu, Chandana Reddy, Srinivasan Sengamedu, "SHS"

推理

通过代码从LLMs中引出更好的多语言结构化推理

Bryan Li, Tamer Alkhouli, Daniele Bonadiman, Nikolaos Pappas, Saab Mansour

II-MMR：识别和改进视觉问答中的多模态多跳推理*

Jihyung Kil, Farideh Tavazoee, Dongyeop Kang, Joo-Kyung Kim

推荐系统

生成式探索-利用：使用LLM优化器对生成式推荐系统进行无训练优化

Besnik Fetahu, Zhiyu Chen, Davis Yoshida, Giuseppe Castellucci, Nikhita Vedula, Jason Choi, Shervin Malmasi

将客观产品属性转化为客户语言

Ram Yazdi, Oren Kalinsky, Alexander Libov, Dafna Shahaf

负责任AI

SpeechGuard：探索多模态大语言模型的对抗鲁棒性

Raghuveer Peri, Sai Muralidhar Jayanthi, Srikanth Ronanki, Anshu Bhatia, Karel Mundnich, Saket Dingliwal, Nilaksh Das, Zejiang Hou, Goeric Huybrechts, Srikanth Vishnubhotla, Daniel Garcia-Romero, Sundararajan Srinivasan, Kyu Han, Katrin Kirchhoff

文本补全

通过字符匹配进行子词补全的令牌对齐*

Ben Athiwaratkun, Shiqi Wang, Mingyue Shang, Yuchen Tian, Zijian Wang, Sujan Gonugondla, Sanjay Krishna Gouda, Rob Kwiatkowski, Ramesh Nallapati, Bing Xiang

令牌对齐过程的图示。