ACL 2024大语言模型研究速览

会议背景

ACL 2024（计算语言学协会年会）

内容概述

如同对话式AI领域的整体趋势，某机构在本届ACL会议上发表的论文主要集中在大语言模型（LLMs）的研究工作。大语言模型输出所具有的卓越特性（如语言流畅性和语义连贯性）难以量化，因此模型评估成为重点关注的领域。这些论文探索了广泛的LLM相关主题，从代码合成和自动语音识别等应用，到持续预训练和幻觉缓解等LLM训练与部署问题。收录于新创刊的《ACL会刊》的论文以星号标注。

技术方向与论文列表

代码合成

《通过错误注入实现含潜在缺陷代码的联合重写与补全的微调语言模型》

Dingmin Wang, Jinman Zhao, Hengzhi Pei, Samson Tan, Sheng Zha

持续预训练

《高效持续预训练构建领域专用大语言模型》*

Yong Xie, Karan Aggarwal, Aitzaz Ahmad

数据质量

《网络内容机器翻译占比惊人：多向并行性研究》*

Brian Thompson, Mehak Dhaliwal, Peter Frisch, Tobias Domhan, Marcello Federico

文档摘要

《摘要-源对齐的力量》

Ori Ernst, Ori Shapira, Aviv Slobodkin, Sharon Adar, Mohit Bansal, Jacob Goldberger, Ran Levy, Ido Dagan

幻觉缓解

《通过事实一致性模型学习生成带引用的答案》

Rami Aly, Zhiqiang Tang, Samson Tan, George Karypis

意图分类

《模型能否区分否定与含义？意图编码器的挑战解析》

Yuwei Zhang, Siffi Singh, Sailik Sengupta, Igor Shalyminov, Hwanjun Song, Hang Su, Saab Mansour

反讽识别

《MultiPICo：多语言视角主义反讽语料库》

Silvia Casola, Simona Frenda, Soda Marem Lo, Erhan Sezerer, Antonio Uva, Valerio Basile, Cristina Bosco, Alessandro Pedrani, Chiara Rubagotti, Viviana Patti, Davide Bernardi

知识 grounding

《图推理链：通过图推理增强大语言模型》

Bowen Jin, Chulin Xie, Jiawei Zhang, Kashob Kumar Roy, Yu Zhang, Zheng Li, Ruirui Li, Xianfeng Tang, Suhang Wang, Yu Meng, Jiawei Han

《MATTER：基于异构知识源的记忆增强Transformer》*

Dongkyu Lee, Chandana Satya Prakash, Jack G. M. FitzGerald, Jens Lehmann

《遍历树：基于知识图谱增强黑盒语言模型的零样本推理算法》

Elan Markowitz, Anil Ramakrishna, Jwala Dhamala, Ninareh Mehrabi, Charith Peris, Rahul Gupta, Kai-Wei Chang, Aram Galstyan

LLM解码

《BASS：批量注意力优化推测采样》*

Haifeng Qian, Sujan Gonugondla, Sungsoo Ha, Mingyue Shang, Sanjay Krishna Gouda, Ramesh Nallapati, Sudipta Sengupta, Anoop Deoras

机器翻译

《拼写错误查询对翻译和产品搜索的影响》

Greg Hanneman, Natawut Monaikul, Taichi Nakatani

《微调悖论：提升翻译质量而不牺牲LLM能力》

David Stap, Eva Hasler, Bill Byrne, Christof Monz, Ke Tran

模型编辑

《传播与陷阱：通过反事实任务进行基于推理的知识编辑评估》

Wenyue Hua, Jiang Guo, Marvin Dong, Henghui Zhu, Patrick Ng, Zhiguo Wang

模型评估

《贝叶斯提示集成：黑盒大语言模型的模型不确定性估计》

Francesco Tonolini, Jordan Massiah, Nikolaos Aletras, Gabriella Kazai

《ConSiDERS人类评估框架：重新思考生成式大语言模型的人类评估》

Aparna Elangovan, Ling Liu, Lei Xu, Sravan Bodapati, Dan Roth

《LLM的事实置信度：当前估计器的可靠性与鲁棒性研究》

Matéo Mahaut, Laura Aina, Paula Czarnowska, Momchil Hardalov, Thomas Müller, Lluís Marquez

《微调机器翻译指标在未知领域的表现困境》

Vilém Zouhar, Shuoyang Ding, Anna Currey, Tatyana Badeka, Jenyuan Wang, Brian Thompson

《检索增强生成的问答难度测量》

Matteo Gabburo, Nicolaas Jedema, Siddhant Garg, Leonardo Ribeiro, Alessandro Moschitti

模型鲁棒性

《极端错误校准与对抗鲁棒性的幻觉》

Vyas Raina, Samson Tan, Volkan Cevher, Aditya Rawal, Sheng Zha, George Karypis

多模态模型

《CaMML：大模型的上下文感知多模态学习器》

Yixin Chen, Shuai Zhang, Boran Han, Tong He, Bo Li

《基于大语言模型的语音识别多模态检索》

Jari Kolehmainen, Aditya Gourav, Prashanth Gurunath Shivakumar, Yi Gu, Ankur Gandhe, Ariya Rastrow, Grant Strimel, Ivan Bulyko

《REFINESUMM：生成多模态摘要数据集的自我优化MLLM》

Vaidehi Patil, Leonardo Ribeiro, Mengwen Liu, Mohit Bansal, Markus Dreyer

序数分类

《文本分类中的序数性探索：显式与隐式技术的比较研究》

Siva Rajesh Kasa, Aniket Goel, Sumegh Roychowdhury, Karan Gupta, Anish Bhanushali, Nikhil Pattisapu, Prasanna Srinivasa Murthy

问答系统

《超越边界：基于结构和非结构化信息源的人类式问答方法》*

Jens Lehmann, Dhananjay Bhandiwad, Preetam Gattogi, Sahar Vahdati

《MinPrompt：基于图的少样本问答最小提示数据增强》

Xiusi Chen, Jyun-Yu Jiang, Wei-Cheng Chang, Cho-Jui Hsieh, Hsiang-Fu Yu, Wei Wang

《通过自动响应分段从未标注文档合成对话》

Fanyou Wu, Weijie Xu, Chandan Reddy, Srinivasan Sengamedu, "SHS"

推理

《通过代码激发更好的多语言结构化推理》

Bryan Li, Tamer Alkhouli, Daniele Bonadiman, Nikolaos Pappas, Saab Mansour

《II-MMR：视觉问答中多模态多跳推理的识别与改进》*

Jihyung Kil, Farideh Tavazoee, Dongyeop Kang, Joo-Kyung Kim

推荐系统

《生成式探索-利用：使用LLM优化器实现生成式推荐系统的无训练优化》

Besnik Fetahu, Zhiyu Chen, Davis Yoshida, Giuseppe Castellucci, Nikhita Vedula, Jason Choi, Shervin Malmasi

《将客观产品属性转化为客户语言》

Ram Yazdi, Oren Kalinsky, Alexander Libov, Dafna Shahaf

负责任AI

《SpeechGuard：探索多模态大语言模型的对抗鲁棒性》

Raghuveer Peri, Sai Muralidhar Jayanthi, Srikanth Ronanki, Anshu Bhatia, Karel Mundnich, Saket Dingliwal, Nilaksh Das, Zejiang Hou, Goeric Huybrechts, Srikanth Vishnubhotla, Daniel Garcia-Romero, Sundararajan Srinivasan, Kyu Han, Katrin Kirchhoff

文本补全

《通过字符匹配实现子词补全的token对齐》*

Ben Athiwaratkun, Shiqi Wang, Mingyue Shang, Yuchen Tian, Zijian Wang, Sujan Gonugondla, Sanjay Krishna Gouda, Rob Kwiatkowski, Ramesh Nallapati, Bing Xiang