EMNLP 2024中五十余篇自然语言处理研究亮点解析

EMNLP 2024中五十余篇自然语言处理研究亮点解析

大型语言模型（LLMs）已主导自然语言处理领域，因此它们也成为某中心科学家在今年自然语言处理实证方法会议（EMNLP）上展示研究的核心。LLM训练是某中心论文数量最多的主题，紧随其后的是减轻LLM输出中错误信息（包括但不限于幻觉）的策略。同时，多篇论文将LLM应用于某中心传统关注的主题，如语音、推荐系统和信息检索。（标有星号的论文被EMNLP的“发现”环节接受。）

AI智能体

MARCO：多智能体实时聊天编排

Anubhav Shrimal, Shervin Malmasi, Kriti Biswas, Swarnalatha Raghuraman, Anish Nediyanchath, Yi Zhang, Promod Yenigalla

代码生成

CodeFort：面向代码生成模型的鲁棒训练

Yuhao Zhang, Shiqi Wang, Haifeng Qian, Zijian Wang, Mingyue Shang, Linbo Liu, Sanjay Krishna Gouda, Baishakhi Ray, Murali Krishna Ramanathan, Xiaofei Ma, Anoop Deoras

苏格拉底式人类反馈（SoHF）：用于LLM代码生成的专家引导策略

Subramanian Chidambaram, Erran Li, Min Bai, Xiaopeng LI, Kaixiang Lin, Xiong Zhou, Alex C. Williams

结构化对象语言建模（SoLM）：通过自监督去噪生成符合复杂模式的原生结构化对象

Amir Tavanaei, Kee Kiat Koo, Hayreddin Ceker, Shaobai Jiang, Qi Li, Julien Han, Karim Bouyarmane

对比解码

通过外推巨型假设语言模型的概率来解释和改进对比解码

Haw-Shiuan Chang, Nanyun Peng, Mohit Bansal, Anil Ramakrishna, Tagyoung Chung

给定一个带有线索的简单问题，对比解码可能存在“明显的盲点”（例如，将更高的概率分配给不常见的答案，如“无脊椎动物”，而不是最明显的答案“蜜蜂”）。相比之下，论文中提出的渐近概率解码通过利用不同规模多个语言模型的概率，正确地将最高概率分配给了“蜜蜂”。

数据集成

ASTRA：使用机器翻译的自动模式匹配

Tarang Chugh, Deepak Zambre

从自然语言解释中学习以实现可泛化的实体匹配

Somin Wadhwa, Adit Krishnan, Runhui Wang, Byron C. Wallace, Chris (Luyang) Kong

在地理空间网络上对语言模型进行预训练和微调以实现精确地址匹配

Saket Maheshwary, Arpan Paul, Saurabh Sohoney

面向电子商务应用的检索增强拼写纠正

Xuan Guo, Rohit Patki, Dante Everaert, Christopher Potts

数据集蒸馏

通过语言模型嵌入进行文本数据集蒸馏

Yefan Tao, Chris (Luyang) Kong, Andrey Kan, Laurent Callot

论文中提出的DaLLME框架首先使用语言模型将原始文本数据转换为嵌入向量。然后，通过一个旨在封装最大信息内容的过程，在嵌入空间中导出一组蒸馏向量。最后，vec2text模型将这些蒸馏向量翻译回文本形式。

文档理解

DocKD：用于开放世界文档理解模型的大型语言模型知识蒸馏

Sungnyun Kim, Haofu Liao, Srikar Appalaraju, Peng Tang, Zhuowen Tu, Ravi Kumar Satzoda, R. Manmatha, Vijay Mahadevan, Stefano Soatto

信息检索

评估信息检索中部分注释的D-MERIT

Royi Rassin, Yaron Fairstein, Oren Kalinsky, Guy Kushilevitz, Nachshon Cohen, Alexander Libov, Yoav Goldberg

识别高关注度电子商务搜索查询

Zhiyu Chen, Jason Choi, Besnik Fetahu, Shervin Malmasi

在对话式问答中学习何时检索、改写什么以及如何回应*

Nirmal Roy, Leonardo Ribeiro, Rexhina Blloshmi, Kevin Small

自然语言理解

LLM时代的意图检测

Gaurav Arora, Shreya Jain, Srujana Merugu

论文提出了一种利用LLM进行自适应上下文学习和基于思维链的意图检测方法。

在极短文档中预测实体显著性

Ben Bullough, Harrison Lundberg, Chen Hu, Weihang Xiao

LLM评估

AXCEL：使用LLM进行自动可解释一致性评估*

P Aditya Sreekar, Sahil Verma, Suransh Chopra, Sarik Ghazarian, Abhishek Persad, Narayanan Sadagopan

仅用少量观察进行精确模型基准测试

Riccardo Fogliato, Pratik Patil, Nil-Jana Akpinar, Mathew Monfort

LLM微调

AdaZeta：面向内存高效大型语言模型微调的自适应零阶张量序列适应

Yifan Yang, Kai Zhen, Ershad Banijamali, Thanasis Mouchtaris, Zheng Zhang

RoseLoRA：面向知识编辑和微调的预训练语言模型的行列稀疏低秩适应

Haoyu Wang, Tianci Liu, Ruirui Li, Monica Cheng, Tuo Zhao, Jing Gao

LLM用于语音

值得语音化的指令调优语言模型

Hyundong Cho, Nicolaas Jedema, Leonardo Ribeiro, Karishma Sharma, Pedro Szekely, Alessandro Moschitti, Ruben Janssen, Jonathan May

LLM错误信息缓解

ECON：关于证据冲突的检测与解决

Cheng Jiayang, Chunkit Chan, Qianqian Zhuang, Lin Qiu, Tianhang Zhang, Tengxiao Liu, Yangqiu Song, Yue Zhang, Pengfei Liu, Zheng Zhang

面向知识图谱对话生成的生成式子图检索

Jinyoung Park, Minseok Joo, Joo-Kyung Kim, Hyunwoo J. Kim

HalluMeasure：使用思维链推理进行细粒度幻觉度量

Shayan Ali Akbar, Md Mosharaf Hossain, Tess Wood, Si-Chi Chin, Erica Salinas, Victor Alvarez, Erwin Cornejo

以知识为中心的幻觉检测

Xiangkun Hu, Dongyu Ru, Lin Qiu, Qipeng Guo, Tianhang Zhang, Yang Xu, Yun Luo, Pengfei Liu, Zheng Zhang, Yue Zhang

LLM推理

Auto-evolve：通过自我推理框架增强大型语言模型的性能*

Krishna Aswani, Alex Lu, Pranav Patankar, Priya Dhalwani, Iris Tan, Jayant Ganeshmohan, Simon Lacasse

LLM自我纠正

使用DeCRIM进行LLM自我纠正：分解、批判和精炼以增强遵循多重约束指令的能力

Thomas Palmeira Ferraz, Kartik Mehta, Yu-Hsiang Lin, Haw-Shiuan Chang, Shereen Oraby, Sijia Liu, Vivek Subramanian, Tagyoung Chung, Mohit Bansal, Nanyun Peng

在DeCRIM流程中，LLM首先生成对用户请求的响应。然后，分解器将请求分解为细粒度的约束，批判模型则对响应是否满足这些约束给出反馈。如果满足，则输出响应；如果不满足，LLM则利用反馈来精炼响应。

LLM训练

链中之舞：调和语言模型中的指令跟随与忠实性

Zhengxuan Wu, Yuhao Zhang, Peng Qi, Yumo Xu, Rujun Han, Yian Zhang, Jifan Chen, Bonan Min, Zhiheng Huang

DEM：用于混合数据分布训练的分布编辑模型

Dhananjay Ram, Aditya Rawal, Momchil Hardalov, Nikolaos Pappas, Sheng Zha

分布编辑模型通过对预训练模型在n个单独数据分布上进行微调，并通过基本的逐元素向量运算组合所得模型而产生。在这里，提取的分布向量乘以权重系数，并将加权和添加到基础模型中。

用于语言模型对齐的进化对比蒸馏

Julian Katz-Samuels, Zheng Li, Hyokun Yun, Priyanka Nigam, Yi Xu, Vaclav Petricek, Bing Yin, Trishul Chilimbi

跳向收敛：用于改进大型语言模型训练的学习率转换动态

Shreyas Subramanian, Vignesh Ganapathiraman, Corey Barrett

使用迭代训练从成功对话中的相关子目标中学习，用于面向任务的对话系统

Magdalena Kaiser, Patrick Ernst, Gyuri Szarvas

质量至关重要：评估使用工具的LLM的合成数据

Shadi Iskander, Nachshon Cohen, Zohar Karnin, Ori Shapira, Sofia Tolmach

查询自动补全

AmazonQAC：一个大规模、自然的查询自动补全数据集

Dante Everaert, Rohit Patki, Tianqi Zheng, Christopher Potts

DiAL：用于查询自动补全的多样性感知列表排序

Sonali Singh, Sachin Farfade, Prakash Mandayam Comar

问答

RAG-QA竞技场：评估长篇检索增强问答的领域鲁棒性

Rujun Han, Yuhao Zhang, Peng Qi, Yumo Xu, Jenyuan Wang, Lan Liu, William Yang Wang, Bonan Min, Vittorio Castelli

使用弱监督检索上下文信息以进行长篇问答

Philipp Christmann, Svitlana Vakulenko, Ionut Teodor Sorodoc, Bill Byrne, Adrià de Gispert

推荐系统

用于新闻推荐的高效逐点-成对学习排序

Nithish Kannen Senthilkumar, Yao Ma, Gerrit van den Burg, Jean Baptiste Faddoul

GLIMPSE框架采用多任务方法，其中预训练语言模型在相关性预测任务和成对偏好任务上均进行了微调。在推理过程中，相关性预测用于产生初始的逐点排名，随后通过一次或多次使用成对比较的从右向左传递来改进该排名。

PEARL：通过LLM智能体进行偏好提取与范例增强和检索

Vijit Malik, Akshay Jagatap, Vinayak Puranik, Anirban Majumder

用于时尚推荐的序列LLM框架

Han Liu, Xianfeng Tang, Tianlang Chen, Jiapeng Liu, Indu Indu, Henry Peng Zou, Peng Dai, Roberto Fernandez Galan, Mike Porter, Dongmei Jia, Ning Zhang, Lian Xiong

负责任的人工智能

用于大型语言模型的属性控制微调：关于去毒化的案例研究

Tao Meng, Ninareh Mehrabi, Palash Goyal, Anil Ramakrishna, Aram Galstyan, Richard Zemel, Kai-Wei Chang, Rahul Gupta, Charith Peris

FLIRT：上下文红队中的反馈循环

Ninareh Mehrabi, Palash Goyal, Christophe Dupuy, Qian Hu, Shalini Ghosh, Richard Zemel, Kai-Wei Chang, Aram Galstyan, Rahul Gupta

LLM成员推理的数量级加速

Rongting Zhang, Martin Bertran Lopez, Aaron Roth

合成数据生成

CorrSynth：一种从LLMs生成多样化数据集的关联采样方法

Suhas Kowshik, Abhishek Divekar, Vijit Malik

论文介绍了一种使用示例之间的反相关性而非少样本生成的采样方法。

数据顾问：用于大型语言模型安全对齐的动态数据管理

Fei Wang, Ninareh Mehrabi, Palash Goyal, Rahul Gupta, Kai-Wei Chang, Aram Galstyan

评估高风险领域中的差分隐私合成数据生成

Krithika Ramesh, Nupoor Gandhi, Pulkit Madaan, Lisa Bauer, Charith Peris, Anjalie Field

SYNTHESIZRR：通过检索增强生成多样化数据集

Abhishek Divekar, Greg Durrett

内容溯源阶段 从大型语料库中为每个上下文变量检索K个唯一文档。任务反转阶段 使用参数化的上下文精炼提示，该提示接收参数。通用教师LLM自回归地生成一个合成变量。每个上下文示例因此产生K个唯一的合成示例，我们将它们与目标标签一起包含在数据集中。

文本分类

用于预训练语言模型的距离感知校准*

Alberto Gasparin, Gianluca Detommaso

用于大规模高效文本分类的性能引导LLM知识蒸馏

Flavio Di Palo, Prateek Singhi, Bilal Fadlallah

提示调优的多任务分类变换器

Rajashekar Vasantha, Nhan Nguyen, Yue Zhang

文本摘要

通过显著信息提示引导基于提示的抽象摘要中的内容

Lei Xu, Asad Karim, Saket Dingliwal, Aparna Elangovan