投稿2877篇，EMNLP 2019公布4篇最佳论文

整理 | AI科技大本营（ID:rgznai100）

近日，自然语言处理领域的顶级会议之一EMNLP 2019公布了年度最佳论文。

EMNLP是由国际语言学会（ACL）下属的SIGDAT小组主办的自然语言处理领域的顶级国际会议，是自然语言算法的A类会议，聚焦于自然语言算法在各个领域解决方案的学术探讨。EMNLP每年举办一次，今年与IJCNLP联合办会。

据悉，EMNLP-IJCNLP 2019共收到有效投稿2877篇，录用683篇，其中长论文465篇， 短论文218篇，录用率为23.7%。其接收的论文涵盖对话交互系统、信息抽取、信息检索和文档分析、词法语义、语言学理论、认知建模和心理语言学、机器翻译与句子级语义学、情感分析和论点挖掘、文本挖掘和NLP应用、文本推理等自然语言处理领域众多研究方向。

EMNLP2019已接收的全部论文地址如下：

https://www.emnlp-ijcnlp2019.org/program/accepted/

最佳论文奖

《Specializing Word Embeddings (for Parsing) by Information Bottleneck》

论文链接：

http://cs.jhu.edu/~jason/papers/li+eisner.emnlp19.pdf

摘要：像ELMo和BERT这样的经过预训练的词嵌入包含丰富的句法和语义信息，从而让它们在各种任务上有最好的表现。研究者提出了一种非常快速的变分信息瓶颈（VIB）方法来非线性压缩这些嵌入，仅保留有助于判别解析器的信息。它们将嵌入的单词压缩为离散标签或连续向量。在离散版本中，它们的自动压缩标签形成了备用标签集。研究者通过实验证明，它们的标签可以捕获传统POS标签注释中的大多数信息，而且可以在相同标签粒度下得到更准确的解析标签序列。在连续向量版本中，他们的方法适度压缩词嵌入后可以得到更准确的解析器，简单的降维操作达不到这样的效果。

最佳论文 Runner Up

《Designing and Interpreting Probes with Control Tasks》

论文地址：

https://www.aclweb.org/anthology/D19-1275.pdf

摘要：训练的训监督模型可以根据表征（如ELMo）来预测属性（如词性，POS），这种被称为探针的模型在一系列语言任务上均具有很高准确性。但这是否意味着这些表征对语言结构进行了编码，或者仅仅是探针已学习了语言任务？在本文中，研究者提出了控制任务，将单词类型与随机输出相关联，以补充语言学任务。

通过这种操作，这些任务只能由探针本身学习。因此，一个好的探针应该是有选择性的（一个反映该表征的探针），以在语言学任务中实现较高的准确性和在控制任务有较低的准确性。探针的选择性就是将语言任务的准确性与探针记忆单词类型的能力联系起来。

研究者设计了用于英语词性标注和依赖性边缘预测的控制任务，并表明对ELMo表征的流行探针不具选择性。研究者还发现，通常用于控制探针复杂性的dropout方法对提高MLP的选择性无效，但是其他类型的正则化是有效的。最后，它们发现，尽管ELMo的第一层探针比第二层探针的词性标注精度稍高，但是第二层探针的选择性要更好，这带来的问题是哪一层更好地表征POS。

最佳资源奖

论文链接：

https://www.aclweb.org/anthology/D19-1632.pdf

数据集地址：

https://github.com/facebookresearch/flores

摘要：世界上绝大多数语言对都是资源匮乏的，因为它们几乎没有并行数据。不幸的是，机器翻译（MT）系统当前在这种情况下不能很好地工作。除了对监督学习的技术挑战之外，这些语言还有另一个挑战：由于缺乏可自由公开使用的基准，因此很难评估在低资源语言上训练的方法优劣。

在这项工作中，研究者们从Wikipedia页面中提取句子，并以两种资源非常匮乏的语言对尼泊尔-英语和僧伽罗-英语引入了新的评估数据集，这些是具有非常不同形态和语法的语言，对于这些语言而言，几乎没有可用的域外并行数据，不过也有相对大量的单语数据可以用。

研究者描述了收集和交叉检验翻译质量的过程，并使用几种学习方式来设置报告基准性能：完全监督、弱监督、半监督和无监督。他们的实验表明，当前最先进的方法在此基准上的表现相当差，这对研究低资源MT的研究社区形成了挑战。

最佳Demo奖

《AllenNLP Interpret: A Framework for Explaining Predictions of NLP Models》

论文链接：

https://arxiv.org/abs/1909.09251

摘要：基于神经网络的NLP模型越来越准确，但却不完美且无法解释，最终导致用户对其行为感到困惑。模型解释方法通过对特定模型预测的解释来改善这种不可解释性。不幸的是，现有的模型解释方法很难应用于新的模型和任务，这对从业人员的使用造成了障碍，并给研究可解释性的人员带来负担。

本文研究人员介绍的AllenNLP Interpret，是一个用于解释NLP模型的灵活框架，该工具包为所有AllenNLP模型和任务提供了解释原型（例如输入梯度），一套内置的解释方法以及前端可视化组件库。

他们通过针对各种模型和任务（例如使用BERT的masked language modeling和使用BiDAF的阅读理解）的五种解释方法（如显着性热图和对抗性攻击）实现可视化演示，表明了工具包的灵活性和实用性。