赛尔推荐 第16期

本栏目每周将推荐若干篇由师生精心挑选的前沿论文，分周三、周五两次推送。

本次推荐了四篇关于机器翻译、自然语言生成、复述生成、语义分析的论文。

1

推荐组：CR

推荐人：汪意发（研究方向：智能金融、对话生成）

论文题目：Unsupervised Machine Translation Using Monolingual Corpora Only

作者：Guillaume Lample, Alexis Conneau, Ludovic Denoyer, Marc'Aurelio Ranzato

出处：ICLR 2018

论文主要相关：机器翻译，无监督学习

简评：

本文提出了基于无监督方法的机器翻译技术，不需要平行的语料库即可实现两种语言的相互翻译。首先将源语言和目标语言的词向量空间进行对齐，具体方法为利用对抗网络训练生成器和判别器。前者用于将源语言词向量变换到目标语言词向量空间，后者用于分辨词向量的来源，最终就可以到一个跨语言的对齐词向量空间。模型方面，源语言和目标语言各自拥有一个Encoder和Decoder，但是共享隐藏参数，输入输出层则不共享。之后通过去噪和回译来构建翻译系统：①去噪（Denoising）是指在输入句子中引入随机噪声，通过随机互换相邻词语来改变输入句子的词序，目的是为了阻止系统过分依赖输入序列的词序。该文中利用Encoder和Decoder作为一个去噪自编码器使用，首先在各自的语料完成训练；②回译（Back-translation），这是机器翻译中数据扩充的技巧，一般而言是使用模型对单语言语料翻译后作为伪平行语料加入到训练数据中。这种无监督的机器翻译模型在WMT'14 EN-FR，WMT'16 EN-DE任务上得到验证。虽然和有监督方法存在一定的差距，但本文思路清晰，模型较为简洁，为以后的无监督技术研究提供了很好的思路。

论文链接：

https://arxiv.org/pdf/1711.00043v1.pdf

2

推荐组：LA

推荐人：侯宇泰（研究方向：人机对话、自然语言处理）

论文题目：A Knowledge-Grounded Neural Conversation Model

作者：Kelvin Guu, Tatsunori B. Hashimoto, Yonatan Oren, Percy Liang

出处：TACL 2018

论文主要相关：自然语言生成

简评：

人在写句子时往往趋向于先写出一个原型然后再修改。这篇文章以此为直觉，提出了一个新的句子生成模型，首先从训练语料库中抽取一个原型语句，然后将其编辑成一个新句子。该模型提出了一个有趣的编辑向量，用于捕捉可解释的语义和编辑风格。作者使用Seq2Seq模型进行文本生成，并将编辑向量添加到Decoder的输入端。与传统生成模型相比，文中的方法极大地提高了语言建模的困惑度和测试集语句的似然值，并在人工评估下得到了更高质量的输出。另外值得一提的是，通过引入编辑向量，作者修改的模型呈现了语义的一致性和语义的平滑性特征。

论文链接：

https://arxiv.org/abs/1709.08878

3

推荐组：QA

推荐人：颜欣（研究方向：复述抽取）

论文题目：Paraphrase to Explicate: Revealing Implicit Noun-Compound Relations

作者：Vered Shwartz, Ido Dagan

出处：ACL 2018

论文主要相关：复述生成

简评：

本文的主要内容是去揭示复合名词中各个成分之间的隐含语义关系。该成果已经被应用在文学领域上，用于预定义关系的分类任务，或者通过生成文本的复述来揭示语义关系。现有的复述方法存在缺少泛化能力的弊端，很难解释低频或者新出现的复合名词。文章中提出了一个新的半监督神经网络模型，不同于之前的模型，该模型通过训练来预测给定复合名词的复述，或者给定复述和复合名词中的某一个成分来预测缺失成分，具有良好的泛化能力。该模型能够有效地在连续空间中表示复合名词，并且在实际的复合名词复述任务中得到显著效果提升。

论文链接：

https://arxiv.org/pdf/1805.02442.pdf

4

推荐组：RC

推荐人：孙一博（研究方向：文本挖掘）

论文题目：Search-based Neural Structured Learning for Sequential Question Answering

作者：Mohit Iyyer, Wen-tau Yih, Ming-Wei Chang

出处：ACL 2017

论文主要相关：语义分析

简评：

近期语义分析（Semantic Parsing）领域所关注的重点是如何将长难句转化为逻辑形式（Logic Form）。但是这些既长又复杂的句子在人与人的真实对话中出现的几率很小。为了探索对话中的问答系统，本文提出了一个相对真实Sequential Question Answering（SQA）任务，即回答一系列互相关联的简单问题。为了构建SQA的数据集，标注者将WikiTableQuestions数据集中的长难句分解成多个简单句子，并分别标注这些句子在表中的答案。方法上，本文将SQA中的Semantic Parsing问题视为一个动作-状态搜索问题。每个状态表示完整或部分解析（parse），而每个动作对应于扩展解析的操作，目标是找到具有最高分数的最终状态。在文本中，一个状态的得分被定义为从初始状态到目标状态的动作得分，这些动作是由不同的神经网络模块根据动作类型预测的。本文利用基于边际（margin-based）的目标函数进行弱监督的训练。本文提出的模型在实验结果上超出了两个目前在Semantic Parsing领域表现比较好的模型。但是最终的序列准确率（一个对话中的问题全部答对）仍然不高（12.8%），需要进一步优化提升。

论文链接：

https://www.microsoft.com/en-us/research/wp-content/uploads/2017/05/acl17-dynsp.pdf

往期链接：