【NLP论文速递】文本生成、中文诗歌生成、邮件主题生成、感知对话生成、文摘生成、会话响应生成

引言

关于自然语言生成（NLG）的论文之前也和大家分享了很多，那么本次文章对前面的论文分析做一下整合，除此之外又新增了几篇方便大家对比阅读。如果想看全部的你也可以访问作者的GitHub，这个上面比较全喲。

GitHub：https://github.com/yinizhilian/NLP_Share

论文及源码下载链接在文章后面。

正文开始

1

文本生成原理（Char-RNN）

相信很多人应该看过这篇文章，它是Andrej Karpathy（不知道他是谁的同学，可以翻下我上一篇文章）的发的一篇blog，但是我还是把它拿过来了，因为太经典了，对于一个新手来说能快速理解文本生成的原理。

该篇文章主要讲述了最基本的Char-RNN文本生成原理，具体如下图所示。以要让模型学习写出“hello”为例，Char-RNN的输入输出层都是以字符为单位。输入“h”，应该输出“e”；输入“e”，则应该输出后续的“l”。输入层我们可以用只有一个元素为1的向量来编码不同的字符，例如，h被编码为“1000”、“e”被编码为“0100”，而“l”被编码为“0010”。使用RNN的学习目标是，可以让生成的下一个字符尽量与训练样本里的目标输出一致。在图一的例子中，根据前两个字符产生的状态和第三个输入“l”预测出的下一个字符的向量为<0.1, 0.5, 1.9, -1.1>，最大的一维是第三维，对应的字符则为“0010”，正好是“l”。这就是一个正确的预测。但从第一个“h”得到的输出向量是第四维最大，对应的并不是“e”，这样就产生代价。学习的过程就是不断降低这个代价。学习到的模型，对任何输入字符可以很好地不断预测下一个字符，如此一来就能生成句子或段落。

2

中文诗歌生成

本文为了将修辞学应用到中文汉语诗歌的生成上，本文提出了一种用于现代汉语诗歌生成的修辞控制编码器。我们的模型依赖于一个连续的潜在变量修辞控制器在编码器中捕获各种修辞模式，然后结合基于修辞的混合物，生成现代汉语诗歌。在隐喻、人格化、自动化的评估方面，我们的模型相比于最先进的基线具有很大的优势，并且人工评估显示，我们的模型生成的诗歌在流畅性、连贯性、意义和修辞美学方面都优于基本方法。

中文分析链接：「自然语言处理(NLP)机器翻译」ACL&&中科院&&微信AI团队

3

电子邮件主题生成

本文提出并研究了电子邮件主题行生成任务:从电子邮件正文中自动生成电子邮件主题行。我们为这个任务创建了第一个数据集，并发现电子邮件主题行生成非常抽象，这与新闻标题生成或新闻单个文档摘要不同。然后，我们开发了一种新的深度学习方法，并将其与几种基线以及最新的最先进的文本摘要系统进行了比较。我们还研究了几种基于人类判断相关性的自动评价指标的有效性，并提出了一种新的自动评价指标。

中文分析链接：【真心推荐】「自然语言处理(NLP)」ACL && 阿里团队（舆论、立场检测）&& 耶鲁（电子邮件主题生成）

4

感知对话生成

本文的主要贡献有：1、提出了一种新的知识感知对话生成模型TransDG，该模型将知识库中的问题理解能力和事实提取能力转化为后理解能力和知识库中的事实知识选择能力。2、提出了一种多步译码策略，该策略能够捕捉到信息与响应之间的信息连接。第一步解码器产生的post和draft响应都与KB中的相关事实相匹配，使得第二步解码器产生的最终响应相对于post更合适、更合理。3、提出了一种响应引导注意机制，利用k-最佳响应候选项引导模型关注相关特征。4、在真实对话数据集上的大量实验表明，我们的模型在定量和定性两方面都优于比较方法。

中文分析链接：(含源码)「自然语言处理(NLP)」华南理工 && 腾讯AI Lab（基于知识库的感知对话生成）

5

文摘生成

本文提出了一种新的基于预训练的编码-解码器框架，该框架可以根据输入序列以两阶段的方式生成输出序列。对于我们模型的编码器，我们使用BERT将输入序列编码到上下文表示中。对于解码器，在我们的模型中有两个阶段，在第一个阶段，我们使用一个基于变压器的解码器来产生一个草稿输出序列。在第二阶段，我们对草稿序列中的每个单词进行掩码并将其提供给BERT，然后结合输入序列和BERT生成的草稿表示，我们使用一个基于转换的解码器来预测每个掩码位置的细化单词。据我们所知，我们的方法是第一个将BERT应用于文本生成任务的方法。作为这一方向的第一步，我们评估了我们提出的方法对文本摘要任务。

中文分析链接：https://www.cnblogs.com/lauspectrum/p/10961112.html

6

会话响应生成

神经模型已成为对话响应生成的重要方法之一。然而，它们始终倾向于在语料库中生成最常见和通用的响应。针对这一问题，我们设计了一种基于boost的迭代训练过程和集成方法。该方法以不同的训练和解码范式为基础，包括基于互信息的解码和基于奖励增强的最大似然学习。实证结果表明，本文方法可以显著提高所有基本模型所产生的响应的多样性和相关性，并得到客观测量和人类评价的支持。