京东AI科学家5篇论文被自然语言处理顶级会议NAACL录用，自然语言生成课题取得重要突破

2018 NAACL

自然语言及语义理解的三大顶级会议之一NAACL（全称Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies）日前在美国新奥尔良落下帷幕。据悉，京东AI的科学家在本届会议上发表了多篇论文，于多个前沿课题取得算法创新及突破，引发业界关注。

NAACL与ACL、EMNLP被并称为自然语言处理领域的三大顶级会议，对科研论文的质量评定有着十分严格的标准，会议上聚集了自然语言处理领域里最顶尖的研究者和优秀从业者，发表论文一经采用即会被AI产业界学术界广泛关注并广为引用，因此在科学研究领域的论文评选上竞争十分激烈。

本次NAACL会议上，京东AI的科学家有5篇论文被收录，彰显京东在AI研究领域，尤其是自然语言处理领域的技术研发实力。

简单来说，自然语言处理要解决的两大核心问题是：让计算机理解人类语言中表达的语义，和让计算机用人类能理解的语言来表达、沟通和创作内容。而在这两个核心问题上的每一步进展，都会给业界带来新的应用场景和机会。

在京东AI研究院联合多个研究机构的深入研究下，多个自然语言处理课题研究取得新成果，其中在“自然语言生成”这一课题上，京东AI科学家何晓冬博士与团队更是取得了重要突破。

自然语言生成是研究使计算机具有人一样的表达和写作功能。即能够根据一些关键信息及其在机器内部的表达形式，经过一个规划过程，来自动生成一段高质量的自然语言文本。

文本内容不仅要反映用户的意图，更重要的是还要在文章内大跨度上保持严谨的逻辑，文章的语言结构需要反映正确的时间顺序和注意语境语态的逐步变化。

在研究中，他们提出了一个语义评价激励函数来引导AI模型正确生成前后连贯的富有逻辑性的文本，并通过增强学习方法来训练这个模型，他们还特别设计一个深度神经网络来为句子间的关联性建模，从而使得生成的文本有正确的结构。

这个新的模型在一系列文本生成任务测试中获得了最优的结果，为业界在这个重要技术方向上带来了新的突破。

具体而言，机器生成语言的一个主要难点在于缺乏一个明了的方法来鉴定语言的质量。区别于语音识别或图像识别可以清楚的计算识别的正确率，衡量语言的质量本身还是一个有待解决的基础研究问题。人类可以比较直观的判断文章的好坏，但很难给出一个可具体计算的指标。

过去的方法主要集中在测量词语的局部匹配程度上，这对衡量生成一个短句的质量尚可用，但对含有多个语句的文章就无法反映其生成质量了。

为此，研究团队提出用深度学习技术来模拟人对文章质量的判断，即在没有人工干预的情况下，通过训练一个深度神经网络来给文章的质量打分。这个神经网络特别关注跨句子间的语序结构，从而能测量整篇文章的结构是否合适。

在训练文章生成模型时，这个神经网络就像一位教师，每次对模型生成的文章打分，并把测量结果返还给这个生成模型，从而让生成模型进行修正，并提高文章生成的质量。

这个过程里，他们提出了基于绝对语序和相对语序的多种教师神经网络，进一步精细测量文章生成的质量以监督生成模型的训练，从而达到最优的效果。

该技术在多个零售场景有广泛的应用——京东AI研究院不久前推出了AI写诗机器人，它可以根据商品特性以及用户的情绪和场景为用户配上贴切的现代诗，为业界首创。

未来该技术还能够在京东丰富的无界零售场景中得到更广泛的应用，例如给达人潮文、商详与广告、礼品购等场景赋能，发展前景可期。

此外，会议上京东AI的科学家们还有许多其他亮眼成绩。

京东AI科学家周伯文博士和易津锋博士在与IBM研究院的合作论文中提出了首个多样性少样本学习（diverse few-shot learning）算法。

在本文中，作者首先提出了具有理论保证的鲁棒矩阵补全模型将多样性的任务进行聚类，之后再在每个任务类中分别训练一个深度嵌入模型作为新的度量，最后将所学到的多个度量高效整合从而能够在数据量非常稀少的情况下有效的训练文本分类模型，并在多种语义分类任务上取得出色的效果。

何晓冬博士在与华盛顿大学、约翰霍普金斯大学、佛罗里达大学及微软研究院的合作论文中提出了一系列语义理解及语言生成模型，并在文章理解与摘要生成、图像描述生成及语义理解中的元学习等问题上取得重要进展。

另外，在下个月即将召开的人工智能国际顶级会议IJCAI上，周伯文博士与加州大学圣芭芭拉分校和IBM研究院合作发表oral论文，研究如何结合模仿学习（Imitation Learning）和强化学习（Reinforcement Learning）来学习基于自然语言定义的任务。

由于人类自然语言的多样性和歧义性，纯强化学习的方法很难直接学到最优策略，往往需要借助模仿学习的方式来获得额外的训练信号。另一方面，过多的模仿学习信号会导致系统过拟合到人类的示范，从而无法充分探索策略空间，降低学习效率。

为此作者们提出了一个动态的调度算法来决定何时从模仿学习或者强化学习信号中学习。实验结果表明新算法有效的降低了55%的错误率，并取得了标准数据集上目前最优的结果。

以上这些研究成果能广泛应用于京东的情感分析、对话系统、京东写诗、商详与广告、礼品购等重要场景，渗入京东无界零售场景的方方面面，不仅会推进人工智能科研成果的落地实践，更能大大满足用户的消费需求、提升用户消费体验。

从去年多位AI领域权威科学家纷纷加盟京东开始，即可预见今天京东人工智能科研实力的增强，在前不久的JD CUBE京东618启动大会上，京东AI平台与研究部负责人周伯文说到：

京东希望科技不是冷冰冰的机器，而是能够让用户感受并享受有温度的科技创造的美好生活。

语言作为人们交流的桥梁，对于计算机来说也同样是重要的交互方式，京东已实现通过解析语义、理解意图、情绪识别来让AI理解人类，而通过内容生成、文本摘要、情感对话等技术要让AI被人类理解。

京东将通过建立普惠性AI开放平台NeuHub，让各行各业的人通过AI的方式来思考他们的工作生活，用有温度的技术帮助每个企业、每个消费者走向无限可能的未来。

未来

京东AI研究院将继续联合学界、研究机构一起深耕人工智能科学技术，共同推进前沿课题的实践与应用，相信今后还会不断听到更多关于京东在人工智能领域取得的新进展。

---------------------END---------------------

下面的内容同样精彩

点击图片即可阅读

京东技术 ∣关注技术的公众号