当AI学会共情，港科大新研究赋予Chatbot同理心 | 一周AI最火论文

大数据文摘专栏作品

作者：Christopher Dossman

编译：Jiaxu、fuma、云舟

呜啦啦啦啦啦啦啦大家好，拖更的AI Scholar Weekly栏目又和大家见面啦！

AI ScholarWeekly是AI领域的学术专栏，致力于为你带来最新潮、最全面、最深度的AI学术概览，一网打尽每周AI学术的前沿资讯。

每周更新，做AI科研，每周从这一篇开始就够啦！

本周关键词：虚假新闻识别、3D打印人体器官、Chatbot

本周最佳研究

BERT预训练更改，最终任务性能提高

RoBERTa（稳健优化的BERT预训练方法）是Paul G. Allen计算机科学与工程学院的研究人员最近发表的一篇论文。他们展示了BERT预训练的复制研究，该研究仔细研究了许多关键超参数和训练数据大小的影响。

在发现BERT的不足之后，他们提出了一种改进BERT的方法。具体来说，RoBERTa采用动态屏蔽FULL-SENTENCES进行训练，没有NSP损失大型小批量和更大的字节级BPE。

他们做出了以下四点修改:

• 训练模型的时间更长，批量更大，数据更多
• 删除了预测下一个句子的目标
• 训练更长的序列
• 动态更改应用于训练数据的遮罩模式

RoBERTa可以匹配或超过所有后BERT方法的性能，并在GLUE，RACE和SQuAD上实现了最优越的结果。

这项工作重新展现了BERT的遮罩语言模型训练目标与其他最近提出的训练目标（如扰动的自回归语言建模）相竞争的事实。

此外，它还介绍了重要的BERT设计选择和训练策略，并介绍了可以带来更好下游任务性能的替代方案。这一训练改进表明，在正确的设计选择下，遮罩语言模型预训练与所有其他先前发布的方法相比具有竞争力。

RoBERTa的预训练代码：

https://github.com/pytorch/fairseq

原文：

https://arxiv.org/abs/1907.11692v1

舆情监控福音，基于Twitter的重要社交媒体事件实时反应系统

社交网络渐渐成为了获取信息的首选媒介。在Twitter等社交平台上生成的信息可以生成全面、丰富的数据流，提供对正在进行的事件、事项和围绕它们的讨论的即时见解。

一组研究人员提出了一种事件检测方法，能够随着时间的推移处理事件演变，并被部署在Twitter规模的数据上实时工作。

他们将事件进行数学建模，成为一个实时趋势的聚类。他们用于发现事件的系统采用模块化设计，具有新颖的规模和速度。他们的框架在每分钟有数百万个实体的庞大信息流上应用聚类，并生成一组动态更新的事件。他们在论文中描述了该方法的设计方式以及他们如何评估其在线和离线的性能。

论文中提出的系统对于Twitter上大事件的发现很有用，他们会跟踪网站上最重要的趋势，并提供可用的建议推文集。事件实时检测系统还可用于在时间序列上的热度排名和搜索查询扩展。研究人员预计，随后的使用案例将推动进一步的研究和系统质量的改进。

原文：

https://arxiv.org/abs/1907.11229v1

SlimYOLOv3：更斋，更快，更好的实时无人机应用

为了应对嵌入式设备和无人机应用有限的计算能力和内存带来的挑战，研究人员提出通过对卷积层进行信道修剪来训练高效的深度目标检测器。

他们展示了SlimYOLOv3，这是一种有效的无人机实时物体检测解决方案，与原始YOLOv3相比，具有更少的可训练参数和更低的计算开销。 YOLOv3最初训练有信道级稀疏正则化；接下来，通过根据YOLOv3中的缩放因子将特征通道修剪到一定比例来获得SlimYOLOv3；SlimYOLOv3最终还要经过微调，以补偿检测精度的暂时降低。

他们的目标是实现更紧凑和有效的卷积层通道配置，以帮助减少可训练参数和FLOP。不同修剪比例的实验结果一致地验证了所提出的具有较窄结构的SlimYOLOv3比YOLOv3更有效，更快速和更好，因此更适合于无人机上的实时物体检测。

SlimYOLOv3能够实现与YOLOv3相当的检测精度，但它运行得更快，FLOP明显减少。

由于功耗始终与FLOP相关，而无人机需要低功耗，因此对于实时UVA应用，SlimYOLOv3比YOLOv3更快且更好。

代码和细节：

https://github.com/PengyiZhang/SlimYOLOv3

原文：

https://arxiv.org/abs/1907.11093v1

Chatbot终于学会同理心了，女朋友是什么我不需要

中国香港科技大学最近发布了一款端到端的，具有同理心的Chatbot——CAiRE。他们的系统采用TransferTransfo学习方法，通过多任务目标（包括响应语言建模，响应预测和对话情绪检测）对大规模预训练语言模型进行微调。

该模型使用完整的转换网络架构，在17亿REDDIT对话和情感对话数据上进行了精细的预调模型训练。

在最近提出的移情对话数据集的评估中，CAiRE在对话情绪检测和移情反应生成方面实现了当下的最优表现。

你需要一个善解人意的机器人伴侣吗？诸如CAiRE类的机器人以快速探测人类的情绪为设计目的。这类程序能够进行带情绪的回应，且拥有预测长答案的能力，可用于改善在线调查，游戏，娱乐，招聘等应用程序，以提高参与度。

原文：

https://arxiv.org/abs/1907.12108v1

FCN重大改进：听得更长更清晰

对现有FCN的改进将侧重于确保模型捕获更长的上下文信息及增强多维度处理能力。通过使用更大的过滤器可以轻松实现这些目的，同时还可使网络更深，提升多维度处理能力。但结合这两种策略会使得参数显著增加，并可能导致系统泛化的限制和噪声处理能力不良等。

本文试图通过探索扩张操作并将其应用于完全卷积网络（FCN）来解决这一挑战。

尽管扩张卷积最初是为图像分割而开发的，但其有效性已在许多工作中得到了证实。学者们建议通过允许卷积网络捕获更长的上下文，更长时间的监听 ，以及提取更多样化、多尺度的音频功能来改善强化语音的完全卷积网络。然后通过金字塔池策略组合这些功能。

使用Noisy VCTK和AzBio语句数据集，研究人员证明了所提出的扩张模型在基线FCN上有显著改善，并且优于最先进的语音强化解决方案。

对于现在需要语音质量的许多现代应用，如助听器，电话，IP语音，自动语音识别器等，语音强化至关重要。

有效的语音强化需要较高的清晰度和用户满意度，还要与语音处理中的其他方法兼容。这项工作旨在推进并帮助构建语音增强算法中的最新技术。

原文：

https://arxiv.org/abs/1907.11956

其他爆款论文

用于面部操作的MaskGAN框架表现出当前最优效果：

https://arxiv.org/abs/1907.11922v1

简单，有效且易于扩展的小镜头分割数据集：

https://arxiv.org/abs/1907.12347v1

Google Research 足球：一种新颖的强化学习环境

https://arxiv.org/abs/1907.11180v1

在RNN中通过反向传播梯度可视化学习：

https://arxiv.org/abs/1907.12545v1

端到端的面向目标的视觉对话系统，将强化学习与规范化信息收益相结合：

https://arxiv.org/abs/1907.12021

AI新闻

哈佛大学的研究人员开发了一种检测AI假新闻的工具，任何人都可以免费试用：

https://www.cnet.com/news/ai-now-can-spot-fake-news-generated-by-ai/

3D打印技术挽救生命：

https://timesofindia.indiatimes.com/home/education/news/trending-now-personalised-medicine-3-d-printed-organs-and-artificial-intelligence-in-healthcare/articleshow/70477721.cms

怎样更新自己的版本号以防被AI替代：

https://www.cmswire.com/digital-workplace/how-upskilling-can-help-save-job-losses-from-ai/

Christopher Dossman是Wonder Technologies的首席数据科学家，在北京生活5年。他是深度学习系统部署方面的专家，在开发新的AI产品方面拥有丰富的经验。除了卓越的工程经验，他还教授了1000名学生了解深度学习基础。

LinkedIn：

https：//www.linkedin.com/in/christopherdossman/