反向传播退出历史舞台？新研究提出基于信息瓶颈估计的训练方法

大数据文摘专栏作品

作者：Christopher Dossman

编译：Jiaxu、fuma、云舟

呜啦啦啦啦啦啦啦大家好，拖更的AIScholar Weekly栏目又和大家见面啦！

AI ScholarWeekly是AI领域的学术专栏，致力于为你带来最新潮、最全面、最深度的AI学术概览，一网打尽每周AI学术的前沿资讯。

每周更新，做AI科研，每周从这一篇开始就够啦！

本周关键词：AutoML

本周最佳研究

AutoML的中场战事

在本周发表的一篇论文中，研究者们全面盘点了最新的自动化机器学习技术。

首先，他们对现有的自动化机器学习技术进行了系统性的评估。除此之外，由于神经架构搜索（NAS）这一话题在近几年的兴起，他们也总结了现有的NAS算法。

他们着眼于基础数据集与相应的结果等因素，研究了包括随机搜索（RS）、强化学习（RL）、进化算法（EA）以及梯度下降法（GD）在内的算法。最终，他们提出了出许多有趣的开放性问题并指出了一些很有前景与价值的人工智能研究方向。

这篇论文为自动化人工智能方向的初学者提供了很全面的相关知识。与此同时，它也为许多热衷于AI的人们指明了在平衡计算成本与产出质量的原则下，构建大体量、高效率的机器学习模型的方式。

常言道：你永远无法解决一个你根本不了解的问题。这篇论文帮助AI界的人们很好地了解到目前自动化机器学习如今到底发展到什么地步了，相信在它的帮助下，更多的前沿技术会应运而生，解决更多、更深奥的自动化机器学习问题。

增强的自动化机器学习将有助于实现机器学习“平民化”——即不需要大量的编程知识即可实现机器学习，它也能因此撬动数据科学这一学科、带来解决问题的技能，最重要的是，它能够帮助我们节省计算时间和资源。

原文：

https://arxiv.org/abs/1908.00709v1

还在用反向传播做深度学习？你Out了

惠灵顿-维多利亚大学的研究人员近日提出了一种不需要反向传播的深度网络训练方案。这一方案通过估计信息瓶颈来训练网络。由于计算随机变量之间互信息的挑战，他们采用基于非参数的、基于核的方法——Hilbert-Schmidt独立性标准（HSIC）——来表征不同层的统计（in）依赖性。

对于神经网络的每一层，他们同时进行以下两种操作：尽可能地增大本层与理想输出的HSIC、尽可能的地减小本层与输入的HSIC。相比于传统的反向传播算法，这种利用HSIC瓶颈的训练方式能够更快地达到训练效果。

这个HSIC瓶颈的训练方式是除传统反向传播法之外的另一个训练方案。在这一方案下，人们可以进行并行处理并显著减少运算。它不会受到梯度爆炸或梯度消失的影响。从生物学的角度来说，这比反向传播更合理，因为它不需要对称反馈。在没有反向传播的情况下连接单层训练实现了最先进的性能。

原文：

https://arxiv.org/abs/1908.01580v1

AI读唇术真的要来了？

这篇论文提出了“视听化”的变分自动编码器（VAE），可以用于单声道和与说话者无关的语音增强。本文的作者开发了一种“条件性”VAE，其中音频语音的生成取决于唇部区域的图像信息。

在测试中，这一“视听化”语音生成模型与非负矩阵分解的噪声模型相结合，而语音增强则依赖于蒙特卡罗期望最大化算法。

当研究者们将此模型应用到NTCD-TIMIT数据集上进行测试时，结果显示这一“视听化”可以有效结合音频和视觉信息，与纯音频的VAE模型相比，它提高了语音增强的性能，尤其是当语音信号严重受噪音干扰时。

在此之前，VAE已经在创建复杂数据的场景中展现出很好的前景，例如构建人脸，手写数字，CIFAR图像，门牌号，物理模型场景，分割以及从静态图像预测未来等等。

这篇论文中提出的VAE方法不仅显著改善了语音增强技术，还明显优于目前最先进的有监督深度学习技术。目前，研究人员还计划扩展这一框架，以便能够处理更真实的视觉信息。

原文：

https://arxiv.org/abs/1908.02590

SqueezeNAS实现超快语义分割

研究人员展示了目前第一个使用NAS进行密集语义分割且代理硬件较少的感知搜索。虽然NAS已经被有效地用于开发图像分类的低延迟网络，但使用NAS来优化DNN架构相比于其他视觉任务的工作依然相对少见。

研究人员提出了SqueezeNAS，一个用于替换NAS的架构传输，以开发针对特定任务和特定计算平台进行优化的DNN。通过这种方法，他们在Cityscapes语义分段数据集上提升了延迟优化网络的准确度。他们还进行了两组NAS实验：在一组实验中，他们搜索低MAC模型，并在另一个目标计算平台上搜索低延迟模型。

他们的延迟优化小型SqueezeNAS网络实现了超过68％的验证级别mIOU，应用于NVIDIA Xavier时，推理时间少于35毫秒。此外，他们的延迟优化大型SqueezeNAS网络实现了超过73％的mIOU级别，推理时间也少于100毫秒。

总体而言，这项工作证明了通过利用NAS优化特定任务的模型可以实现显著的性能提升。该研究还将SquuezeNAS与最新最先进的架构进行了全面的比较。

显示的结果实现了更快，更准确的模型优化，这些优化后的模型非常适用于计算机视觉的应用领域，例如汽车道路、车道分段和航空影像分析等各种情境。

鉴于使用深度神经网络的芯片和计算平台正在崭露头角，利用NAS优化低延迟的重要性将进一步增加。

原文：

https://arxiv.org/abs/1908.01748v1

MoGA：首个移动GPU-Aware神经架构搜索

神经架构搜索已成为AI领域的一个热门话题，并有可能为未来革命性架构的产生提供创新动力。

学者们已经讨论了移动神经架构设计中的几个关键问题。他们现在推出了第一款移动GPU-Aware（MoGA）解决方案。在GPU上运行网络因其更快的速度和更低的开销而更受青睐。他们的目标是设计一个移动网络，可以最大限度地利用有限资源来实现更好的性能。

他们的工作在类似的延迟限制下优于MobileNetV3。他们提出的方法MoGA-A在ImageNet上获得了75.9％的前1精度，MoGA-B为75.5％，MoGA-C则为75.3％。值得注意的是，MoGA-C在具有相似FLOP和相同数量参数的竞争移动GPU延迟方面优于MobileNetV3。

开发针对目标硬件的架构是非常必要的。当研究人员将移动GPU意识应用于最新的神经架构搜索方法时，我们就知道我们处于正确的轨道上。

这项工作向公众展示了未来AI移动应用程序可以在更少的计算机资源上完成。此项工作有助于推动研究和应用程序的开发，并为下一代移动视觉应用程序提供动力。

模型及代码：

https://github.com/xiaomi-automl/MoGA

原文：

https://arxiv.org/abs/1908.01314v1

其他爆款论文

Google发布了高效的Net-Edge TPU，可用于实时图像的分类：

https://ai.googleblog.com/2019/08/efficientnet-edgetpu-creating.html

一个包含数千种不同高分辨率彩色图像的数据集，且包含准确，密集，远程的深度测量数据：

https://arxiv.org/abs/1908.00463v1

完全开源的机器人，可用于研究，也可以充当人类助手：

https://arxiv.org/abs/1908.01826

用于大规模照片级图像合成的结构化3D数据集：

https://arxiv.org/abs/1908.00222v1

ABD-Net——敏感且多样化的人员再识别：

https://arxiv.org/abs/1908.01114v1

AI新闻

计算语言学协会（ACL）2019年获奖者：

http://www.acl2019.org/EN/winners-of-acl-2019-best-paper-awards.xhtml

NHS意识到人工智能对医疗的重大潜力，筹备部署国家人工智能实验室：

https://www.bbc.com/news/health-49270325?SThisFB

本周在纽约市推出首个自动驾驶班车服务：

https://www.technologyreview.com/f/614090/new-york-citys-first-self-driving-shuttle-service-launches-today/

专栏作者介绍

Christopher Dossman是Wonder Technologies的首席数据科学家，在北京生活5年。他是深度学习系统部署方面的专家，在开发新的AI产品方面拥有丰富的经验。除了卓越的工程经验，他还教授了1000名学生了解深度学习基础。

LinkedIn：

https：//www.linkedin.com/in/christopherdossman/

志愿者介绍

点「在看」的人都变好看了哦