首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    前沿 | DeepMind 最新研究——神经算术逻辑单元,有必要看一下!

    众所周知,神经网络可以学习如何表示和处理数字式信息,但是如果在训练当中遇到超出可接受的数值范围,它归纳信息的能力很难保持在一个较好的水平。为了推广更加系统化的数值外推,我们提出了一种新的架构,它将数字式信息表示为线性激活函数,使用原始算术运算符进行运算,并由学习门控制。我们将此模块称为神经算术逻辑单元(NALU) ,类似于传统处理器中的算术逻辑单元。实验表明,增强的NALU 神经网络可以学习时间追踪,使用算术对数字式图像进行处理,将数字式信息转为实值标量,执行计算机代码以及获取图像中的目标个数。与传统的架构相比,我们在训练过程中不管在数值范围内还是外都可以更好的泛化,并且外推经常能超出训练数值范围的几个数量级之外。

    01

    中科院自动化所提出M2MKD | 基于模块粒度的蒸馏,m2mKD让模型在ImageNet上再涨3.5%

    尽管在计算机视觉和自然语言处理等各个领域,大型单体模型取得了显著的成功,但人们对其有限的泛化能力和不断增加的计算成本表示担忧。与此同时,模块化模型越来越受到关注,它们有望减轻单体模型的缺点。与具有固定计算图和参数的单体模型相比,模块化神经架构能够根据输入调整其参数,具有静态单体模型所缺乏的优越特性。与集体优化参数的单体模型不同,模块化模型由独立的模块组成,每个模块可以局部更新,而不会影响网络的其他部分。这些模块经过训练以专精于特定任务。在推理过程中,即使对于分布外的样本,也只有相关的模块会被激活,从而提高泛化性能。例如,DEMix Layers通过从训练数据中学习到的医学和新闻模块联合表示与COVID-19相关的数据。此外,模块化模型中的条件计算提高了计算效率。一个典型的模块化架构,即专家混合体(Mixture-of-Experts, MoE),在保持与原始模型相似的计算需求的同时,大幅提升了模型的能力。

    01

    脑机接口减肥大法来了!自动减少暴饮暴食频率,无明显副作用|Nature子刊

    Alex 发自 凹非寺 量子位 | 公众号 QbitAI 有正在(或者打算)控制体重的盆友吗? 但当一堆美味佳肴摆在你面前时,是不是常常又馋涎欲滴?(不信?看图) 不过现在有个帮你控制食欲的新招儿来了:插入脑机接口。 这算是不靠意志力也能减肥了吧! 而且这个方法还是经过实验证明的—— 实验结果显示,给体重超标者植入大脑刺激装置后,可以控制他们暴饮暴食的欲望,从而帮其减重。 经过6个月的食欲控制,这些参与实验的体重超标者平均掉秤10斤。 值得注意的是,在此期间并没有加上其他的减重手段;而且这个脑机接口减肥大

    01
    领券