前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >类脑计算的前沿论文,看我们推荐的这7篇

类脑计算的前沿论文,看我们推荐的这7篇

作者头像
马上科普尚尚
发布2020-05-11 16:49:08
5300
发布2020-05-11 16:49:08
举报
文章被收录于专栏:人工智能前沿讲习

关注文章公众号 回复"类脑计算"获取本主题精选论文

近年来随着传统人工智能算法逐步陷入瓶颈,人们期待与从脑科学中得到相应的启发来改进模型,进而从狭义人工智能走向通用人工智能。类脑智能作为人工智能重要的应用方向之一,也在逐步探索高效、快速并且具有生物可解释性的算法模型。

由SFFAI17分享嘉宾杜长德同学为大家精选出来的关于生物视觉建模的论文以及李春放同学为大家精选出来的类生物的神经网络模型和小样本计算方法,将带你了解类脑研究的基本方向。你可以先仔细阅读,并带着问题来现场交流哦。

1

?????

推荐理由:2017年日本Kamitani团队提出的基于深度学习的神经解码研究,发表在nature communication上。该文章系统研究了各种视觉特征(SIFT,GIST,CNN1-8等)与大脑视觉皮层各个脑区(V1,V2, V4,…)之间的对应关系,分析了计算机视觉模型和人脑视觉之间的联系和差异。该研究项目采用ImageNet图像数据库中的部分类别作为视觉刺激,并且已经将大脑信号数据和代码开源,为该领域做出了很大贡献。由于论证了深度神经网络和大脑视觉通路的联系,为任意物体的视觉神经编解码研究建立了很好的基础,值得仔细阅读。

推荐理由来自:杜长德

2

?????

推荐理由:这篇文章是自动化所张铁林老师和曾毅老师团队对SNN更新规则的探索成果之一,主要是要解决SNN用于图像分类时不能进行监督学习的问题。

本文与曾老师团队其他工作一样,都是基于系统神经科学对生物神经网络的认识,提出的SNN训练方法相比于其他同类工作更加贴近生物神经系统在学习时的更新过程。

文中提出的SNN更新方法同时考虑了神经元的四个特性,包括神经元膜电位总是趋于稳态,神经元存在兴奋型和抑制型两类,神经元突触拥有短时可塑性(STP),神经元之间存在逆向通路用于信号的反响传播。利用这四种特性,就可以使用简单的SNN网络结构获得较好的图像分类结果。

这篇文章最大的亮点在于它是为数不多的既能保证SNN仿生特性不减少,又能大幅提高图像分类准确率,还能对实验结果进行分析的文章。而且本文前几部分对SNN做了较为详尽的介绍,只要接触过ANN就能大致看懂。另外,文中的方法主要源于曾毅和张铁林老师的另一篇文章,Improving Multi-layer Spiking Neural Networks by Incorporating Brain-inspired Rules,可以两篇一起阅读,更能加深对这些SNN更新法则的理解。

推荐理由来自:李春放

3

?????

推荐理由:这篇文章是多伦多大学向量实验室的Snell提出了一种简单有效的方法,原型网络,用于解决小样本学习中图像分类准确率太低的问题。

本文首次将欧式距离引入小样本学习,作为向量空间的度量,并且首次将类别特征向量(类别原型)与样本特征向量映射到同一向量空间,大幅度提升了小样本学习用于复杂图像分类的准确率。

从目前的研究来看,原型网络开创了小样本学习中的一种重要范式,之后的众多方法多是基于原型网络进行设计的。

推荐理由来自:李春放

4

????

推荐理由:2017年普渡大学Zhongming Liu团队提出的基于深度学习的神经编解码研究,发表在Cerebral Cortex上。该文章从动态视频刺激入手研究人脑对动态场景的编码和解码能力。文章采用AlexNet为基础深度学习网络,将视频刺激在AlexNet中的各层表征与大脑视觉皮层各个脑区建立关系。得出初级视觉皮层与神经网络的浅层特征相关性较高,而高级视觉皮层与神经网络深层次特征相关性较高的结论。文章实现了根据fMRI脑活动按数据重建对应的动态视频,虽然清晰度有待提高但该研究项目已经将数据和代码开源,值得一读。

推荐理由来自:杜长德

5

????

推荐理由:2017年Naselaris等人提出的基于深度特征加权的神经编码模型,发表在NeuroImage上。该文章基于群体感受野和多层特征加权思想构建了一个可解释的神经编码模型,相较于传统的编码模型,该方法效果更好,可解释性也更好,为理解视觉神经编码方式作出了重要贡献。

推荐理由来自:杜长德

6

????

推荐理由:这篇文章是新加坡国立大学淡马锡实验室的两位研究员发表在NeurIPS 2018 上的一篇文章,利用概率的方法解决了脉冲信号不可求导的问题,从而大幅提高了SNN用于图像分类的准确率,还创新性地将SNN用于动态图像识别、人体动作识别和音频识别,获得了非常好的实验效果。

本文主要关注了神经元的两个宏观表现,即突触权重和轴突延迟,对于SNN的影响,以及将这两个表现用于网络更新的方法。作者还引入了强化学习中信用分配策略的概念,根据膜电位与脉冲产生的阈值电位,将脉冲的出现和消失都变成概率,使得离散的脉冲信号在计算梯度时变成了连续的脉冲产生概率,从而在保证信号形式不变的情况下解决了脉冲信号不可求导的问题。

文中将SNN脉冲产生和传输的过程分解成与ANN信号传输过程类似的几部分,用“管道函数”的形式表示出来。虽然“管道”中的数据流都是离散的,但是“管道函数”中只有激活函数的形式是离散的,所以在求梯度时只需要对激活函数部分进行特殊处理即可。

这篇文章中提出的SNN训练方法是真正地利用网络中传输的离散信号对网络进行优化,而之前很多提出的能够端到端学习的方法则多是利用膜电位等间接信号。更重要的是,本文提出的训练方法,能适用多种任务,还都能获得最好的效果,这为以后实现单个SNN同时处理时域和空域信号打下基础。

推荐理由来自:李春放

7

????

推荐理由:这篇文章是要进一步提升小样本学习在图像分类问题中的准确度。

本文关注了分类任务中,同一任务的多个类别之间有较强的相关性,从而根据任务中多个类别的共同特性对特征提取器进行调整。另外,文中也对常用的两种向量空间度量,余弦相似度和欧式距离,进行了整合,通过一个参数的调整使得新的度量在两种经典度量之间动态变化,从而更好地适用于不同的分类任务。

TADAM是目前为止在mini-imagenet数据集上性能最好的模型,它的作用原理值得思考,有助于进一步提升小样本学习在图像分类方面的能力。

推荐理由来自:李春放

阅读原文

报名

↓↓

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-01-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 人工智能前沿讲习 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档