混沌脉冲反向传播算法：让脉冲神经网络的训练高效、鲁棒 | 陈洛南组NSR

脉冲神经网络（spiking neural network, SNN）被誉为第三代神经网络，具有比传统人工神经网络（artificial neural network, ANN）更好的生物可解释性、更强的时空表征能力和更低的功耗(可低至0.2%)，有望提升人工智能技术的可持续性。然而，SNN难以直接高效地训练，使得它在目标任务上的准确率远不及同规模的ANN。

近日，国科大杭州高等研究院的陈洛南团队在《国家科学评论》（National Science Review, NSR）发表文章，提出了受大脑启发的混沌脉冲反向传播算法(chaotic spiking backpropagation, CSBP)。作为深度学习的通用算法，CSBP通过引入一项损失函数使网络权重产生了类似大脑中的混沌动力学，并进一步利用混沌的遍历性和伪随机性，使SNN的学习变得高效且鲁棒。

CSBP算法原理

在理论上，该工作证明 CSBP 的学习过程最初是混沌的，随后出现各种分岔现象，最终退化为梯度动力学并收敛。特别是，CSBP也可作为一个插件应用于各种现行SNN算法从而显著提高学习效能。

在计算上，CSBP在神经形态数据集（如DVS-CIFAR10和DVS-Gesture）和大规模静态数据集（如CIFAR100和ImageNet）上的准确性和鲁棒性都明显优于目前最先进的方法 (SOTA)。

CSBP在CIFAR100数据集上的性能

总之，该工作为直接高效训练SNN提供了一个重要的通用学习工具，并为理解大脑的学习过程提供了新的见解。国科大杭州高等研究院2021级直博生王梓鉴、助理研究员陶鹏为该论文共同第一作者，陈洛南研究员为通讯作者。国家自然科学基金和中科院为此项研究提供了资助。