稀疏编码 Sparse Coding

稀疏编码是一种无监督的学习方法，通过寻找一组“超完备”的基向量来高效的表示样本数据。算法的目的就是找到一组基向量，使得输入向量能够表示为这组基底的线性组合。

人眼视觉系统可以看作是一种合理而且高效的图像处理系统，其感知机理研究表明，该系统由从视网膜到大脑皮层一系列的细胞组成，以“感受野”模式对图像进行描述。

感受野是视觉系统信息处理的基本结构和功能单元，是视网膜上可以引起和调制视觉细胞响应的区域。它们被视网膜上相应区域的光感细胞所激活，对时空信息进行处理。研究表明，初级视觉皮层下细胞的感受野具有显著的方向敏感性，单个神经元仅对处于其感受野中的刺激做出反应，如特定方向的边缘、线段、条纹等图像特征，其空间感受野被描述为具有局部性、方向性和带通性的信号编码滤波器。每个神经元对这些刺激的表达则采用了稀疏编码原则，将图像在边缘、线段、条纹等方面以稀疏编码的形式进行描述。因而，稀疏编码的工作即找出类似边缘、线段、条纹等的这样一组基底，其思想和小波变换的基函数具有一定的相似性。

发展历史：

• 1959年，David Hubel和Toresten Wiesel通过对猫的视觉条纹皮层简单细胞感受野的研究指出：主视皮层V1区神经元的感受野能对视觉感知信息产生一种稀疏表示。
• 1987年，Field提出主视觉皮层V1区简单细胞的感受野非常适合学习视网膜成像的图像结构，因为它们可以产生图像的稀疏表示。基于此，1988年，Michison明确提出了神经稀疏编码的概念，然后由牛津大学的E. T. Roll等人正式引用，随后对灵长目动物视觉皮层和猫视觉皮层的电生理实验报告，也进一步证实了视觉皮层复杂刺激的表达是采用稀疏编码原则的。
• 1996年，Olshausen和Field在Natrue杂志上发表的一篇论文指出，自然图像经过稀疏编码后得到的基函数类似于V1区简单细胞感受野的反应特性。该稀疏编码模型提取的基函数首次成功模拟了V1区简单细胞感受野的三个响应特性：空间域的局部性、时域和频域的方向性和选择性。
• 考虑到基函数的完备性，Olshausen和Field在1997年又提出一种超完备基的稀疏编码算法，利用基函数和系数的概率密度模型成功建模了V1区简单细胞感受野。

稀疏编码具有如下几个优点：

• 编码方案存储能力大
• 具有联想记忆能力
• 计算简便
• 使自然信号的结构更加清晰
• 编码方案符合生物进化普遍的能量最小经济策略，又满足电生理实验结论

应用：

稀疏编码将神经生理学方面对于视觉系统的研究成果，指导人类利用计算机来模拟视觉系统，以解决人工智能在图像处理领域碰到的难题。其依靠自然环境的统计特性，并不依赖于输入数据的性质，因而是一种自适应的图像统计方法。稀疏编码在盲源信号分离、语音信号处理、自然图像特征提取、图像去噪、模式识别等方面已经取得了许多研究成果。

参考：

https://baike.baidu.com/item/%E7%A8%80%E7%96%8F%E7%BC%96%E7%A0%81/10289670?fr=aladdin