神经网络电路逆向工程研究

神经网络电路逆向工程研究

概述

在深度学习的原始叙述中，每个神经元通过组合前一层特征来逐步构建更抽象、有意义的特征。近年来，这种观点受到了一些质疑，但如果我们认真对待它会发生什么？

InceptionV1是一个经典的视觉模型，拥有约10,000个独特神经元——数量庞大，但仍处于团队可以研究的规模。如果逐个神经元地检查模型，试图理解每个神经元及其之间的连接，会发生什么？电路协作项目旨在找出答案。

文章与评论

研究电路的自然出版单位似乎是关于单个电路或小型特征家族的短篇论文。与正常的机器学习论文相比，这是一个小而不同寻常的主题。

为了促进这一方向的探索，某机构邀请了一系列关于电路的短文，穿插了相邻领域专家的批判性评论。该系列将是一个活文档，随着时间的推移添加新文章，通过开放的slack频道（#circuits）进行组织。该系列中的内容应被视为早期探索性研究。

文章和评论按时间顺序呈现如下：

放大：电路导论

探讨将单个神经元及其之间的连接作为严肃研究对象是否有意义。提出了三个主张：有意义特征的存在、特征之间有意义的电路的存在，以及这些特征和电路的普遍性。还讨论了科学“放大”的历史成功，是否应关注这项研究的定性性质，以及严格研究的方法。

InceptionV1早期视觉概述

对InceptionV1前五层所有神经元的概述，组织成“神经元组”的分类法。为未来深入探讨早期视觉的特定方面奠定了基础。

曲线检测器

每个详细探索的视觉模型都包含检测曲线的神经元。曲线检测器是三篇文章系列中的第一篇，详细探讨这一神经元家族。

神经网络中自然发生的等变性

神经网络自然地学习了许多相同特征的变换副本，通过对称权重连接。

高低频检测器

一类早期视觉神经元，对从高到低空间频率的方向过渡作出反应。

曲线电路

从神经网络的权重中逆向工程出一个非平凡的学习算法，并利用其核心思想从头开始制作一个人工神经网络来重新实现它。

可视化权重

提出了可视化、情境化和理解神经网络权重的技术。

分支专业化

当神经网络层被分成多个分支时，神经元自组织成连贯的分组。

权重带状化

常见视觉模型最终层中的权重呈现为水平带状。研究了如何以及为什么。

这是一个活文档

预计会有更多关于该主题的文章，以及专家的批判性评论。

参与方式

电路系列对探索神经网络中个体特征、电路及其组织的文章开放。也欢迎对现有文章的批判性评论和讨论。该系列通过开放的#circuits频道进行组织。文章可以在那里建议，并将由系列中的先前作者酌情包括，或在有争议时由无关编辑决定。

如果想参与但不知道从哪里开始，可以在频道中询问是否有小项目可用。

关于系列格式

某机构的部分职责是尝试新的科学出版形式。认为将更快、更连续的出版方法与审查和讨论相协调是科学出版中的一个重要开放问题。

系列是围绕一个狭窄或不寻常研究主题的短文、实验和批判性评论的集合，以及一个用于实时讨论和协作的slack频道。它们旨在比完整的某机构论文更早期，允许更流畅的出版、反馈和讨论。还希望它们能允许更广泛的参与。可以看作是Twitter线程、学术研讨会和散文集的交叉。

系列是一个实验。认为它们可能是一个伟大的格式，也可能很糟糕。计划试验两个这样的系列，然后重新评估对该格式的看法。

引用信息

如果希望整体引用该系列，可以在下面找到引用信息。作者顺序是按字母顺序排列的所有参与者。由于这是一个活文档，引用可能会随着演变而添加其他作者。也可以使用相应文章底部提供的引用信息引用单个文章。