人工智能神经网络发展简史

人工智能神经网络的历史可以分为以下几个时期：

一、初次尝试

有一些使用形式逻辑的初步模拟。1943年，沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮茨（Walter Pitts）根据他们对神经学的理解开发了神经网络模型。这些模型对神经元如何工作做出了几个假设。

他们的网络基于简单的神经元，这些神经元被认为是具有固定阈值的二进制设备

他们的模型是简单的逻辑函数，例如“a或b”和“a与b”。

另一个尝试是使用计算机模拟。

1954年Belmont G. Farley和Wesley A. Clark在MIT成功实现了小型神经网络的电脑模拟。

1956年，N. Rochester, J. H. Holland, L. H. Haibt, and W. L. Duda使用大型数字计算机模拟测试了神经网络。

二、有前途的新兴技术

不仅是神经科学对神经网络的发展产生了影响，心理学家和工程师也为神经网络的模拟做出了贡献。

1958年，Rosen blatt设计和开发了感知器。

感知器有三层，中间层称为关联层。这个系统可以学习将给定的输入连接或关联到随机输出。

另一个系统是ADALINE(ADAptive LINear

Element)，由Widrow和Hoff于1960年开发。

ADALINE是一种由简单元器件制成的模拟电子设备。使用的方法与感知器不同的是，它使用了最小均方（LMS：Least-Mean-Squares）学习规则。

三、挫折期

1969年，Minsky和Papert写了一本书，他们在其中概括了单层感知器到多层系统。在书中他们说：“我们的直觉判断是（对多层系统的）扩展是无效的”。他们的书的重大影响是对神经网络模拟研究的资助逐步减少了。

四、创新

虽然公众的兴趣和资助资金都很少，一些研究人员仍继续致力于开发基于神经形态的计算方法，以解决诸如模式识别等类型的问题。

在此期间，几个现在仍然在不断增强的范式产生了。

Steve Grossberg和GAIl Carpenter在1988年创立了一个探索共鸣振算法的思想流派。他们开发了基于生物学上可信的模型的ART（自适应共振理论）网络。Anderson和Kohonen也同时独立开发了类似的算法。

A. Henry Klopf 在1972年，基于称为异质性的神经元学习生物学原理，开发了人工神经元学习的基础。

Paul Werbos在1974年，开发并使用了反向传播学习方法，但这种方法过了几年之后才流行起来。反向传播网可能是最众所周知和广泛应用的神经网络。在本质上，反向传播神经网络是一个具有多个层的感知器，人工神经元中具有不同的阈值函数，以及更鲁棒和更强大的学习规则。

Amari Shun-Ichi参与了理论发展：他发表了一篇论文，为处理自适应模式分类的学习基础（纠错方法）建立了数学理论。

Fukushima.Kunihiko开发了一个用于解释手写字符的逐步训练的多层神经网络。原始网络发布于1975年，被称为Cognitron。

五、重新崛起

20世纪70年代末和80年代初的进展对神经网络领域的重新兴起很重要。几个因素影响了这次兴起。例如，综合性书籍和会议用专门的技术语言为不同领域的人们提供了一个论坛，对会议和出版物的反应相当积极。新闻媒体注意到了活动的增加，神经网络相关教程帮助传播了这项技术。大多数大学和学术机构都开设了相关课程。现在，人们的注意力集中在资金投入上，随着资金的到位，工业和金融机构中出现了一些新的AI商业应用。

六、当下

人工神经网络领域已经取得了重大进展，足以吸引大量关注并为进一步研究提供资金。超越当前AI商业应用的进步应该是可能的，研究正在多个方面推进该领域。基于AI架构的芯片，应对复杂问题的应用正在被不断开发出来。