分布式计算纯理论_分布式计算网络_分布式计算原理(3)

神经网络的发展并不是一帆风顺的，这中间大概经历了三起三折的过程。

大约在1904年，人类已经对人脑的神经元有了最初步的认识和了解。1943年的时候，心理学家麦卡洛克 (McCulloch) 和数学家 Pitts 参考了生物神经元的结构，发表了抽象的神经元模型M。这个概念的提出，激发了大家对人智力探索的热情。

到了1949年，有一个心理学家赫布(Hebb)提出了著名的Hebb模型，认为人脑神经细胞的突触上的强度上是可以变化的。于是计算科学家们开始考虑用调整权值的方法来让机器学习，这就奠定了今天神经网络基础算法的理论依据。

到了1958年，计算科学家罗森布拉特（Rosenblatt）提出了由两层神经元组成的神经网络，并给它起了一个很特别的名字—“感知器”（Perceptron）。人们认为这就是人类智能的奥秘，许多学者和科研机构纷纷投入到对神经网络的研究中。美方也大力资助了神经网络的研究，并认为神经网络是比“曼哈顿工程”更重要的项目。

这段时间直到1969年才结束，这个时期可以看作神经网络的一次高潮。事实上感知器只能做简单的线性分类任务。但是当时的人们热情太过于高涨，并没有清醒的认识到这点不足。

于是，当人工智能领域的巨擘明斯基(Minsky)指出个问题的时候，事态就发生了反转。明斯基指出，如果将计算层增加到两层，则计算量过大并且缺少有效的学习算法。所以，他认为研究更深层的网络是没有价值的。明斯基在1969年出版了一本叫《Perceptron》的书，里面通过数学证明了感知器的弱点，尤其是感知器对XOR（异或）这样的简单分类任务都无法解决。

由于明斯基在人工智能领域的巨大影响力以及书中呈现的明显的悲观态度，这很大多数多学者纷纷放弃了对于神经网络的研究。于是神经网络的研究顿时陷入了冰河期。这个时期又被称为“AI Winter”。将近十年以后，神经网络才会迎来复苏。

时间到了1986年，Rumelhar和Hinton提出了划时代的反向传播算法（Backpropagation，BP）。这个算法有效解决了两层神经网络所需要的复杂计算量问题，从而带动了使用两层神经网络研究的热潮。

我们看到的大部分神经网络的教材，都是在着重介绍两层（带一个隐藏层）神经网络的内容。这时候的Hinton 刚刚初露峥嵘，30年以后正是他重新定义了神经网络，带来了神经网络复苏的又一个春天。

尽管早期对于神经网络的研究受到了生物学的很大的启发，但从BP算法开始研究者们更多是从数学上寻求问题的最优解，不再盲目模拟人脑网络。这是神经网络研究走向成熟的里程碑的标志。

90年代中期，由Vapnik等人提出了支持向量机算法（Support Vector Machines，支持向量机）。很快这个算法就在很多方面体现出了对比神经网络的巨大优势，例如：无需调参、高效率、全局最优解等。基于这些理由，SVM算法迅速打败了神经网络算法成为那个时期的主流。而神经网络的研究则再次陷入了冰河期。

在被人摒弃的十年里面，有几个学者仍然在坚持研究。其中很重要的一个人就是加拿大多伦多大学的Geoffery Hinton教授。2006年，他的在著名的《Science》杂志上发表了论文，首次提出了“深度信念网络”的概念。

与传统的训练方式不同，“深度信念网络”有一个“预训练”（pre-training）的过程，这可以方便的让神经网络中的权值找到一个接近最优解的值，之后再使用“微调”(fine-tuning)技术来对整个网络进行优化训练。这两个技术的运用大幅度减少了训练多层神经网络的时间。在他的论文里面，他给多层神经网络相关的学习方法赋予了一个新名词— “深度学习”。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-29530-3.html