神经网络的类型

概述本文主要介绍当前常用的神经网络，这些神经网络的主要用途是什么，以及各种神经网络的优点和局限性. 1 BP神经网络BP（反向传播）神经网络是一种神经网络学习算法. 它的分层神经网络由输入层，中间层和输出层组成，中间层可以扩展为多层. 相邻层中的神经元完全连接，但是每一层中的神经元之间没有连接. 网络以老师教的方式学习. 将一对学习模式提供给网络时，每个神经元都会获得网络的. 输入响应会生成连接权重（Weight）. 然后，根据减小期望输出和实际输出之间的误差的方向，从输出层到中间层逐层校正连接权重，并返回到输入层. 重复此过程，直到网络的全局误差趋于给定的最小值，即学习过程完成为止. 初始重量阈值的确定: 因此，应将重量和阈值的初始值选择为均匀分布的分数经验值，其介于（-2.4 / F〜2.4 / F）之间，其中F为输入层所连接单元的节点编号1.1主要功能（1）函数逼近: 使用输入向量和相应的输出向量训练网络以近似函数. （2）模式识别: 使用挂起的输出向量将其与输入向量关联. （3）分类: 对输入向量定义的适当方法进行分类. （4）数据压缩: 减小输出矢量的传输或存储尺寸.

1.2优点和局限性BP神经网络的主要优点是其强大的非线性映射能力. 从理论上讲，对于三层及三层以上的BP网络，只要有足够的隐藏层神经元，该网络就可以以任意精度近似非线性函数. 其次，BP神经网络具有将记忆与外部刺激和输入信息相关联的能力. 这是因为它使用分布式并行信息处理方法，并且信息的提取必须使用关联方法才能动员所有相关的神经元. BP神经网络通过预先存储的信息和学习机制进行自适应训练，可以从不完整信息和噪声干扰中恢复原始的完整信息. 这种能力使其成为图像恢复，语言处理，模式识别等方面的重要应用. 第三，BP神经网络具有强大的识别和分类外部输入样本的能力. 由于其强大的非线性处理能力，它可以更好地执行非线性分类并解决神经网络发展历史中的非线性分类问题. 此外，BP神经网络还优化了计算能力. BP神经网络本质上是一个非线性优化问题. 它可以在已知约束条件下找到一组参数组合，以最小化由组合确定的目标函数. 但是，在优化计算中存在局部极小问题，必须加以改进. 由于BP网络训练的稳定性要求学习效率低，因此梯度下降法会使训练非常缓慢.

动量法通常比简单的梯度下降法更快地提高学习率，但是在实际应用中仍然不够快. 这两种方法通常仅用于增量训练. 多层神经网络可以应用于线性系统和非线性系统，以模拟任意函数的近似值. 当然，感知器和线性神经网络可以解决此类网络问题. 但是，尽管从理论上讲是可行的，但实际上，BP网络可能并不总是具有解决方案. 对于非线性系统，选择合适的学习率是一个重要的问题. 性网络中，过高的学习率会导致训练过程不稳定. 相反，如果学习率太小，则培训时间将太长. 与线性网络不同，难以为非线性多层网络选择良好的学习率. 对于那些快速训练算法，默认参数值基本上是最有效的设置. 非线性网络的误差面比线性网络的误差面复杂得多. 问题在于多层网络中的非线性传递函数具有多个局部最优解. 优化过程与初始点的选择有很大关系. 如果起始点更接近于本地最佳优势而不是全局最佳优势，那么将无法获得正确的结果，这也是多层网络无法获得最佳解决方案的原因. 为了解决这个问题，在实际的训练过程中，应该反复选择多个初始点进行训练，以保证训练结果的全局最优. 网络中隐藏神经元的数量也对网络有一定影响. 神经元太少会导致网络不适，神经元太多会导致网络过度适应.

2 RBF（径向基）神经网络径向基函数（RBF-Radial Basis Function）神经网络是J. Moody和C.Darken在1980年代后期提出的神经网络，它具有单个隐式三层结构前馈网络. 因为它模拟了人脑中局部调整并与接收场（或接收场）重叠的神经网络结构，所以RBF网络是可以近似地以任意精度近似任何连续函数的局部近似网络，尤其适用于解决分类问题. 2.1主要功能图像处理，语音识别，时间序列预测，雷达原点定位，医疗诊断，错误处理检测神经网络类型，模式识别等. 使用最广泛的RBF网络用于分类. 在分类中，使用最广泛的是模式识别，然后是时间序列分析. 2.2优点和局限性（1）优点: 神经网络具有很强的非线性拟合能力，可以映射任何复杂的非线性关系，并且学习规则简单，易于计算机实现. 它具有很强的鲁棒性，存储能力，非线性映射能力和强大的自学习能力，因此具有广阔的应用市场. ①具有独特的最佳逼近特性，没有局部极小问题. ②RBF神经网络具有很强的输入输出映射功能，理论证明前向网络中的RBF网络是完成映射功能的最佳网络.

③网络连接的权重与输出呈线性关系. 在网络中④⑤良好的分类能力. 学习过程迅速收敛（2）局限性: ①②③④最严重的问题是无法解释自己的推理过程和推理基础. 无法向用户询问必要的问题，并且当数据不足时，神经网络将无法工作. 将所有问题的特征转化为数字并将所有推理转化为数值计算，结果必然会丢失信息. 理论和学习算法有待进一步改进和完善. ⑤在输入样本集中选择隐藏层基础功能的中心. 在很多情况下，很难反映出系统的真实输入输出关系，并且初始中心点太多. 此外，在优化过程中还会发生数据错误的情况. 3 Perceptron神经网络是具有单层计算神经元的神经网络. 网络的传递函数是线性阈值单位. 原始的传感器神经网络只有一个神经元. 它主要用于模拟人脑的感知特征. 由于阈值单元用作传递函数，因此它只能输出两个值，这适用于简单的模式分类问题. 当使用感知器对两种类型的模式进行分类时，等效于在高维样本空间中用超平面分离两种样本，但是单层感知器只能处理线性问题，这是对于非线性或线性不可分割的问题无能为力. 假设p是输入向量，w是权重矩阵向量，b是阈值向量. 由于其传递函数是阈值单元，即所谓的硬极限函数，因此感知器的决策边界为wp + b，当wp + b≥0时，判断为类别1，否则判断为类别2.

3.1主要功能主要用于分类. 3.2优势和局限性传感器模型简单易行. 缺点是它只能解决线性可分离的问题. 解决线性不可分问题的方法: 一种是使用多层感知器模型，另一种是选择功能更强大的神经网络模型. 4线性神经网络线性神经网络是由一个或多个线性神经元组成的相对简单的神经网络. 线性函数用作传递函数，因此输出可以是任何值. 线性神经网络可以使用基于最小二乘LMS的Widrow-Hoff学习规则来调整网络的权重和阈值. 像感知器一样，线性神经网络只能处理反映输入和输出样本向量空间的线性映射关系，并且只能处理线性可分离问题. 目前，线性神经网络已广泛用于函数拟合，信号滤波，预测和控制. 线性神经网络与感知器网络的不同之处在于，它的传递函数是线性函数，输入和输出仅是纯粹的比例关系，神经元的数量可以是多个. 仅具有一个神经元的线性神经网络与感知器的区别仅在于传递函数. 前者是线性函数的传递函数，后者是阈值单位的传递函数，仅此而已. 4.1主要功能（1）线性预测； （2）自适应滤波器噪声消除； （3）自适应滤波器系统识别； 4.2优势与局限性线性神经网络只能反映输入输出样本矢量空间之间的线性映射关系.

由于线性神经网络的误差面是多维抛物面，因此当学习率足够小时，基于最小二乘梯度下降原理训练的神经网络总能找到最优解. 然而，线性神经网络的训练不能总是实现零误差. 线性神经网络的训练性能受到网络大小和训练集大小的限制. 如果神经网络的自由度（所有权值和阈值的总数）小于样本空间中输入输出向量的数量，并且每个样本向量都是线性独立的，则网络无法达到零错误，这是使网络成为最小错误的解决方案的唯一方法. 相反，如果网络的自由度大于样本集的数量，则可以获得无数个可以使网络误差为零的解. 另外，对于超定系统，不确定系统和线性相关矢量的情况还有其他一些限制. 5自组织神经网络生物神经细胞中有一个特征敏感细胞，它仅对外部信号刺激的某些特征敏感神经网络类型，而该特征是通过自学习形成的. 在人脑的大脑皮层中，外部信号刺激的感知和处理是在区域中进行的. 一些学者认为，大脑皮层是通过相邻神经细胞之间的竞争来学习的，适应性发展被称为对不同性质的信号敏感的区域. . 根据这一特征现象，芬兰学者Kohonen提出了一种自组织特征图神经网络模型. 他认为，当神经网络接受外部输入模式时，它将自适应地学习输入信号的特征，然后自组织成不同的区域，并对每个区域的输入模式具有不同的响应特征.

在输出空间中，这些神经元将形成一个图. 在图中具有相同功能的神经元距离更近，而具有不同功能的神经元则被分离. 自组织特征映射网络也称为. 自组织映射过程是通过竞争性学习来完成的. 所谓竞争性学习，是指同一层神经元相互竞争，参与竞争的神经元改变其连接神经元的连接权重的过程. 竞争性学习是一种无监督的学习方法. 在学习过程中，仅需要向网络提供一些学习样本，而无需提供理想的目标输出. 网络根据输入样本的特征进行自组织映射，从而自动对样本进行排序和分类. 自组织神经网络包括自组织竞争网络，自组织特征映射网络，学习矢量量化和其他网络结构形式. 5.1竞争性学习网络的自组织竞争性网络结构: 假设网络输入为R维，输出为S. 典型的竞争性学习网络由隐藏层和竞争层组成. 与径向基函数网络的神经网络模型相比，竞争传递函数的输入是输入向量p与神经元权重向量w与阈值向量b之间的距离之和，即ni =-|| wi-p || + bi. 网络的输出由竞争层中每个神经元的输出组成. 除赢得比赛的神经元外，其余神经元的输出为0. 与比赛传递函数输入向量中最大元素相对应的神经元是比赛的获胜者. ，其输出固定为1.

竞争性学习网络训练: 竞争性学习网络根据Kohonen学习规则和阈值学习规则进行训练. 对于竞争性网络学习的每个步骤，权重向量最接近当前输入向量的神经元将赢得竞争. 该网络基于Kohonen标准调整该神经元的重量. 假设竞争层中的第i个神经元获胜，其权重向量Wi将被修改为: Wi（k）= Wi（k-1）-alpha *（p（k）-Wi（k-1））. 根据此规则，修改后的神经元权重向量将更接近当前输入. 进行此调整后，下一次网络输入类似的矢量时，神经元很可能会赢得竞争. 如果神经元的输入向量和权重向量相差很大，则很可能是神经元. 大败. 随着训练的进行，网络中的每个节点将代表一类近似向量. 当接受某一类向量的输入时，相应类的神经元将赢得竞争，因此网络具有分类功能. 5.2自组织特征映射网络自组织特征映射网络是基于对人类大脑皮层的模仿而构建的. 在人脑的大脑皮层中，外部信号刺激的感知和处理是在区域内进行的，因此自组织特征图网络不仅需要对不同的信号产生不同的响应，而且还具有分类功能. 竞争性学习网络. 此外，必须实现具有相同功能的神经元的空间分布.

因此，除了调整获胜神经元的权重外，自组织特征图网络还需要在训练过程中修改获胜神经元附近所有神经元的权重，以使相似的神经元具有相同的功能. 自组织特征图网络结构域竞争学习网络的结构完全相同，但学习算法不同. 稳定后，每个邻域中的所有节点对于某个输入都具有相似的输出，并且此群集的概率分布接近于输入模式的概率分布. 5.3学习矢量量化网络学习矢量量化网络由竞争层和线性层组成. 竞争层的作用仍然是分类，但是竞争层首先将输入向量划分为更细的子类别，然后将竞争层划分为线性层. 分类结果被合并以形成用户定义的目标分类模式，因此线性层中神经元的数量肯定少于竞争层中神经元的数量. 学习向量量化网络的训练: 当建立学习向量量化网络时，已经确定了竞争层和线性层之间的连接权重矩阵. 如果与竞争层中的神经元相对应的向量子类别属于与线性层中的神经元相对应的类别，则两个神经元之间的连接权重等于1，否则两个神经元之间的连接权重如果为0，则权重矩阵实现子类别与目标类别的合并. 根据此原理，竞争层和线性层之间的连接权重矩阵的每一列为0，但一个元素为1.

1此列中的位置指示竞争层确定的子类别所属的目标类别（该列中的每个位置代表目标类别）. 建立网络时，每种数据在数据总数中所占的百分比是已知的，该比率恰好是竞争层中神经元合并到线性层每个输出中的比率. 由于竞争层与线性层之间的连接权重矩阵是预先确定的，因此在网络训练过程中仅需调整竞争层的权重矩阵即可. 5.4主要功能特别适用于解决模式分类和识别中的应用问题. 5.5优点和局限性SOFM网络（自组织特征映射网络）的最大优点是网络输出层引入了拓扑结构，从而可以模拟生物神经网络竞争过程. LVQ网络（学习矢量量化网络）在竞争性学习的基础上引入了一种监督学习算法，这被认为是SOFM算法的扩展形式. 常用的组合方法是使用学习矢量算法作为自组织地图算法的补充，将具有拓扑结构的自组织地图网络结构应用于输出层，并使用自组织地图学习算法和学习矢量量化算法对网络进行两次训练. . 6反馈神经网络上面介绍的网络都是前向网络. 在实际应用中，还有另一种网络反馈网络. 在反馈网络中，信息以正向和反向传输. 该信息的反馈可以发生在不同网络层的神经元之间，也可以限于特定层的神经元.

由于反馈网络是动态网络，因此只有在满足稳定性条件后，网络才能工作一段时间才能达到稳定状态. 反馈网络的典型代表是Elman网络和Hopfield网络. 6.1 Elman神经网络Elman网络由几个隐藏层和输出层组成，并且在隐藏层中有一个反馈链接. 隐藏层神经元使用切线S型函数作为传递函数，而输出层神经元传递函数是纯线性函数. 当有足够的层神经元时，Elman网络可以确保该网络以任意精度逼近任何非线性函数. 6.2 Hopfield网络Hopfield网络主要用于关联内存和优化计算. 关联存储意味着在将某个向量输入到网络后，网络会进行反馈演化，以从网络的输出中获取另一个向量. 这样，将输出向量称为网络从初始输入向量即网络平衡点获得的稳定存储器. 最佳计算意味着当对一个问题有多种解决方案时，可以设计目标函数，然后可以寻求满足折叠椅目标的最佳解决方案. 例如，在许多情况下，能量函数可以视为目标函数. 为了获得最佳解，能量函数需要达到最小值，这就是能量函数的所谓稳定平衡点. 简而言之，Hopfield网络的设计思想是在初始输入下通过反馈计算使网络最终达到稳定状态. 此时的输出是用户所需的平衡点.

6.3主要应用Elman网络主要用于信号检测和预测，而Hopfield网络则主要用于关联存储，聚类和优化计算. 6.4优点和局限性（1）Hopfield神经网络对于Hopfield神经网络，存在以下问题: （1）在实现特定神经网络时，有必要确保连接权重矩阵是对称的; （2）在实际的神经网络中在实施过程中，总是会出现信息传输延迟，这些延迟会影响神经网络的特性. （3）神经网络实现中的规模问题，即集成问题. （2）Elman神经网络Elman神经网络模型与其他神经网络模型一样，具有输入层，隐藏层和输出层，并且具有学习期和工作期，因此具有自学习的特点. 组织和自学. 另外，由于将隐藏层和输出层节点的反馈添加到了Elman神经网络模型中，网络学习的准确性和容错性得到了进一步提高. Elman神经网络建立的网络模型在非线性时间序列特征的其他应用领域具有良好的应用前景. 它具有强大的鲁棒性，良好的泛化能力，较强的通用性和客观性. 它充分显示了神经网络方法的优越性和合理性. 这种神经网络方法在其他领域的预测和评估中具有较好的实际应用价值.

7. 其他: 收集的一些数据，还有另一个版本，有重叠之处: 人工神经网络是指使用第一代或第二代神经元模型的非监督学习（聚类）算法1，其他聚类: SOM自动编码器2. 深度学习，分为三类，方法完全不同，甚至神经元也有不同的前馈预测: 请参阅3反馈预测: 堆叠式稀疏自动编码器（聚类），预测编码（RNN，聚类）交互式预测: 深度置信网（DBN，属于RNN，聚类+分类） 3.前馈神经网络（分类）感知器BP RBF前馈深度学习: 卷积神经网络（CNN）4.递归NN类Hopfield Boltzmann机器和变体回波状态网络5.其他工程算法的神经网络版本太多. 只需编写一些强化学习，例如TD（强化学习）PCA

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-258596-1.html