王京东: 深度融合-一种神经网络结构设计模式

讲师简介

王敬东是微软亚洲研究院视觉计算小组的高级研究员，也是中国科学技术大学的博士生导师. 研究方向是机器学习，模式识别，计算机视觉（尤其是深度网络结构设计）和行人识别. 他是IEEE TMM / IEEE TCSVT和其他国际期刊的副编辑网络设计模式，还是CVPR / ICCV / ECCV / ACM / MM / IJCAI / AAAI等国际会议领域的主席.

全文目录

首先，深层网络结构的发展背景

1.1从AlexNet到VGGNet

1.2退出和DisturbLabel

1.3从GoogleNet到ResNet

第二个深度融合的网络

2.1深度融合网络的功能

2.2深度融合的网络和集成

三，网络深度的作用

四，合并和运行

五，总结与展望

首先，深层网络结构的发展背景

深度学习仅在最近十年才得到发展. 2006年，Hinton在《科学》 [1]上发表的文章首次提出了深度学习的概念，但是当时并没有多少人认识到深度学习. 在2012年ILSVRC图像分类竞赛中，深度学习确实引起了人们的关注-深度学习方法的性能超过了所有传统方法. 从那时起，深度学习已在图像分类以外的许多其他领域得到应用和发展.

1.1从AlexNet到VGGNet

女士. Wang首先回顾了近年来深度网络结构的发展. 开发上下文如下图所示.

2012年，AlexNet [2]引起了深度学习的广泛关注. 网络只有8层，结构设计上没有什么特别的. 然而，网络具有大量参数，因此网络的训练引起了人们的关注. 王老师认为，这主要是由于GPU的发展.

ZFNet [3]在2013年中，网络结构没有重大突破.

2014年VGGNet [4]的结构没有得到很大改善. 但是，VGGNet可以训练到19层，深度已大大加深，结果取得了突破性进展. 这启发了所有人加深网络.

在从AlexNet到VGGNet的开发阶段，网络结构是线性的，区别只是深度的加深. 除了深度之外，还提出了Dropout [5]方法.

1.2退出和DisturbLabel

由于辍学对于深层网络的培训具有重要意义，因此王老师专注于辍学及相关方法. 当训练具有大量参数的网络时，可能会发生过度拟合，而Dropout可以缓解过度拟合的问题. 丢失是指在每次迭代时，都使用随机方法在原始网络的基础上选择一个子网络进行训练以获得每个子网络的参数，并将这些参数代入原始网络结构中以进行预测. 本质是使用相同的样本来训练多个小型网络，并整合这些小型网络以进行预测. 从这个角度来看，Dropout和Ensembling相似.

对于过度拟合，王老师介绍了他自己的作品DisturbLabel [6]. DisturbLabel指的是在每次迭代时不更改网络的结构，而是更改样本（包括数据和标签）-样本的标签有一定的概率是错误的，并且数据保持不变. DisturbLabel的本质是将具有相同结构并经过不同样本训练的网络进行集成以进行预测. DisturbLabel和Dropout之间的区别在于-在每次迭代中，Dropout不会更改样本，而是随机更改网络结构. DisturbLabel用来保持网络结构不变，并随机更改样本的标签.

DisturbLabel以一定的概率使标签错误. 关于概率如何影响网络性能，王老师设计了以下实验，其结果如下图所示.

在MNIST数据集下，标签错误，概率为α. 当α= 0％时，发生过度拟合. 当α= 10％时，结果最佳. 这表明DisturbLabel可以缓解过度拟合. CIFAR10数据集的结论是一致的. 可以看出DisturbLabel和Dropout都可以缓解过度拟合.

接下来，王老师进一步分析了DisturbLabel和Dropout的作用是互补的. 如下所示.

单独使用Dropout或DisturbLabel时，错误率有所提高. 当同时使用Dropout和DisturbLabel方法时，可以进一步提高性能，这表明两者的效果可以互补.

1.3从GoogleNet到ResNet

如前所述，在AlexNet到VGGNet的开发阶段，网络结构是线性的. 2014年，谷歌提出了GoogleNet [7]. GoogleNet不再是简单的线性结构. 提出了多分支的概念，即网络包含多个分支，每个分支的深度不同.

Highway [8]在2015年，尽管它没有参加ILSVRC比赛，但还是提出了身份连接的方法. 身份连接减轻了因深度过多而造成的培训困难，并使更深层次的网络得以培训.

2015年，ResNet [9]从高速公路的身份连接中借来了深度培训网络. 同时，ResNet的特殊贡献在于它带来的重要灵感-网络越深，性能越好. 王老师提出了不同的看法.

王老师从深层融合网络[10]开始，解释说网络太深会导致不良结果，最后提出了合并并运行[11]来增加宽度.

第二个深度融合的网络

2016年，王老师提出了深度融合网络（DFN）. DFN基于GoogleNet的Multi-branch方法，并且还利用了Highway和ResNet的机制. 融合的概念是众所周知的，深度融合意味着融合也可以在深层网络的中间层进行.

2.1深度融合网络的功能

DFN的网络结构非常简单，如下所示.

该图显示了DFN的两种不同表示形式. 从右边的表示中，可以更容易地看出，DFN可以看作是由两个深度不同的基本网络（基本网络）组成，并且两个基本网络在中间. 如上图右侧所示，一些图层已融合. 两个融合层之间的网络称为块. 每个块包含来自两个基本网络的两个部分. 可以发现，如果每个块中两个部分的位置互换，则整个DFN基本上保持不变. 但是可以将互换的DFN视为由两个不同于原始基础网络的新基础网络组成. 此外，这种交换方法是多种多样的. 因此，同一DFN可以看作是多对新基础网络的融合. 如下所示.

上图左侧的两个基本网络进行了三次合并，以获得上图右侧所示的四个不同的DFN. 这四个DFN包含不同的基本网络，但本质上是相同的DFN. 这表明DFN具有多径，多尺度的特性，网络深度相对较小.

DFN的多路径有助于提高网络性能. 网络的训练需要良好的信息流（Information Flow）. 如果网络的中间层非常靠近输入/输出，则该层具有信息流的快速方式. 众所周知，当一个图层远离输出时，渐变消失. 缩短与Output的距离可以缓解渐变消失的问题. 如果某个层更接近Input，则它可以获得更多的输入更改信息，因此训练会更容易. DFN的多路径可以带来Express Way的本质. 如下所示.

在上图中，R03在原始基础网络中与Input相距两层，而与Output相距三层. 但是在DFN中，由于多路径的作用，R03变为距输入1层网络设计模式，而距输出2层. 因此它具有Express Way的性质.

2.2深度融合的网络和集成

组装可以提高网络性能. 如前所述，Dropout和DisturbLabel都可以理解为集合. DFN也可以从集成的角度理解. 首先，从网络结构的角度来看，如下图所示.

上图左侧的DFN网络等效于上图右侧的四组DFN. 如果将上图右侧的四组网络的对应融合层合并在一起，以在下图的中间部分形成网络结构，则两者是等效的. 因此，获得了由八个基本网络组成的网络. 下图的右侧显示了八个基本网络.

通过上述过程，您可以发现DFN和Ensembling相似. 为了探索相似结构的作用，王老师使用三种网络结构设计了该实验，如下图所示.

在左边是普通网络，在中间是DFN，在右边是集合. 王老师比较了上述三种结构在不同网络深度下的性能. 结果如下所示.

可以发现，随着网络的加深，普通网络的性能会迅速下降. DFN和集成的性能非常接近. 但是，DFN相对较差. 王老师认为，这是因为每个基本网络在整合中的相关性都较小.

王老师在分析DFN与集成过程之间的关系的基础上，进一步分析了在集成过程中影响DFN性能的因素. 第一个是“合奏大小”. 从实验中发现，集合大小越大，网络性能越好. 并且，随着网络的不断深入，Ensemble Size对性能提高的影响变得越来越明显. 结果如下所示.

因为Fusion越多，合奏大小就越大，并且从图中可以看出，Fusion越大，DFN的性能越好，因此Ensemble Size越大，DFN的性能就越好

此外，DFN中基本网络的性能还将影响DFN的整体性能. 如下所示.

上图的上部显示了网络的错误率，而上图的下部中的四个数字表示DFN中的基本网络层数. 例如，左侧第一列中的四个数字14表示DFN中最深的基础网络为14层，5表示最浅的基础网络为5层，而8和11表示其他两个深度. 红色/表示基本网络在此深度处的性能较好/较差. 通过比较图中的数据，可以发现，如果DFN中基本网络的深度过深，则基本网络的性能将会降低（以绿色表示），这将导致整个网络的性能下降. DFN. 这表明更深层的基础网络的性能将影响整个DFN的性能.

三，网络深度的作用

如前所述，DFN中的基础网络越深，性能越差，ResNet的灵感在于网络越深，性能越好. 王老师对深度如何影响网络性能提出了自己的看法.

先生. Wang首先分析了权重共享在DFN中的作用. 如下所示.

权重共享是DFN中不同基础网络的相应层（例如L01）的共享权重. 王老师设计了各种深度DFN比较实验，发现权重共享将使DFN中较浅的基本网络的性能变差，并使较深的基本网络的性能更好. 王老师分析说，这是因为权重共享将使DFN中更深的基础网络更易于训练，从而获得更好的性能.

尽管权重共享有利于DFN的较深基础网络减轻训练困难，但对于最深的基础网络如何影响DFN的性能仍然没有定论. 可以确定的是，它确定了整个DFN的深度. 为了研究最深层基础网络的其他功能，王老师设置了三种不同的网络结构，如下图所示.

左侧的DFN包含最深的基础网络，中心不包含最深的基础网络，右侧的训练包含最深的基础网络，并且测试中未使用最深的基础网络. 实验结果如下图所示.

从上图可以看到，如果在训练过程中包括了最深的基础网络，它将影响整个网络的性能. 王老师分析说，原因是最深的基础网络将对网络的培训产生不利影响.

除了分析DFN中最深的基础网络的影响之外，王老师还分析了DFN中的其他基础网络. 首先，按顺序切断DFN中的每个基本网络，然后分析DFN的性能以获得对DFN性能影响最大的基本网络. 实验结果表明，对DFN总体性能的最大影响不是最深的基础网络.

总而言之，通过上述实验，发现加深深度可以扩展“集合大小”，从而提高网络性能. 但是，由于网络的加深，最深的基础网络没有得到良好的培训，导致DFN中其他基础网络的性能下降，从而影响了整个网络的性能. 这表明仅通过加深深度来提高网络性能是不正确的.

四，合并和运行

通过以上实验，王老师总结了两个网络设计经验: 第一，选择较大的“合奏”. 第二，避免设计太深的网络. 基于这两种经验，王老师设计了“合并并运行”网络结构，并将其与类似Inception的结构和ResNet的结构进行了比较. 如下图所示，是三个网络结构.

从上图中可以看到，类似Inception的结构具有三个路径，而ResNet结构具有四个路径. 合并和运行结构具有六个路径，并且其深度小于ResNet. 王老师使用三个不同层次的网络结构对四个数据集进行了实验. 实验发现，在每个数据集上，无论网络层数如何，“合并”和“运行”结构的结果都是最佳的. 同时，与FractalNet [12]和DenseNet [13]等具有较大变化的其他先进网络相比，Merge and Run结构的结构变化相对较小.

五，总结与展望

深度集成为深度网络结构的设计带来了四个启发. 第一个是多路径，即多路径可以提高网络性能. 第二个是多头和空头，也就是说，多个路径的深度应多样化. 由于深层网络更难训练，因此浅层网络可帮助深层网络更好地训练. 第三个是Express Way，它引入Express Way以使网络所有层之间的信息流更快. 第四个是体重共享. 重量共享有利于浅层网络，并有助于深层网络更好地训练.

最后，王先生提到自ResNet以来，许多研究人员都强调深度的重要性. 这实际上是一种误导. 无论是从研究角度还是从应用程序角度来看，网络的含义都太深，使网络更宽或更广（如下图所示）是下一步可以尝试的研究方向.

参考

【1】〜hinton / csc321 / readings / science.pdf

【2】

【3】

【4】

【5】〜hinton / csc321 / readings / science.pdf

【6】

【7】

【8】

【9】

【10】

【11】

【12】

【13】

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-280675-1.html