浅谈深度学习在视频分析中的应用

深度学习在视频分类中的应用仍处于起步阶段，将来仍有很多工作要做. 为了描述视频的静态图像特征，可以使用从ImageNet学习的深度模型. 困难在于如何描述动态特征. 以前的视觉研究方法中对动态特征的描述通常依赖于光流估计，关键点跟踪和动态纹理. 如何在深度模型中体现这些信息是困难的. 最直接的方法是将视频视为三维图像，并直接应用卷积网络来学习每一层的三维滤波器. 但是这个想法显然没有考虑时间维度和空间维度之间的差异. 另一个简单但更有效的想法是通过预处理作为卷积网络的输入通道来计算光流场或其他动态特性的空间分布. 也有研究工作使用深度自动编码器以非线性方式提取动态纹理. 最新的长短期存储器（LSTM）已在业界引起广泛关注. 它可以捕获长期的依存关系并为视频中的复杂动态建模.

深度学习在图像识别中的应用正在增加，并且在未来有巨大的发展空间. 在对象识别和对象检测应用中深度学习的一种趋势是构造更大，更深的网络结构. 在ILSVRC 2012中，Alex Net仅包含5个卷积层和两个完全连接的层. 在ILS-VRC2014中图像识别应用，GooLeNet和VGG使用的网络结构超过20层. 更深的网络结构使反向传播更加困难. 同时，训练数据的规模也在迅速增加. 迫切需要研究新算法并开发新的并行计算系统，以更有效地利用大数据来训练更大更深的模型.

与图像识别相比，深度学习在视频分类中的应用还很不成熟. 从ImageNet训练中获得的图像特征可以直接有效地应用于各种与图像相关的识别任务（例如图像分类，图像检索，对象检测和图像分割等）以及其他不同的图像测试集，具有良好的泛化性能. 但是深度学习尚未获得可用于视频分析的类似功能. 为了实现这一目标，不仅要建立的训练数据集（最近有人建立了一个包含100万个YouTube视频的）图像识别应用，而且还需要研究一种适用于视频分析的新的深度模型. 训练用于视频分析的深度模型的计算复杂性也将大大增加.

在与图像和视频有关的应用程序中，深度模型的输出预测（例如分割图或对象检测框架）通常具有时空相关性. 因此，研究具有结构输出的深度模型也是重要的一点. 尽管神经网络的目的是解决一般意义上的机器学习问题，但是领域知识在深度模型的设计中也起着重要作用. 在与图像和视频有关的应用程序中，最成功的是深度卷积网络，该网络被设计为使用图像的特殊结构. 两个最重要的操作: 卷积和合并来自与图像有关的领域知识. 如何通过研究领域的知识将新的有效操作和层次引入深度模型，对提高图像和视频识别性能具有重要意义. 例如，汇聚层带来局部平移不变性，一些人提出的变形汇聚层可以更好地描述物体各部分的几何变形. 在未来的研究中，可以扩展其进展以实现旋转不变性，尺度不变性和遮挡鲁棒性.

通过研究深度模型与传统计算机视觉系统之间的关系，它不仅可以帮助我们了解深度学习成功的原因，而且可以启发新的模型和训练方法. 联合深度学习和多阶段深度学习国家在未来仍有更多工作要做. 尽管深度学习在实践中取得了巨大成功，并且通过大数据训练获得的深度模型的特征（如稀疏性，选择性和对闭塞的鲁棒性）令人信服，但理论分析仍有很多工作要做. 例如，什么时候收敛？如何获得更好的局部最小值？在每个转换级别上对识别有用的不变式是什么，丢失了哪些信息？最近，Mallat使用小波对深层网络结构进行量化，这是该方向上的重要探索.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-203286-1.html