[用于图像分割的深度学习](2)

基于卷积神经网络的传统分割方法通常是: 为了对像素进行分类，使用像素周围的图像块作为卷积神经网络的输入进行训练和预测. 此方法有几个缺点: 首先，它具有较大的存储开销. 例如，用于每个像素的图像块的大小为15x15，所需的存储空间为原始图像的225倍. 第二是计算效率低. 基本上重复相邻的像素块. 对每个像素块一一计算卷积，并且该计算也被大量重复. 第三，像素块的大小限制了感知区域的大小. 通常，像素块的尺寸比整个图像的尺寸小得多，并且只能提取一些局部特征，导致分类性能有限.

针对上述问题，Long Jonathan等人. [52]在2015年提出了全卷积网络（FCN）结构. FCN可以在像素级别对图像进行分类，从而解决了语义级别的图像分割问题. 与经典的卷积神经网络不同，经典的卷积神经网络使用一个完全连接的层来获得固定长度的特征向量以在卷积层之后进行分类（完全连接的层+ softmax输出），完全卷积网络可以接受任何大小的输入图像并使用反卷积层对最后一个卷积层的特征图进行上采样以将其恢复为与输入图像相同的大小，以便可以为每个像素生成预测，同时将空间信息保留在原始输入图像中，最后对特征进行上采样地图按像素进行分类以完成最终的图像分割. FCN的网络结构如图1所示.

图1 FCN网络结构

Korez等基于FCN网络结构. [53]提出了一种3D FCN网络结构，并用变形模型算法优化了3D FCN网络分割的脊柱结构，进一步提高了脊柱MR图像分割的准确性. 率. 周等. [54]结合了FCN算法和多数投票算法来分割人体CT图像中的19个目标. 在网络训练过程中，穿过每个像素的矢状面，轴向面和冠状面的CT图像分别输入到2D FCN网络中进行训练，并使用3D多数投票算法对图像的分割结果进行投票这三个图像. 获取最终的细分结果. Moeskops等. [55]在CT血管造影（CTA）中使用了脑部MRI，心肌MRI和冠状动脉来同时训练FCN网络，因此训练后的网络可用于对这三种类型的目标进行分割.

当FCN分割图像时，上采样层会将要素还原为原始图像的大小. 此过程将导致像素定位不正确，从而影响分割结果的准确性. 为了解决这个问题，许多研究人员使用MRF算法[56]或CRF算法[58]来改善FCN输出的分割结果并进一步优化分割结果.

2015年，OlafRonneberger等人. [64]提出了一个U-net网络结构. U-net是基于FCN的语义分割网络，适用于医学图像分割.

U-net网络结构类似于FCN网络结构. 它也分为下采样阶段和上采样阶段. 网络结构中只有卷积层和池化层. 没有完全连接的层. 网络中较浅的高分辨率用于解决像素定位问题，而较深的层次用于解决像素分类问题，从而可以实现图像语义层次的分割. 与FCN网络不同，U-net的上采样阶段和下采样阶段使用相同数量的卷积运算级别，并使用跳过连接结构将下采样层连接到上采样层，这样就可以将特征直接传递到上采样层，从而使U-net网络像素定位更加准确，分割精度也更高. 另外，在训练过程中，U-net只需要训练一次，而FCN则需要进行3次训练才能获得更准确的FCN-8s结构，因此U-net网络的训练效率也要高于FCN网络.

U-net网络结构如图2所示. 蓝色箭头代表卷积和激活函数，灰色箭头代表复制剪切操作，红色箭头代表下采样，绿色箭头代表反卷积，conv 1X1代表卷积. 内核是1X1卷积运算. 从图中可以看出，U-net网络没有完全连接的层，只有卷积和下采样. U-net可以端到端分割图像，即输入是图像，输出也是图像.

图2 U-net网络结构

提出了U-net网络后，它在医学图像分割领域中表现良好. 许多研究人员已采用U-net网络结构进行医学图像分割，并提出了基于U-net网络结构的改进方案. Çiçek等. [65]提出了一种3D U-net网络结构，该结构通过输入3D图像的连续2D切片序列实现3D图像分割. Milletari等. [66]提出了一种U形网络结构的3D变形结构V形网络. V-net结构使用Dice系数损失函数代替传统的交叉熵损失函数，并使用3D卷积核对图像进行卷积. 通道尺寸由1x1x1卷积内核减小. Drozdzal等. [67]提出在U-net网络结构中不仅可以使用长跳连接结构，还可以使用短跳连接结构.

在病变分割任务中，深度学习算法需要完成多个任务，例如目标识别，器官分割和组织分割. 因此，在分割过程中应使用图像的全局和局部信息，以实现病变的准确分割. Kamnitsas等. [68]和Ghafoorian等. [69]提出了使用多尺度卷积来提取图像的全局和局部信息. 此外，王等. [70]提出了一种伤口图像分析系统. 首先，使用U-net网络分割伤口图像，然后使用SVM分类器对分割后的伤口图像进行分类，以确定伤口是否受到感染. 最后，使用了GP. 回归算法可预测伤口愈合时间. Brosch等. [71]使用U-net网络分割脑部MRI中的白质病变，并在U-net网络的卷积的第一层和反卷积的最后一层之间添加了跳转连接结构，因此网络结构仍然可以分割效果好，训练数据少.

递归神经网络（RNN）被开发用于离散序列分析，并在许多自然语言处理（NLP）中获得了巨大的成功和广泛的应用[72]. 传统的神经网络假定不同的输入和输出彼此独立. 网络中没有反馈连接，RNN网络结构至少包含一个反馈连接（自环），即假设电流输出不仅与电流输入有关，而且与先前的输出是相关的，因此RNN适合解决时间处理和顺序学习问题[73].

在实际的培训过程中，问题使传统的RNN在实践中难以应对长期依赖. [75]作为一种特殊的RNN，长期短期记忆（LSTM）绕开了这些问题，范围从学习到长期依赖. LSTM由Hochreiter等人提出. [76]，最近由Alex Graves [77]进行了改进和推广. Cho等. [78]提出将门控递归单元添加到LSTM网络结构以简化LSTM网络结构. 在许多实际问题中，LSTM取得了相当大的成功，并被广泛使用.

尽管最初提出了RNN，但网络输入是一维向量，但近年来，RNN已越来越多地用于图像处理. 在自然图像中，像素级RNN被用作自回归模型，生成模型最终可以产生类似于训练集样本的新图像.

对于医疗应用，RNN可以用于医疗图像分割问题. Stollenga等. [79]使用3D LSTM-RNN首次在六个方向上分割了大脑的MR图像，并以金字塔的方式在MD-LSTM中重新排列了传统的长方体计算顺序，从而使网络可以在GPU，极大地提高了网络训练效率图像分割c语言，并在MRBrainS挑战中取得了良好的分割效果. Andermatt等. [80]使用带有门控单元的3D RNN网络分割脑部MR图像中的灰色和白色物质，并结合数据预处理和后处理操作，进一步提高了分割精度. Chen等. [81]提出了一种基于FCN和RNN的3D图像分割新框架. 这是第一个明确使用3D图像各向异性的DL分割框架. 使用来自ISBI神经元结构分割挑战和3D真菌图像的数据集进行评估，其方法在分割精度方面优于已知的基于DL的3D分割方法. Poudel等. [82]提出了一种循环全卷积网络（RFCN），它将解剖学检测和图像分割相结合以形成一个端到端的网络结构，这大大缩短了计算时间，简化了分割流程，并提供了实时应用. 可能性.

随着计算机视觉和人工智能的发展，医学图像分割的准确性不断提高，为医学诊断提供了极大的帮助. 但是，由于人工智能科学家不了解临床需求，而临床医生也不了解人工智能的特定技术，因此人工智能无法很好地满足临床的特定需求[83]. 为了促进人工智能在医学领域的应用，应加强临床医生和机器学习科学家之间的广泛合作. 这种合作将解决机器学习研究人员无法获取医学数据的问题，并帮助机器学习研究人员开发更符合临床需求的深度学习算法，并将其应用于计算机辅助诊断设备，从而提高诊断效率和准确性.

深度学习算法的训练需要大量数据集. 但是，与自然图像相比，带注释的医学图像相对稀缺，且标签成本较高. 由于医学领域的敏感性和特殊性，医学数据的注释需要大量专家手动完成，这需要大量的人力和物力. 但是，即使在这种情况下，由于情况的复杂性和图像本身的模糊，也无法确保标记是完全准确的[84].

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-158793-2.html