图像分割技术简介

代表该点的下一个位置，h代表带宽. Meanshift算法具有良好的稳定性和鲁棒性，具有广泛的应用范围. 但是，该分割包含较少的语义信息，分割效果不理想，无法有效控制超像素数量，运行速度慢，不适合实时处理任务.

SLIC [7]

SLIC（简单线性迭代聚类）是Achanta等人提出的简单思想和便捷的实现算法. 在2010年，它将彩像转换为CIELAB色彩空间和XY坐标中的5维特征向量，然后转换为5维特征向量构造距离度量并执行图像像素的局部聚类. SLIC算法可以生成紧凑且接近均匀的超像素. 它在操作速度，物体轮廓保留和超像素形状方有很高的综合评价，更符合人们期望的分割效果.

SLIC算法的本质是将K-means算法用于超像素聚类. 众所周知，K均值算法的时间复杂度为O（NKI），其中N是图像中的像素数，K是聚类数，I是迭代数.

SLIC特定步骤:

（1）将图像转换为CIE Lab颜色空间

（2）初始化k个点（群集中心），并在图像上平均分布k个点，并且k个点均匀地填充整个图像.

（3）计算包含点的n * n（通常为3 * 3）区域中每个像素的梯度值，然后选择值最小（最平滑）的点作为新的点. 此步骤主要是为了防止点落在轮廓边界上.

（4）计算点周围2S * 2S正方形区域中所有像素的距离度量（计算方法将在后面描述）. 对于K-means算法，它将计算整个图像的所有像素，并且SLIC的计算范围为2S * 2S，因此SLIC算法可以快速收敛. 其中S = sqrt（N / k），N是图像像素数.

（5）可以通过多个点计算每个像素的距离度量，并选择与最小距离度量对应的点作为其聚类中心.

基于语义的分割方法

聚类方法可以将图像分为大小均匀且紧凑的超像素块，这为后续处理任务提供了基础. 但是，在实际场景的图片中，某些对象的结构更加复杂，内部差异也更大，仅像素的颜色，亮度和纹理等较低级别的内容信息不足以产生良好的分割效果效果，并且很容易产生错误的细分. 因此，需要越来越多的图像提供的高级内容信息来辅助图像分割，这被称为图像语义分割.

深度学习技术的出现，在图像分类任务中取得了巨大的成功，特别是它的高级语义信息建模能力已经在很大程度上解决了传统图像分割方法中语义信息不足的问题.

2013年，LeCun学生Farabet等人. 用一种有监督的方法来训练一个多尺度的深层整合网络[9]. 网络以某类像素为中心进行多尺度采样，将多尺度局部图像块发送给CNN分类器，对它们进行逐一分类，最后获得每个像素所属的语义类别. 在实际操作中，作者首先对图片进行超像素聚类，然后对每个超像素进行分类以获得最终的分割结果，从而在一定程度上提高了分割速度. 尽管此方法取得了良好的效果，但是由于逐像素窗口采样始终获取局部信息，因此整体语义仍然不够丰富，因此在后一个系列中进行了一系列改进. 对性网络进行逐一分析.

FCN（用于语义分割的全卷积网络）[10]

Long等. 在2014年提出了FCN方法. 这是深度学习在图像分割领域的一项开创性工作. 作者针对图像分割问题设计了任意大小的输入图像，并训练了端到端的全卷积. 该网络框架实现了逐个像素的分类，为解决使用深度网络的图像语义分割问题奠定了基础框架. 为了克服卷积网络最终输出层中空间位置信息的不足，通过双线性插值上采样并结合中间层输出的特征图，将粗分割结果转换为密集分割结果. 由于使用了下采样技术，FCN将丢失大量详细信息，并且随后的一系列方法也制定了相应的改进策略.

DeepLab系列

DeepLab-v1 [11]在FCN帧的末尾添加完全连接的CRF，以使分段更加准确. DeepLab模型首先使用双线性插值对FCN的输出进行升采样以获得粗略的分割结果，然后使用结果图中的每个像素作为节点构建CRF模型（DenseCRF），以提高模型捕获细节的能力. 该系列网络使用Dilated / Atrous卷积方法来扩展接收域并获得更多上下文信息，避免了DCNN中重复的最大合并和下采样导致的分辨率降低问题. 分辨率将丢失详细信息.

DeepLab-v2 [12]提出了一种类似的结构，即在给定输入上进行具有不同采样率的孔卷积的并行采样，这相当于在多个尺度下捕获图像的上下文，称为ASPP（无空间金字塔金字塔池）模块. ，并使用深度残差网络代替VGG16以提高模型的拟合能力. DeepLab-v3 [13]专注于空心卷积的使用，并改进了ASPP模块以促进更好地捕获多尺度上下文，并在实际应用中取得了很好的结果.

使用不同采样率的孔卷积并行采样

PSPNet（金字塔场景解析网络）[14]

作者提出的金字塔池模块可以聚合不同区域的上下文信息，从而提高获取全局信息的能力. 通过金字塔结构，基于FCN预测嵌入多尺度信息图像分割技术，全局特征和局部特征. 在该框架中，改进了具有复杂上下文和小目标的场景. 为了提高收敛速度，作者在骨干网中添加了附加的监督丢失功能.

U-Net [15]

U-Net由Fitzbau大学的Olaf Ronneberger等人于2015年提出. 与FCN相比，多尺度信息更为丰富，最初用于医学图像分割. 在生物图像分割中，两个最突出的挑战是: 几乎没有训练数据；用于相同类型的关联目标细分. 作者对第一个问题的解决方案是通过数据扩充. 通过在粗糙的3 * 3晶格上使用随机替换矢量，它们可以生成平滑变形. 第二个问题是使用加权损失来解决，它基于相邻单元格边界的背景标记在损失函数中具有较高的权重.

在编码部分，每次经过池化层时，都会构建一个新的比例尺，包括原始比例尺在内总共包括5个比例尺. 一旦被上采样图像分割技术，解码部分就以与对应于特征提取部分的信道数量相同的比例被融合. 以这种方式，获得了更丰富的上下文信息. 在解码过程中，多尺度融合丰富了详细信息，提高了分割精度.

SegNet [16]

SegNet和FCN非常相似，但是在“编码器”中对“”进行合并和上采样所使用的技术不一致. 另外，SegNet的编码器部分使用VGG16的第一个13层卷积网络，每个编码器层都对应一个层.

与FCN的池化相比，SegNet中的池化具有记录位置索引的附加功能，也就是说，每个池化将保存max op在过滤器中选择的权重的相对位置. ，取消合并会使图片放大2倍. 在最大池化之后，每个过滤器损失的权重无法恢复，但是池化过滤器在池化中的位置可以在``池化''层中获得，因此输入要素贴图在``池化''中首先加倍，然后输入要素图中的数据是根据池化指标输入的，总体计算效率略高于FCN.

随着计算机视觉领域深度学习的巨大成功，基于卷积神经网络的图像语义分割方法取得了突破性进展，使图像分割达到了一个新的水平. 笔者认为，如何继续提高分割算法的准确性，降低分割算法的复杂度是值得继续研究的问题.

[1] Greig DM，Porteour BT，Seheult AH. 二进制图像的最大后验估计. 皇家统计学会杂志，1989，51（2）: 271−279.

[2] J. Shi和J. Malik，归一化剪切和图像分割，IEEE Trans. 模式分析和机器智能，第一卷. 22号2000年8月，第8卷，第888-905页.

[3] Y. B. Yuri，G. F. Lea，“图割和有效的N-D图像分割”，《国际计算机视觉杂志》，第70卷，第2期，第109-131页，2006年.

[4] Y. Boykov和V. Kolmogorov. 通过图形切割计算测地线和最小曲面. 在国际计算机视觉会议上，第一卷，2003年第26-33页.

[5] Rother C，Kolmogorov V，Blake A. GrabCut: 使用迭代图割进行交互式前景提取. ACM Trans. on Graphics，2004，23（3）: 309-314. [doi: 10.1145 / 1186562.1015720] <

[6] Comaniciu D，MeerP. 均值平移: 进行特征空间分析的可靠方法. IEEE Trans. 模式分析与机器智能研究，2002,24（5）: 603−619. [doi: 10.1109 / 34.1000236]

[7] Achanta R，Shaji A，Smith K，Lucchi A，Fua P，SusstrunkS. SLIC超像素与最先进的超像素方法相比. IEEE Trans. 模式分析与机器智能研究，2012，34（11）: 2274−2282. [Doi: 10.1109 / tpami.2012.120]

[8]姜峰，顾庆，郝慧珍，李娜，郭彦文，陈道树. 基于内容的图像分割方法的综述. 软件学报，2017，28（1）: 160−183. jos.org.cn/ 1000-9825 / 5136.htm

[p] [9] C. Farabet，C. Couprie，L. Najman和Y. LeCun（2013）. 学习场景标记的分层功能. IEEE模式分析和机器智能交易，35（8）: 1915-1929.

[10] Long J，Shelhamer E，DarrellT. 完全卷积网络的语义分割. 在: Proc. 第28届IEEE Con​​f. 在CVPR上. 华盛顿: IEEE计算机协会，2015年. 1337−1342. [doi: 10.1109 / cvpr.2015.7298965]

[11]KrähenbühlP，KoltunV. 对具有高斯边缘电势的全连接CRFS的有效推断. 在: Proc. 神经信息处理系统的进展. 剑桥: 麻省理工学院出版社，2012年. 109−117. papers.nips .cc / paper /具有高斯边缘势能的4296效率完全连通的crfs推理

[12] L.-C. Chen，G. Papandreou，I. Kokkinos，K. Murphy和AL Yuille. Deeplab: 具有深度卷积网络，无规则卷积和完全连接的crfs的语义图像分割. arXiv预印本arXiv: 1606.00915，2016年.

[13] L.-C. Chen，G. Papandreou，F. Schroff和H.Adam. 重新考虑原子卷积以进行语义图像分割. arXiv预印本arXiv: 1706.05587，2017. 5，8，11

[14]赵恒双，石建平，齐小娟，王小刚和贾佳雅. 金字塔场景解析网络. arXiv预印本arXiv: 1610.21105，2016年.

[15] O. Ronneberger，P. Fischer和T. Brox，“ U-net: 用于生物医学图像分割的卷积网络”，在MICCAI中，2015年.

[16]肯德尔，亚历克斯，维杰·巴德里纳拉亚南和罗伯托·西波拉. “贝叶斯SegNet: 用于场景理解的深度卷积编码器-体系结构中的模型不确定性. ” arXiv预印本arXiv: 1511.02680（2015）.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-183018-1.html