[转载]高维数据聚类中的聚类方式

降维作为现在好多研究领域的重要研究分支之一，其方式本来就多种多样，根据降维技巧的不同，产生了这些基于卷积的降维方法，如Kohonen自组织特征映射（self-organizing feature map，ＳＯＦＭ） 、主成分分析（Principle component analysis，ＰＣＡ） 、多维缩放（Multi-dimensional scaling ，ＭＤＳ） 等。此外也有一种特殊的卷积插值方式，即基于聚类的残差 。

Ｋｏｈｏｎｅｎ 自组织特点映射是一种基于神经元网络的方式，它在保留数据的近似关系的前提下，寻求高维数据的低维特征映射，基于该方式对高维数据进行加权处理，是一类典型的投影聚类方式。在Ｋｏｈｏｎｅｎ 自组织特点映射中高维聚类分析，竞争层的每一个神经元都要互相竞争，胜出的神经元及其近邻神经元则更新他们的残差向量，以使其与输入数据尽可能相似。对神经网络进行练习过后，每个高维数据都将按照与神经元的残差向量的匹配情况投影到这种神经元上。

ＳＯＦＭ 的优点在于它没有提供一个具体的准则来评判从高维到低维转换的优劣。而且针对很高维的数据而言，神经网络的练习过程收敛会很慢。主成分分析只是应用较为广泛的迭代方式之一。对于一个包含n 个m 维数据的数据集，ＰＣＡ 方法首先计算一个m ×m阶的协方差矩阵；然后推导该矩阵的k 个主导的特点向量，这k 个特点向量代表了原始数据的主要特点。在此基础上，即可把原始的高维数据沿着k 个特点向量代表的方向进行投影。由于投影以后的数据具备相对很低的维度，则可以借助传统的聚类算法进行拟合处理。

ＰＣＡ 虽然提供了一些技巧来确认上述k 值，但不同的方式所确认的k 值差距巨大，因此还是很难找到恰当合理的k 值。k 取值太小，会舍弃原始数据的重要特点；而k 取值过大，虽然能保留绝大部分原始信息，但投影以后的数据维度依旧会很好，聚类处理一直会很困难。ＰＣＡ 的另一个缺陷在于，其空间复杂度是O（m２ ），时间复杂度是一个取决于特征值的数目以及高于O（m２）的值。为了将ＰＣＡ 的成熟观念更好地应用于非线性降维领域，又有研究者对线性ＰＣＡ 进行了扩展，从而形成了核ＰＣＡ（Kernel ＰＣＡ ） 。

多维缩放也是把高维数据映射到低维空间的一种方法，其映射过程保留了数据点之间的差异性（或相似性），即在原始数据集中相近的点一直靠在一起，而摆脱的点一直避开。该类算法的基本出发点是数据点之间的相似性（或差异性）描述。由于降维的目的就是寻求保持数据集感兴趣特性的低维数据集，通过低维数据的预测来获取相应的高维数据特征，从而超过简化分析、获取数据有效特征及其可视化数据的目标。因此，只要最大限度地维持数据间的差异性，便可获得有效的低维表示。ＭＤＳ 的弊端在于，首先它没有提供一个好的原则来确认到底将数据降到多少维；此外，大多数该类方法的时间复杂度都是O（n２ ）。其中n 为数据集的规模。

基于聚类的残差是近年来才受到关注的一类技巧。采用分形的观念，首先可以较为准确地大概出数据的本征维高维聚类分析，从而为进一步降维提供指导性的参考。与其它方式对本征维的恐怕所不同的是，基于聚类的方式能得到非整数值的本征维，即一般所说的分数维。关于分数维的定义，也有多种不同的表述，其中应用较广泛的是计盒维（box-counting dimension）和相关维（correlation dimension）。基于对这种相应维的恐怕，产生了一系列不同的方式，它们都为降维处理奠定了良好的基础。

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-126192-1.html