协方差矩阵的几何解释(3)

然而，虽然数据在x和y方向上缩放时等式（12）成立，但是应用旋转是否依然成立呢？为了调查一般情况下线性变换矩阵T和协方差矩阵

之间的关系，我们试图分解协方差矩阵为旋转和缩放矩阵的乘积。

正如我们前面所看到的，我们可以用特征向量和特征值表示协方差矩阵：

等式（13）保存矩阵Σ的每个特征向量和特征值。在2D情况下，我们得到两个特征值和两个特征值。由公式（13）定义的两个等式可以有效地用矩阵符号来表示：

其中V是矩阵，它的列是Σ的特征向量，L是对角矩阵，其非零元素对应特征值。

这意味着我们可以将协方差矩阵表示为特征向量和特征值的函数：

方程（15）就是所谓协方差矩阵特征值分解，并可以使用奇异值分解算法来获得。而特征向量表示数据最大方差的方向，特征值表示那些方向方差的幅度。换言之，V表示旋转矩阵，而

表示一个缩放矩阵。协方差矩阵可以进一步分解为：

在等式（6）中，我们定义了一个线性变换T= RS。由于S是对角缩放矩阵，所以S=ST。此外，由于R为正交矩阵，R-1=RT。因此，

协方差矩阵可以写为：

换言之，如果我们应用由T=RS定义的线性变换到图7所示的原始白数据，我们得到了旋转和缩放的数据D’及协方差矩阵

，。这示于图10：

图10的彩色箭头表示特征向量。最大特征向量，即与最大特征值对应的特征向量，总是指向数据最大方差的方向，并由此确定其方位。次特征向量总是正交于最大特征向量，因为旋转矩阵的正交性。

总结
在本文中，我们表明观察到数据的协方差矩阵与白色不相关数据的线性变换有直接的关系。此线性变换完全由数据的特征向量和特征值确定。而特征向量表示旋转矩阵，特征值对应于每个维度上缩放因子的平方。

posted @

以上就是关于协方差矩阵的全部内容，相信你一定会非常满意。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-402-3.html