协方差矩阵的几何解释(2)

换句话说，协方差矩阵的最大特征向量总是指向数据最大方差的方向，并且该向量的幅度等于相应的特征值。第二大特征向量总是正交于最大特征向量，并指向第二大数据的传播方向。

现在，让我们来看看一些例子。在文章《特征值和特征向量》中，我们看到一个线性变换矩阵T完全由它的特征向量和特征值定义。应用到协方差矩阵，这意味着：

如果我们数据的协方差矩阵是对角矩阵，使得协方差是零，那么这意味着方差必须等于特征值λ。如图4所示，特征向量用绿色和品红色表示，特征值显然等于协方差矩阵的方差分量。

然而，如果协方差矩阵不是对角的，使得协方差不为零，那么情况稍微更复杂一些。特征值仍代表数据最大传播方向的方差大小，协方差矩阵的方差分量仍然表示x轴和y轴方向上的方差大小。但是，因为数据不是轴对齐的，所以这些值不再与图5所示的相同。

通过比较图5与图4，可以清楚地看到特征值表示沿特征向量方向数据的方差，而协方差矩阵的方差分量表示沿轴的传播。如果没有协方差，则这两个值是相等的。

协方差矩阵作为线性变换

现在，让我们忘了协方差矩阵。图3的实例可以简单地认为是图6的一个线性变换实例：

图6所示的数据是D，则图3所示的每个实例可以通过线性变换D得到：

其中T是变换矩阵，包括一个旋转矩阵R和缩放矩阵S：

这些矩阵定义如下：

其中

是旋转角度。

分别是x方向和y方向的比例因子。

在下面的段落中，我们将讨论协方差矩阵

与线性变换矩阵T= RS之间的关系。

让我们先从未缩放（缩放相当于1）和未旋转的数据开始。在统计中，这往往为“白数据’，因为它的样本是从标准正态分布引出的，因此对应于白（不相关）噪声：

这个“白色”数据的协方差矩阵等于单位矩阵，使得方差和标准差等于1，协方差等于零：

现在让我们用因子4在x方向缩放数据：

数据D’现在如下：

D’的协方差

现在是：

D’的协方差

与线性变换矩阵T有关系，D=TD，其中:

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-402-2.html