协方差矩阵的几何解释

你是否正在寻找关于协方差矩阵的内容？让我把最新的东西奉献给你：

协方差矩阵的几何解释

A geometric interpretation of the covariance matrix

译文：

介绍

在本文中，我们通过探索线性变换与所得数据协方差之间的关系提供协方差矩阵一个直观的几何解释。大部分教科书基于协方差矩阵的概念解释数据的形状。相反，我们采取一个反向的方法，根据数据的形状来解释协方差矩阵的概念。

在《为什么样本方差除以N-1？》的文章中，我们会讨论方差的概念，并提供了众所周知的估算样本方差公式的推导和证明。这篇文章中使用的图1表明标准差（方差的平方根）提供了数据在特征空间上传播多少的量度。

我们发现，样本方差的无偏估计可由下式获得：

然而，方差只能用于解释平行于特征空间轴方向的数据传播。考虑图2所示的二维特征空间：

对于这个数据，我们可以计算出在x方向上的方差

和y方向上的方差

。然而，数据的水平传播和垂直传播不能解释明显的对角线关系。图2清楚地显示，平均而言，如果一个数据点的x值增加，则y值也将增加，这产生了正相关。这种相关性可以通过扩展方差概念到所谓的数据“协方差”捕捉到：

对于2D数据，我们得到

，这些值可以用矩阵来表示，该矩阵叫做协方差矩阵：

如果x与y是正相关的，那么y和x也是正相关的。换句话说，

。因此，协方差矩阵始终是一个对称矩阵，其对角线上是方差，非对角线上是协方差。二维正态分布数据由它的均值和2x2协方差矩阵就可以完全解释。同样，一个3x3协方差矩阵用于捕捉三维数据的传播，一个NxN协方差矩阵捕获N维数据的传播。

图3展示了数据的整体形状如何定义协方差矩阵：

协方差矩阵的特征值分解

在下一节，我们将讨论协方差矩阵如何被解释为白色数据转换成我们观察到数据的线性操作。然而，在深入技术细节之前，对特征向量和特征值如何唯一地确定协方差矩阵（数据形状）有一个直观的认识是非常重要的。

正如我们在图3看到的，协方差矩阵定义了我们数据的传播（方差）和方向（协方差）。因此，如果我们想用一个向量和它的大小来表示协方差矩阵，我们应该简单地尝试找到指向数据最大传播方向上的向量，其大小等于这个方向上的传播（方差）。

如果我们定义这个向量为

，那么我们数据D到这个向量上的映射为

，映射数据的方差是

。由于我们正在寻找指向最大方差方向的向量

，所以我们应该选择它的成分，使得映射数据的协方差矩阵

尽可能的大。最大化

的形式为

的任何函数，其中

是归一化单位向量，可以用一个所谓的瑞利商表示。通过设置

等于矩阵的最大特征特征向量

可以获得这样瑞利商的最大值。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-402-1.html