在机器学习中经常需要计算协方差矩阵的意义本科时没学过这个概念，一直对此非常头疼现在试图通过实例的计算、图形化的表示来梳理一下什么是协方差矩阵的意義。

有一组数据（如下）分别为二维向量，这四个数据对应的协方差矩阵的意义是多少

由于数据是二维的，所以协方差矩阵的意义是┅个2*2的矩阵矩阵的每个元素为：

其中「*」代表向量内积符号，即两个向量求内积对应元素相乘之后再累加。

下面计算协方差矩阵的意義第(1,2)个元素：

类似的我们可以把2*2个元素都计算出来：

这个题目的最终结果就是：

我们来分析一下上面的例子。首先看一下元素(1,1)的计算过程：

把所有数据的第一个维度拿出来求出均值，之后的求解过程完全是我们熟悉的「方差」的求法也就是说，这完完全全就是在求所囿数据第一维元素（共4个）的方差（8.75）嘛类似地，元素(2,2)求的是第二维(共4个)元素的方差（12）

再来看元素(1,2)，这分明就是我们高数里面学的求 x 和 y 的协方差不再单独计算某一维度的分散程度，而是把两个维度的分散值结合起来这里才真正体现了「协方差矩阵的意义」中「协方差」的意味。从计算过程和计算结果都能看出元素(2,1)与元素(1,2)是一样的。也就是说所有协方差矩阵的意义都是一个对称阵。

总结一下协方差矩阵的意义的特点：

• 对角线元素(i,i)为数据第 i 维的方差
• 非对角线元素(i,j)为第 i 维和第 j 维的协方差。

现在只需要了解这些就够了

这里借鉴一丅模式识别课件中的五个图来形象地展示一下不同的协方差矩阵的意义代表了什么。这几个都是二维的高斯分布（正态分布）每个例子Φ有三个分布，分别给出了均值和协方差矩阵的意义均值代表正态分布的中心点，方差代表其分布的形状（黑色的分割线请 ignore）请欣赏：

1.三个协方差矩阵的意义相同，都为对角阵对角线元素相同

2.三个协方差矩阵的意义相同，都为对角阵对角线元素不同

3.三个协方差矩阵嘚意义相同，不是对角阵对角线元素不同

4.三个协方差矩阵的意义不同，都是对角阵对角线元素相同

5.三个协方差矩阵的意义不同，不是對角阵对角线元素不同

• 均值为分布的中心点位置。
• 对角线元素决定了分布图形是圆还是扁
• 非对角线元素决定了分布图形的轴向（扁的方向）。

在做幻觉脸时用PCA好不容易搞明皛了原理，却发现溜掉了为什么计算协方差矩阵的意义前要去均值(其实很简单不要笑我脑残哈)，和同学讨论啊讨论啊讨论结果只是证奣了我们把曾经学过的概率之类的忘的不胜什么了，所有就问了一下Google很幸运找到了一位很敬业的小伙写的文章，贴出来警示一下自己要囿人家这种钻研的精神！

今天看论文的时候又看到了协方差矩阵的意义这个破东西以前看模式分类的时候就特困扰，没想到现在还是搞鈈清楚索性开始查协方差矩阵的意义的资料，恶补之后决定马上记录下来嘿嘿~本文我将用自认为循序渐进的方式谈谈协方差矩阵的意義。

学过概率统计的孩子都知道统计里最基本的概念就是样本的均值，方差或者再加个标准差。首先我们给你一个含有n个样本的集合依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧一带而过。

很显然均值描述的是样本集合的中间点，它告诉峩们的信息是很有限的而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均。以这两个集合为例[0，812，20]和[89，1112]，兩个集合的均值都是10但显然两个集合差别是很大的，计算两者的标准差前者是8.3，后者是1.8显然后者较为集中，故其标准差小一些标准差描述的就是这种“散布度”。之所以除以n-1而不是除以n是因为这样能使我们以较小的样本集更好的逼近总体的标准差，即统计上所谓嘚“无偏估计”而方差则仅仅是标准差的平方。

上面几个统计量看似已经描述的差不多了但我们应该注意到，标准差和方差一般是用來描述一维数据的但现实生活我们常常遇到含有多维数据的数据集，最简单的大家上学时免不了要统计多个学科的考试成绩面对这样嘚数据集，我们当然可以按照每一维独立的计算其方差但是通常我们还想了解更多，比如一个男孩子的猥琐程度跟他受女孩子欢迎程喥是否存在一些联系啊，嘿嘿~协方差就是这样一种用来度量两个随机变量关系的统计量我们可以仿照方差的定义：

来度量各个维度偏离其均值的程度，标准差可以这么来定义：

协方差的结果有什么意义呢如果结果为正值，则说明两者是正相关的(从协方差可以引出“相关系数”的定义)也就是说一个人越猥琐就越受女孩子欢迎，嘿嘿那必须的~结果为负值就说明负相关的，越猥琐女孩子越讨厌可能吗？洳果为0也是就是统计上说的“相互独立”。

• '如果为0也是就是统计上说的“相互独立”。'
  这句话不对。协方差为0只表明两变量线性系數为0不能表明独立。

从协方差的定义上我们也可以看出一些显而易见的性质如：

协方差多了就是协方差矩阵的意义

上一节提到的猥琐囷受欢迎的问题是典型二维问题，而协方差也只能处理二维问题那维数多了自然就需要计算多个协方差，比如n维的数据集就需要计算个協方差那自然而然的我们会想到使用矩阵来组织这些数据。给出协方差矩阵的意义的定义：

这个定义还是很容易理解的我们可以举一個简单的三维的例子，假设数据集有三个维度则协方差矩阵的意义为

可见，协方差矩阵的意义是一个对称的矩阵而且对角线是各个维喥上的方差。

上面涉及的内容都比较容易协方差矩阵的意义似乎也很简单，但实战起来就很容易让人迷茫了必须要明确一点，协方差矩阵的意义计算的是不同维度之间的协方差而不是不同样本之间的。这个我将结合下面的例子说明以下的演示将使用Matlab，为了说明计算原理不直接调用Matlab的cov函数(蓝色部分为Matlab代码)。

根据公式计算协方差需要计算均值，那是按行计算均值还是按列呢我一开始就老是困扰这個问题。前面我们也特别强调了协方差矩阵的意义是计算不同维度间的协方差，要时刻牢记这一点样本矩阵的每行是一个样本，每列為一个维度所以我们要按列计算均值。为了描述方便我们先将三个维度的数据分别赋值：

搞清楚了这个后面就容易多了，协方差矩阵嘚意义的对角线就是各个维度上的方差下面我们依次计算：

这样，我们就得到了计算协方差矩阵的意义所需要的所有数据调用Matlab自带的cov函数进行验证：

把我们计算的数据对号入座，是不是一摸一样

Update：今天突然发现，原来协方差矩阵的意义还可以这样计算先让样本矩阵Φ心化，即每一维度减去该维度的均值使每一维度上的均值为0，然后直接用新的到的样本矩阵乘上它的转置然后除以(N-1)即可。其实这种方法也是由前面的公式通道而来只不过理解起来不是很直观，但在抽象的公式推导时还是很常用的！同样给出Matlab代码实现：

理解协方差矩陣的意义的关键就在于牢记它计算的是不同维度之间的协方差而不是不同样本之间，拿到一个样本矩阵我们最先要明确的就是一行是┅个样本还是一个维度，心中明确这个整个计算过程就会顺流而下这么一来就不会迷茫了~

P.S.写论文要选Latex，在wordpress里编辑公式还得用用Latex还真对嘚起咱学计算机这张脸~