4.5矩、协方差矩阵_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
评价文档：
4.5矩、协方差矩阵
上传于||暂无简介
大小：263.50KB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢5429人阅读
【Image Engineering】（131）
【Machine Learning】（35）
引言当面对的数据被抽象为一组向量，那么有必要研究一些向量的数学性质。而这些数学性质将成为PCA的理论基础。理论描述向量运算即：内积。首先，定义两个维数相同的向量的内积为：(a1,a2,?,an)T?(b1,b2,?,bn)T=a1b1+a2b2+?+anbn内积运算将两个向量映射为一个实数。其计算方式非常容易理解，但是其意义并不明显。所以，我们分析内积的几何意义。假设A和B是两个n维向量，我们知道n维向量可以等价表示为n维空间中的一条从原点发射的有向线段，为了简单起见我们假设A和B均为二维向量，则A=(x1,y1)，B=(x2,y2)。则在二维平面上A和B可以用两条发自原点的有向线段表示，如图1所示。现在，我们从A点向B所在直线引一条垂线。我们知道垂线与B的交点叫做A在B上的投影，再设A与B的夹角是a，则投影的矢量长度为|A|cos(a)，其中|A|=x21+y21------√是向量A的模，也就是A线段的标量长度。注意这里我们专门区分了矢量长度和标量长度，标量长度总是大于等于0，值就是线段的长度；而矢量长度可能为负，其绝对值是线段长度，而符号取决于其方向与标准方向相同或相反。到这里还是看不出内积和这东西有什么关系，不过如果我们将内积表示为另一种我们熟悉的形式：A?B=|A||B|cos(a)现在事情似乎是有点眉目了：A与B的内积等于A到B的投影长度乘以B的模。再进一步，如果我们假设B的模为1，即让|B|=1，那么就变成了：A?B=|A|cos(a)也就是说，设向量B的模为1，则A与B的内积值等于A向B所在直线投影的矢量长度！这就是内积的一种几何解释，也是我们得到的第一个重要结论。在后面的推导中，将反复使用这个结论。&图1&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&& 　图2基本节将继续在二维空间内讨论向量。上文说过，一个二维向量可以对应二维笛卡尔直角坐标系中从原点出发的一个有向线段。例如图2所示，这个向量，在代数表示方面，我们经常用线段终点的点坐标表示向量，例如上面的向量可以表示为(3,2)，这是我们再熟悉不过的向量表示。不过我们常常忽略，只有一个(3,2)本身是不能够精确表示一个向量的。我们仔细看一下，这里的3实际表示的是向量在x轴上的投影值是3，在y轴上的投影值是2。也就是说我们其实隐式引入了一个定义：以x轴和y轴上正方向长度为1的向量为标准。那么一个向量(3,2)实际是说在x轴投影为3而y轴的投影为2。注意投影是一个矢量，所以可以为负。更正式的说，向量(x,y)实际上表示线性组合：x(1,0)T+y(0,1)T不难证明所有二维向量都可以表示为这样的线性组合。此处(1,0)和(0,1)叫做二维空间中的一组基，如图3。所以，要准确描述向量，首先要确定一组基，然后给出在基所在的各个直线上的投影值，就可以了。只不过我们经常省略第一步，而默认以(1,0)和(0,1)为基。我们之所以默认选择(1,0)和(0,1)为基，当然是比较方便，因为它们分别是x和y轴正方向上的单位向量，因此就使得二维平面上点坐标和向量一一对应，非常方便。但实际上任何两个线性无关的二维向量都可以成为一组基，所谓线性无关在二维平面内可以直观认为是两个不在一条直线上的向量。&&&&&&&&&&&&&&&&&&&&&&图3&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&& 图4例如，(1,1)和(-1,1)也可以成为一组基。一般来说，我们希望基的模是1，因为从内积的意义可以看到，如果基的模是1，那么就可以方便的用向量点乘基而直接获得其在新基上的坐标了！实际上，对应任何一个向量我们总可以找到其同方向上模为1的向量，只要让两个分量分别除以模就好了。例如，上面的基可以变为(12√,12√)和(-12√,12√)。现在，我们想获得(3,2)在新基上的坐标，即在两个方向上的投影矢量值，那么根据内积的几何意义，我们只要分别计算(3,2)和两个基的内积，不难得到新的坐标为(52√,-12√)。图4给出了新的基以及(3,2)在新基上坐标值的示意图4所示。另外这里要注意的是，我们列举的例子中基是正交的（即内积为0，或直观说相互垂直），但可以成为一组基的唯一要求就是线性无关，非正交的基也是可以的。不过因为正交基有较好的性质，所以一般使用的基都是正交的。基变换的矩阵表示下面我们找一种简便的方式来表示基变换。还是拿上面的例子，想一下，将(3,2)变换为新基上的坐标，就是用(3,2)与第一个基做内积运算，作为第一个新的坐标分量，然后用(3,2)与第二个基做内积运算，作为第二个新坐标的分量。实际上，我们可以用矩阵相乘的形式简洁的表示这个变换：(1/2√-1/2√1/2√1/2√)(32)=(5/2√-1/2√)太漂亮了！其中矩阵的两行分别为两个基，乘以原向量，其结果刚好为新基的坐标。可以稍微推广一下，如果我们有m个二维向量，只要将二维向量按列排成一个两行m列矩阵，然后用“基矩阵”乘以这个矩阵，就得到了所有这些向量在新基下的值。例如(1,1)，(2,2)，(3,3)，想变换到刚才那组基上，则可以这样表示：(1/2√-1/2√1/2√1/2√)(112233)=(2/2√04/2√06/2√0)于是一组向量的基变换被干净的表示为矩阵的相乘。一般的，如果我们有M个N维向量，想将其变换为由R个N维向量表示的新空间中，那么首先将R个基按行组成矩阵A，然后将向量按列组成矩阵B，那么两矩阵的乘积AB就是变换结果，其中AB的第m列为A中第m列变换后的结果。数学表示为：??????p1p2?pR??????(a1a2?aM)=??????p1a1p2a1?pRa1p1a2p2a2?pRa2????p1aMp2aM?pRaM??????其中pi是一个行向量，表示第i个基，aj是一个列向量，表示第j个原始数据记录。特别要注意的是，这里R可以小于N，而R决定了变换后数据的维数。也就是说，我们可以将一N维数据变换到更低维度的空间中去，变换后的维度取决于基的数量。因此这种矩阵相乘的表示也可以表示降维变换。最后，上述分析同时给矩阵相乘找到了一种物理解释：两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行行向量为基所表示的空间中去。更抽象的说，一个矩阵可以表示一种线性变换。很多同学在学线性代数时对矩阵相乘的方法感到奇怪，但是如果明白了矩阵相乘的物理意义，其合理性就一目了然了。协方差矩阵及优化目标上述我们讨论了选择不同的基可以对同样一组数据给出不同的表示，而且如果基的数量少于向量本身的维数，则可以达到降维的效果。但是我们还没有回答一个最最关键的问题：如何选择基才是最优的。或者说，如果我们有一组N维向量，现在要将其降到K维（K小于N），那么我们应该如何选择K个基才能最大程度保留原有的信息？要完全数学化这个问题非常繁杂，这里我们用一种非形式化的直观方法来看这个问题。为了避免过于抽象的讨论，我们仍以一个具体的例子展开。假设我们的数据由五条记录组成，将它们表示成矩阵形式：(1113234424)其中每一列为一条数据记录，而一行为一个字段。为了后续处理方便，我们首先将每个字段内所有值都减去字段均值，其结果是将每个字段都变为均值为0（这样做的道理和好处后面会看到）。我们看上面的数据，第一个字段均值为2，第二个字段均值为3，所以变换后：(-1-2-10002101)我们可以看下五条数据在平面直角坐标系内的样子：现在问题来了：如果我们必须使用一维来表示这些数据，又希望尽量保留原始的信息，你要如何选择？通过上一节对基变换的讨论我们知道，这个问题实际上是要在二维平面中选择一个方向，将所有数据都投影到这个方向所在直线上，用投影值表示原始记录。这是一个实际的二维降到一维的问题。那么如何选择这个方向（或者说基）才能尽量保留最多的原始信息呢？一种直观的看法是：希望投影后的投影值尽可能分散。以上图为例，可以看出如果向x轴投影，那么最左边的两个点会重叠在一起，中间的两个点也会重叠在一起，于是本身四个各不相同的二维点投影后只剩下两个不同的值了，这是一种严重的信息丢失，同理，如果向y轴投影最上面的两个点和分布在x轴上的两个点也会重叠。所以看来x和y轴都不是最好的投影选择。我们直观目测，如果向通过第一象限和第三象限的斜线投影，则五个点在投影后还是可以区分的。接下来，我们用数学方法表述这个问题。方差上文说到，我们希望投影后投影值尽可能分散，而这种分散程度，可以用数学上的方差来表述。此处，一个字段的方差可以看做是每个元素与字段均值的差的平方和的均值，即：Var(a)=1m∑i=1m(ai-μ)2由于上面我们已经将每个字段的均值都化为0了，因此方差可以直接用每个元素的平方和除以元素个数表示：Var(a)=1m∑i=1ma2i于是上面的问题被形式化表述为：寻找一个一维基，使得所有数据变换为这个基上的坐标表示后，方差值最大。协方差对于上面二维降成一维的问题来说，找到那个使得方差最大的方向就可以了。不过对于更高维，还有一个问题需要解决。考虑三维降到二维问题。与之前相同，首先我们希望找到一个方向使得投影后方差最大，这样就完成了第一个方向的选择，继而我们选择第二个投影方向。如果我们还是单纯只选择方差最大的方向，很明显，这个方向与第一个方向应该是“几乎重合在一起”，显然这样的维度是没有用的，因此，应该有其他约束条件。从直观上说，让两个字段尽可能表示更多的原始信息，我们是不希望它们之间存在（线性）相关性的，因为相关性意味着两个字段不是完全独立，必然存在重复表示的信息。数学上可以用两个字段的协方差表示其相关性，由于已经让每个字段均值为0，则：Cov(a,b)=1m∑i=1maibi可以看到，在字段均值为0的情况下，两个字段的协方差简洁的表示为其内积除以元素数m。当协方差为0时，表示两个字段完全独立。为了让协方差为0，我们选择第二个基时只能在与第一个基正交的方向上选择。因此最终选择的两个方向一定是正交的。至此，我们得到了降维问题的优化目标：将一组N维向量降为K维（K大于0，小于N），其目标是选择K个单位（模为1）正交基，使得原始数据变换到这组基上后，各字段两两间协方差为0，而字段的方差则尽可能大（在正交的约束下，取最大的K个方差）。协方差矩阵上面我们导出了优化目标，但是这个目标似乎不能直接作为操作指南（或者说算法），因为它只说要什么，但根本没有说怎么做。所以我们要继续在数学上研究计算方案。我们看到，最终要达到的目的与字段内方差及字段间协方差有密切关系。因此我们希望能将两者统一表示，仔细观察发现，两者均可以表示为内积的形式，而内积又与矩阵相乘密切相关。于是我们来了灵感：假设我们只有a和b两个字段，那么我们将它们按行组成矩阵X：X=(a1b1a2b2??ambm)然后我们用X乘以X的转置，并乘上系数1/m：1mXXT=???????1m∑i=1ma2i1m∑i=1maibi1m∑i=1maibi1m∑i=1mb2i???????奇迹出现了！这个矩阵对角线上的两个元素分别是两个字段的方差，而其它元素是a和b的协方差。两者被统一到了一个矩阵的。根据矩阵相乘的运算法则，这个结论很容易被推广到一般情况：设我们有m个n维数据记录，将其按列排成n乘m的矩阵X，设C=1mXXT，则C是一个对称矩阵，其对角线分别个各个字段的方差，而第i行j列和j行i列元素相同，表示i和j两个字段的协方差。协方差矩阵对角化根据上述推导，我们发现要达到优化目前，等价于将协方差矩阵对角化：即除对角线外的其它元素化为0，并且在对角线上将元素按大小从上到下排列，这样我们就达到了优化目的。这样说可能还不是很明晰，我们进一步看下原矩阵与基变换后矩阵协方差矩阵的关系：设原始数据矩阵X对应的协方差矩阵为C，而P是一组基按行组成的矩阵，设Y=PX，则Y为X对P做基变换后的数据。设Y的协方差矩阵为D，我们推导一下D与C的关系：D=====1mYYT1m(PX)(PX)T1mPXXTPTP(1mXXT)PTPCPT现在事情很明白了！我们要找的P不是别的，而是能让原始协方差矩阵对角化的P。换句话说，优化目标变成了寻找一个矩阵P，满足PCPT是一个对角矩阵，并且对角元素按从大到小依次排列，那么P的前K行就是要寻找的基，用P的前K行组成的矩阵乘以X就使得X从N维降到了K维并满足上述优化条件。现在所有焦点都聚焦在了协方差矩阵对角化问题上，由上文知道，协方差矩阵C是一个是对称矩阵，在线性代数上，实对称矩阵有一系列非常好的性质：第一、实对称矩阵不同特征值对应的特征向量必然正交；第二、设特征向量λ重数为r，则必然存在r个线性无关的特征向量对应于λ，因此可以将这r个特征向量单位正交化。由两条性质可知，一个n行n列的实对称矩阵一定可以找到n个单位正交特征向量，设这n个特征向量为e1,e2,?,en，我们将其按列组成矩阵：E=(e1e2?en)则对协方差矩阵C有如下结论：ETCE=Λ=??????λ1λ2?λn??????其中Λ为对角矩阵，其对角元素为各特征向量对应的特征值(可能有重复)。因此，我们可以发现已经找到了需要的矩阵P：P=ETP是协方差矩阵的特征向量单位化后按行排列出的矩阵，其中每一行都是C的一个特征向量。如果设P按照Λ中特征值的从大到小，将特征向量从上到下排列，则用P的前K行组成的矩阵乘以原始数据矩阵X，就得到了我们需要的降维后的数据矩阵Y。关于Image Engineering & Computer Vision的更多讨论与交流，敬请关注本博客和新浪微博.
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：812057次
积分：12541
积分：12541
排名：第827名
原创：417篇
转载：14篇
译文：18篇
评论：302条
关注图像处理与分析、图像工程、信息隐藏、算法研究、软件项目管理、计算机视觉、机器学习、物联网等学科和产业，希望结识更多同道中人。
微信公众号: songzitea
拒绝索取源代码
文章：43篇
阅读：53383
文章：23篇
阅读：44207
文章：60篇
阅读：70044
文章：33篇
阅读：78306
文章：10篇
阅读：43407
文章：46篇
阅读：128057
文章：46篇
阅读：168471
(2)(4)(6)(9)(27)(22)(6)(9)(6)(7)(4)(1)(2)(4)(10)(9)(4)(4)(5)(5)(14)(9)(6)(7)(5)(4)(5)(1)(2)(3)(6)(11)(6)(14)(34)(25)(21)(19)(6)(13)(15)(1)(2)(31)(4)(7)(7)(11)(3)(1)(1)(3)(1)(1)(2)(1)(2)一、协方差矩阵的定义及其计算公式
　　协方差矩阵在机器学习中经常用到，查看wiki：可知协方差矩阵的具体计算公式如下：
在与中，协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的。这是从标量到高维度的自然推广。
假设是以个标量随机变量组成的，
并且是其第i个元素的，即, 。协方差矩阵被定义的第i，j项是如下：
矩阵中的第个元素是与的协方差。这个概念是对于的一般化推广。
二、理解的关键
　　1、理解的关键是两个随机变量x1,x2的协方差如何计算，有cov(x1,x2) = E{[(x1-E(x1)][x2-E(x2)]}，对于离散的随机变量x1,x2,协方差矩阵描述的x1,x2相互联系的偏差，所以两个随机变量是一一对应的，即假设有m个样本值，则分别为(x11,x21),(x12,x22),(x13,x23),...(x1m,x2m)，这便可以写成一个2*m的矩阵的形式。则x1,x2协方差表示的是两个随机变量对应的样本值分别都减去各自均值后的乘积的均值（因为无偏性估计的缘故，除以的不是m而是m-1)；
　　2、所以对于一个n*m的样本矩阵，得出的协方差矩阵C是n*n的矩阵，协方差矩阵每个元素Cij表示的随机变量xi,xj的协方差。所以协方差矩阵是一个对称矩阵，且对角线上元素为每个随机变量的方差（如果是信号的话可以看成是能量）；如果各个变量相关性很小的话，互相的协方差接近0，即协方差矩阵基本上为对角阵；
　　3、可以证明，协方差矩阵是非负定矩阵，这可以有非负定矩阵的定义得到；（参考北京大学出版社《多元统计分析》）
　　4、同样地，为了表示各个随机变量相关性到底有多大，可以引入相关性矩阵。
三、matlab计算公式：
　　matlab中有一个计算协方差矩阵的函数cov，从其help中可知，该函数的输入为一个m*n的矩阵X，其定义和wiki上的定义相反，每一行表示一个随机向量，即有n个随机变量。如果将一个随机向量看成一个模式的特征向量的话，那么该矩阵表示该模式的一个特征向量用n个特征表示，共有m个特征向量，即有m个样本。
根据matlab中的help文档的cov函数介绍写一个类似的函数：
1 function cov = covariance(X)
2 % 由随机变量样本矩阵计算协方差矩阵
3 %---- 输入：
M*N的样本矩阵，其中一行表示一个随机向量样本
共有M个随机样本
6 %---- 输出：
N*N的协方差矩阵，表示各个随机变量的协方差
8 %---- 计算方法
9 % 随机变量均值用样本均值统计量估计：X_mean = 1/N*&SXi;
10 % 随机变量方差用样本方差统计量估计：S = 1/(N-1)*&S(Xi-X_mean)^2
11 % 随机变量协方差可以用如下统计量估计：C = 1/(N-1)*&S(Xi-X_mean)(Yi-Y_mean)
13 % 各个样本减去其平均值
14 % X = bsxfun(@minus,X,mean(X));
15 %或者：
16 %X = X-repmat(mean(X),size(X,1),1);
17 cov = 1/(size(X,1)-1)*X'*X;
阅读(...) 评论()苹果/安卓/wp
学科带头人
学科带头人
积分 5356, 距离下一级还需 469 积分
权限: 自定义头衔, 签名中使用图片, 隐身, 设置帖子权限, 设置回复可见
道具: 彩虹炫, 涂鸦板, 雷达卡, 热点灯, 金钱卡, 显身卡, 匿名卡, 抢沙发, 提升卡, 沉默卡, 千斤顶下一级可获得
道具: 变色卡
购买后可立即获得
权限: 隐身
道具: 金钱卡, 彩虹炫, 雷达卡, 热点灯, 涂鸦板
开心签到天数: 972 天连续签到: 1 天[LV.10]以坛为家III
得到两个残差序列，要计算他们的方差协方差举证，在stata中怎么实现呢请高人指教，谢谢啦
载入中......
sysuse autocorr mpg weight, covmatrix list r(C)
本帖被以下文库推荐
& |主题: 898, 订阅: 14
不是corr？
谢谢楼上，楼上说的是求相关系数吧，我看了一下help，加covariance选项，通过返回值好像可以得到方差和协方差。怎么能得到方差协方差矩阵的形式呢，比如通过mkmat把两个残差向量组成一个矩阵，然后怎么对矩阵求方差协方差矩阵呢？谢谢啦 [此贴子已经被作者于 7:49:44编辑过]
情多累美人
sysuse autocorr mpg weight, covmatrix list r(C)
楼主是不是想求任意两个（列）向量的covariance阵？
不知道他到底想做什么
Stata版版规
以下是引用sungmoo在 14:22:00的发言：楼主是不是想求任意两个（列）向量的covariance阵？呵呵，是的，任意两个列向量的方差协方差矩阵
以下是引用yjsun在 17:32:00的发言：以下是引用sungmoo在 14:22:00的发言：楼主是不是想求任意两个（列）向量的covariance阵？呵呵，是的，任意两个列向量的方差协方差矩阵抱歉！前面的表述不准确。应该表述成：设总体X与Y的样本分别是x与y（其中，x是n维列随机向量，y是m维列随机向量），求X与Y的样本协方差阵。
若欲求总体X与Y的样本协方差，需取样本x与y中同时被观测的部分，这样才有“相关”的意义。设同时被观测的部分对应子样本x1与y1，显然x1与y1的维数相同（设为s），则X与Y的样本协方差阵的观测值可通过以下命令获得：corr X Y,c
谢谢楼上，corr后return list 以scalars的形式给出了方差和协方差，尽管不是矩阵的形式，谢谢啦
初级热心勋章
初级热心勋章
初级信用勋章
初级信用勋章
初级学术勋章
初级学术勋章
中级学术勋章
中级学术勋章
中级热心勋章
中级热心勋章
中级信用勋章
中级信用勋章
高级热心勋章
高级热心勋章
高级信用勋章
高级信用勋章
无限扩大经管职场人脉圈！每天抽选10位免费名额，现在就扫& 论坛VIP& 贵宾会员& 可免费加入
加入我们,立即就学扫码下载「就学」app& Join us!& JoinLearn&
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
如有投资本站或合作意向，请联系（010-）；
邮箱：service@pinggu.org
投诉或不良信息处理：（010-）
京ICP证090565号
京公网安备号
论坛法律顾问：王进律师已知均值跟协方差矩阵用MAtlab怎么来产生数据集,并画出1000个元素的散布图.
mfUN51PY14
mu=[1,2];c=[1,0;0,1];temp=randn([1000,2]);l=chol(c,'lower');data=temp*l;plot(data(:,1)+mu(1),data(:,2)+mu(2),'r.');其中C表示协方差矩阵,mu为均值.我把那个协方差写成了两个独立的了,当然你可以根据你的改,我本来想附个图,结果每次附图都让百度给我屏蔽掉,如果你有什么问题问我就行了.
为您推荐：
其他类似问题
扫描下载二维码}