写在前面：本来想参考PRML来写，但是发现里面涉及到比较多的数学知识，写出来可能不好理解，我决定还是用最通俗的方法解释PCA，并举一个实例一步步计算，然后再进行数学推导，最后再介绍一些变种以及相应的程序。

在数据处理中，经常会遇到特征维度比样本数量多得多的情况，如果拿到实际工程中去跑，效果不一定好。一是因为冗余的特征会带来一些噪音，影响计算的结果；二是因为无关的特征会加大计算量，耗费时间和资源。所以我们通常会对数据重新变换一下，再跑模型。数据变换的目的不仅仅是降维，还可以消除特征之间的相关性，并发现一些潜在的特征变量。

PCA是一种在尽可能减少信息损失的情况下找到某种方式降低数据的维度的方法。通常来说，我们期望得到的结果，是把原始数据的特征空间（n个d维样本）投影到一个小一点的子空间里去，并尽可能表达的很好（就是说损失信息最少）。常见的应用在于模式识别中，我们可以通过减少特征空间的维度，抽取子空间的数据来最好的表达我们的数据，从而减少参数估计的误差。注意，主成分分析通常会得到协方差矩阵和相关矩阵。这些矩阵可以通过原始数据计算出来。协方差矩阵包含平方和与向量积的和。相关矩阵与协方差矩阵类似，但是第一个变量，也就是第一列，是标准化后的数据。如果变量之间的方差很大，或者变量的量纲不统一，我们必须先标准化再进行主成分分析。

Analysis,多元判别分析法），这两者都是线性变换，而且很相似。只不过在PCA中，我们是找到一个成分（方向）来把我们的数据最大化方差，而在MDA中，我们的目标是最大化不同类别之间的差异（比如说，在模式识别问题中，我们的数据包含多个类别，与两个主成分的PCA相比，这就忽略了类别标签）。

换句话说，通过PCA，我们把整个数据集（不含类别标签）投射到一个不同的子空间中，在MDA中，我们试图决定一个合适的子空间来区分不同类别。再换种方式说，PCA是找到数据传播最广的时候的最大方差的轴axis，MDA是最大化类别与类别之间的区别。

上文我们提到了子空间，那么怎么样去寻找“好的”子空间呢？

假设我们的目标是减少d维的数据集，将其投影到k维的子空间上（看k<d）。所以，我们如何来确定k呢？如何知道我们选择的特征空间能够很好的表达原始数据呢？

下文中我们会计算数据中的特征向量（主成分），然后计算散布矩阵（scatter_matrix）中（也可以从协方差矩阵中计算）。每个特征向量与特征值相关，即特征向量的“长度”或“大小”。如果发现每个特征值都很小，那就可以说明我们的原始数据就已经是一个“好的”空间了。但是，如果有些特征值比其他值要大得多，我们只需要关注那些特别大的特征值，因为这些值包含了数据分布情况的绝大部分信息。反之，那些接近于0的特征值包含的信息几乎没有，在新的特征空间里我们可以忽略不计。

1.去掉数据的类别特征（label），将去掉后的d维数据作为样本

2.计算d维的均值向量（即所有数据的每一维向量的均值）

3.计算所有数据的散布矩阵（或者协方差矩阵）

5.按照特征值的大小对特征向量降序排序，选择前k个最大的特征向量，组成d*k维的矩阵W（其中每一列代表一个特征向量）

6.运用d*K的特征向量矩阵W将样本数据变换成新的子空间。（用数学式子表达就是，其中x是d*1维的向量，代表一个样本，y是K*1维的在新的子空间里的向量）

1.数据准备----生成三维样本向量

首先随机生成40*3维的数据，符合多元高斯分布。假设数据被分为两类，其中一半类别为w1，另一半类别为w2

运行这段代码后，我们就生成了包含两个类别的样本数据，其中每一列都是一个三维的向量，所有数据是这样的矩阵：

2.作图查看原始数据的分布

3.去掉数据的类别特征

5.计算散步矩阵或者协方差矩阵

其中m是向量的均值：（第4步已经算出来是mean_vector）

如果不计算散布矩阵的话，也可以用里内置的numpy.cov()函数直接计算协方差矩阵。因为散步矩阵和协方差矩阵非常类似，散布矩阵乘以（1/N-1）就是协方差，所以他们的特征空间是完全等价的（特征向量相同，特征值用一个常数（1/N-1，这里是1/39）等价缩放了）。协方差矩阵如下所示：

6.计算相应的特征向量和特征值

其实从上面的结果就可以发现，通过散布矩阵和协方差矩阵计算的特征空间相同，协方差矩阵的特征值*39 = 散布矩阵的特征值

当然，我们也可以快速验证一下特征值-特征向量的计算是否正确，是不是满足方程（其中为协方差矩阵，v为特征向量，lambda为特征值）

得出结果未返回异常，证明计算正确

7.根据特征值对特征向量降序排列

我们的目标是减少特征空间的维度，即通过PCA方法将特征空间投影到一个小一点的子空间里，其中特征向量将会构成新的特征空间的轴。然而，特征向量只会决定轴的方向，他们的单位长度都为1，可以用代码检验一下：

因此，对于低维的子空间来说，决定丢掉哪个特征向量，就必须参考特征向量相应的特征值。通俗来说，如果一个特征向量的特征值特别小，那它所包含的数据分布的信息也很少，那么这个特征向量就可以忽略不计了。常用的方法是根据特征值对特征向量进行降序排列，选出前k个特征向量

8.选出前k个特征值最大的特征向量

本文的例子是想把三维的空间降维成二维空间，现在我们把前两个最大特征值的特征向量组合起来，生成d*k维的特征向量矩阵W

9.将样本转化为新的特征空间

最后一步，把2*3维的特征向量矩阵W带到公式中，将样本数据转化为新的特征空间

到这一步，PCA的过程就结束了。其实python里有已经写好的模块，可以直接拿来用，但是我觉得不管什么模块，都要懂得它的原理是什么。matplotlib有matplotlib.mlab.PCA()，sklearn也有专门一个模块Dimensionality reduction专门讲PCA，包括传统的PCA，以及增量PCA，核PCA等等，除了PCA以外，还有ZCA白化等等，在图像处理中也经常会用到。

最近，马云在南非著名学府金山大学发表演讲，2000多名来自非洲国家的年轻人赶来旁听。

当天，马云宣布成立“马云非洲青年创业基金”。未来10年将出资1000万美元，支持100名青年创业者，支持非洲年轻人实现梦想。

以下为马云演讲全文及视频：

 35分钟全英文演讲，考验听力的时候到了

去年是我第一次来非洲，来之前担心很多。

但来了我就后悔了，后悔自己没有十年前来。非洲是一个充满机会的大陆，从现在开始，我每年都要来非洲，去三个非洲国家。

这是我第二次来非洲，我希望接下来十几年，能去遍非洲的54个国家。

我的很多企业家朋友问我，去非洲干嘛？我说，等你们亲自来感受了，就会爱上这里。

我去年来非洲的时候就感觉，有一些事情必须要做，也有很多事情可以去做。

很多人会说，非洲问题很多。请你告诉我，世界上哪个地区没有问题？

有人说：非洲贫穷，没有财富，但我觉得非洲有世界上最好的财富：动物、自然、空气、蓝天。这是最宝贵的财富，全世界都羡慕。尤其是中国，特别想要蓝天。

大家都说非洲是古老的大陆，但其实这里到处都是年轻人。

这个大陆充满机会，充满梦想，这片土地也充满着责任。

如果事情都是准备好了再去做

我一直相信，当把所有事情都准备好了再去做，就太迟了。

创业者就是要在一切都未就绪的时候去做事。如果什么事情都准备好了，马云就不会成功了。

你们知道的，我失败了很多次，高考失败了三次，我家里没钱。今天的非洲和19年前我们创立阿里巴巴的时候一样，那个时候，中国互联网速度很慢。

1994年，我创业的时候，很多人说我是骗子，说没有互联网这个东西。

我去注册公司时，政府的工作人员问我要注册什么公司。我说要做一个互联网公司。他们说，没有叫互联网的东西啊，你不能注册，中国还没有加入互联网。

为了证明我不是骗子，我们等了3个半小时下载首页。

肯定会有很多人问：非洲怎么可能发展电商，没有信用卡、没有物流、没有基础设施、没有政府支持、没有资金，什么都没有。

机会永远藏在人们抱怨的地方。人们抱怨的声音越大，你就去解决问题，抱怨越多，机会越大。

作为企业家，我们不抱怨，我们让其他人抱怨，让我们的竞争对手抱怨。我们从不哭泣，哭泣解决不了问题，让我们的竞争者哭去吧，让那些不相信我们梦想的人哭去吧。

我在公寓创立阿里巴巴的时候，有18位创始人。

我们有远大的梦想：我们希望成为全球 top 10 互联网公司。但在那个时候我们只是排名几百万名。

然后我们就开始干了。十九年过去了，我们真的成为了全球 top 10互联网公司。人们现在应该开始相信，在接下来十几年，非洲会有100个阿里巴巴。

如果你不这么想，那就不会这么做，你也就没机会了。但如果你现在开始努力，你就有机会。

非洲有12亿人口，大部分是年轻人，每年有1300万人毕业开始找工作，这就是资源。

阿里巴巴当年雇人的时候，根本找不到人，没有人愿意在“阿里巴巴”这个奇怪名字的地方工作，而且还是公寓里，没有人相信互联网和电商。

所以，我们雇任何能走路的人，我们完全不介意你是本科还是硕士。只要是相信我们的人，都可以加入，我们白手起家。

一开始的十年真的很难，我们找不到顾客，找不到好的工程师，完全没有资源。我们也无法从银行获得贷款，所以对每一笔支出都很谨慎。

不过情况总会好起来的。2007年，阿里巴巴B2B业务IPO（首次公开发行）的时候，我们有300个人成了百万富翁。

当时我问了同事两个问题。

你们成为百万富翁是因为比其他人聪明吗？

他们说：不是，我们都找不到工作。

那是因为你们勤奋工作么？

他们说：也不是，有很多人都很勤奋。聪明人都去IBM和微软了，猎头根本就不来我们公司挖人。我们根本没人要，我们相信梦想、努力工作，才成为百万富翁的。

的确，他们成为百万富翁就是因为没人要。我也是那个13家公司都不要的人，我们习惯了被拒绝，习惯了没有他人的帮助。

愿意帮你，是非常少见的，那是你的幸运，不帮你才是正常的。你应该一直努力工作才能获得帮助。

我常常鼓励其他17位创始人和所有加入我们的同事，我对他们说：我们的竞争对手eBay（全球购物网站）很强，员工都来自哈佛、牛津等名校。

而我们很多人，都是无名小卒，我们都不想提学校的名字。

所以如果我们可以胜利，如果我们能成功，那么中国80%的年轻人都可以成功。

很多人努力工作，但没有梦想；很多人有梦想，但不努力工作。创业者是有梦想又努力工作的一群人，所以我们才能赢。

简单回顾了阿里巴巴的创业过程，我有一些感触想分享给也在创业的朋友们。

创业者其实很不容易。非常孤独，家人、朋友、妻子可能都不支持你，我都习惯了，你也必须习惯。当你孤独的时候，用你的左手温暖你的右手。

我常常记住一句话，今天很残酷，明天更残酷，后天会很美好，但绝大多数人都死在明天晚上。作为创业者，就要习惯失败。

今天阿里巴巴成功了，我们想活102年。为什么是102年呢？阿里巴巴1999年成立，希望能跨越3个世纪。

我们从来不说我们已经成功了，因为我们仅仅成立了19年，我们还有83年要走。过去的19年里，我们犯下了无数错误。

作为创业者，不要去学别人如何成功，要去学他们是如何失败的。因为，在很多MBA项目里，学校里的老师都在教成功的案例。

你读了很多成功的故事，你就能成功了吗？当然不是，成功的背后有很多事情你都不知道。

很多商学院来阿里巴巴写商业案例。一周调研后，他们想让我签字，说这是阿里巴巴。我说，这不是阿里巴巴。他们说，Jack 你不了解你自己。我说，那好吧。

其实，看阿里巴巴不能光看表面。

另外，清华大学每五年都会做一个案例研究，我受邀去探讨阿里巴巴的案例。

阿里巴巴面临很多竞争对手，每次的案例研究分析，都是阿里巴巴死掉，竞争者获胜。但实际上，阿里巴巴的竞争对手都死了。

所以，你要怎么从这样的案例里学到东西。

那就是向错误学习，因为大多数的错误都是相同的，大多数的成功却都有不同的原因。当你向错误学习时，并不意味着你要学会如何避免犯错，而是当你犯错时，能知道如何面对它。

创业者要有一颗强大的内心，来迎接困难、错误和各种麻烦。更要有一颗温暖和柔软的心，尤其是对同事和客户。

我想和大家分享下阿里巴巴的价值观——六脉神剑，其中有两条非常有特色，我认为值得大家思考。

1、客户第一，员工第二，股东第三

我们认为客户最重要，把客户服务好了，他们就会付钱。第二重要的是员工，员工团结协作就能服务好客户。所以如果客户高兴，员工高兴，股东自然就会高兴。

在这个不断变化的世界，保持变化是走向成功的最好方式。永远不要尝试改变世界，而要改变我们自己。向错误学习，向他人学习，改变自己，我们才可能成功。

除了习惯失败、学习失败，企业家还要有很好的视野和战略，能看到世界的变化、客户的需求。

企业家需要经常问自己这三个问题。

我唯一拥有的就是梦想和信念。我们有团队，会十分努力。

客户想要什么？社会的问题出在哪？你的客户存在什么问题？我们的团队想要什么？

如果一个人不愿意放弃任何东西，那么什么也得不到。我们要学会专注于一件事。如果你想要抓住兔子，不要换目标，要改变自己，直到抓住兔子。

成为创业者是一个很好的经历。生活艰难，所以我们成为了创业者。

我从来没有为自己写过书，我认为要等老了再写，我的人生才刚刚开始。

如果有一天我要写书，我会写一本《阿里巴巴的1001个错误》，我会告诉孩子们我经历了多少艰难的日子，犯了多少愚蠢的错误，这些都是最好的经历。

在这里，我还想说一说非洲的发展机遇。我认为，非洲有3个非常巨大的机遇在我们面前。

机遇1：“数字非洲”的发展

非洲还没有特别完善的IT基础设施，而欧美国家的IT基础设施都已经非常完善了，想要发展就很难。

电商在中国飞速发展的原因之一，是当时中国的零售行业发展基础太差。现在的非洲，我认为和19年前的中国很像。

这里没有互联网的支付方式，我们建议去升级支付方式，这并不难。成熟的技术就在那里，不用过于担忧支付安全等问题。

支付宝在过去的15年里经历了复杂的发展过程，现在每天有超过5亿笔交易，已经超过了 visa 和 master 等支付平台的全球交易规模，去年全年我们有超过10万亿美元交易。

科技就在那里，关键在于你是否愿意让大家变得富有，是否愿意让小微企业得到发展。技术就在那里，阿里巴巴会尽一切努力去分享技术。

机遇2：物流网络的发展

所有的非洲国家必须团结起来，升级物流网络，这才能给非洲带来大量的就业机会。

如果能做到全球买、全球卖、全球运，那将会带来很大的发展机会，所以非洲需要数字化发展。

但现在不少国家的基础设施比较差，非洲有一个国家风景很美，但是没有 wifi，准确地说只有一点点 wifi，如果非洲没有覆盖广泛的 wifi 和手机设备，这比20年前缺乏电力更可怕。

互联网基础设施太重要了，让大众接触互联网，得到资讯、找到买家、找到卖家、找到伙伴，让思维的火花不断碰撞。

未来几年，我们会在非洲办更多的创业者论坛，创业者是驱动非洲经济发展的重要引擎。

不是技术，也不是钱，就能推动经济发展，而是依靠梦想，依靠年轻人来驱动经济发展，小微企业才能创造广大的就业机会。

我是全球化坚定的支持者，没有人能阻止全球化，全球化并没有任何错，只是“全球化”的定义需要与时俱进。

在过去三十年里，“全球化”只关注发达国家和大公司，我们要让“全球化”更普惠。

以上就是非洲面临的3个机遇。

支持年轻人和女性的发展

对于非洲来说，创造就业是一件很重要的事，而创造就业最好的途径是鼓励小微企业发展，并信任年轻人。

有人说非洲很复杂，但我认为特别单纯，在这里，我们没有什么可失去的。

在这个世界上，最难的事情是说服一个成功的人，成功人士会告诉你这也别做、那也别做，因为他有过这样那样的经验。

但我们都是普通人，我们想要成功，想要创造未来，想要做一些深信不疑的事。

同时我也要对很多创业者说，千万别认为你下个月或明年就能成功，眼光至少要放到五年后。如果创业下个月就能成功，那“马云”多了去了。

“全球化”更普惠，除了支持小企业和年轻人，还要更多支持女性的发展。

在互联网行业，当你创业时，他们不关注你的性别，只关注你的产品发展。

如果你想做一家很棒的企业，公司的女性员工比例至少要有50%；

如果你想做一家特别优秀的企业，大多数员工可能都得是女性。

告诉大家，阿里巴巴有48%的员工是女性，34%的高管是女性。

女性有很多优秀品质，和很多男性不同，女性不仅要关注家庭状况，还要照顾孩子，同时关心工作。这也是我们特别需要的人。

所以，我想和大家分享，“非洲青年创业基金”只是一个开始，是一次尝试。1000万美金规模并不是很大，尤其是和其他领域的基金或政府资金相比。

创业者们，我们需要钱吗？是的，我们需要钱。但如果钱能解决问题，那么银行能做成任何事。

真正的创业者，首先要有理想。团队、客户、钱就在那里，关键在于你是否能坚持理想，保持努力，赋能他人。

所以我非常高兴能和大家在一起，让我们一起鼓励非洲的年轻企业家，支持他们、尊重他们，让他们成为时代的英雄。

当非洲有了更多伟大的企业家，这片大地也会更加繁荣，成为一片人人都愿意来的大陆。

创业者开心了，就会成功，而我们的客户成功了，阿里巴巴也就成功了。

欢迎访问张佩民的新浪博客