machine)是费了不少劲和困难的，原因很简单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少时间和精力，二者这个东西也不好讲清楚，尽管网上已经有朋友写得不错了(见文末参考链接)，但在描述数学公式的时候还是显得不够。得益于同学白石的数学证明，我还是想尝试写一下，希望本文在兼顾通俗易懂的基础上，真真正正能足以成为一篇完整概括和介绍支持向量机的导论性的文章。

    本文在写的过程中，参考了不少资料，包括《支持向量机导论》、《统计学习方法》及网友pluskid的支持向量机系列等等，于此，还是一篇学习笔记，只是加入了自己的理解和总结，有任何不妥之处，还望海涵。全文宏观上整体认识支持向量机的概念和用处，微观上深究部分定理的来龙去脉，证明及原理细节，力保逻辑清晰 & 通俗易懂。

    同时，阅读本文时建议大家尽量使用chrome等浏览器，如此公式才能更好的显示，再者，阅读时可拿张纸和笔出来，把本文所有定理.公式都亲自推导一遍或者直接打印下来（可直接打印网页版或本文文末附的PDF，享受随时随地思考、演算的极致快感），在文稿上演算。

    Ok，还是那句原话，有任何问题，欢迎任何人随时不吝指正 & 赐教，感谢。

    支持向量机，因其英文名为support vector machine，故一般简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。

目录 人教版高中数学必修1精品教案－－－1 人教版高中数学必修2精品教案－－－153 人教版高中数学必修3精品教案－－－203人教版高中数学必修4精品教案－－－275 人教版高中数学必修5精品教案－－－346 购买本文档的请在24小时之内与QQ联系： 可免费赠送人教版高中数学必修1~5Word版 精品教案 人教版高中数学必修1精品教案 课题：集合的含义与表示(1) 课 型：新授课 教学目标： 了解集合、元素的概念，体会集合中元素的三个特征； 理解元素与集合的“属于”和“不属于”关系； 掌握常用数集及其记法； 教学重点：掌握集合的基本概念； 教学难点：元素与集合的关系； 教学过程： 一、引入课题 军训前学校通知：8月15日8点，高一年级在体育馆集合进行军训动员；试问这个通知的对象是全体的高一学生还是个别学生？ 在这里，集合是我们常用的一个词语，我们感兴趣的是问题中某些特定（是高一而不是高二、高三）对象的总体，而不是个别的对象，为此，我们将学习一个新的概念——集合（宣布课题），即是一些研究对象的总体。 阅读课本P2-P3内容 二、新课教学 （一）集合的有关概念 集合理论创始人康托尔称集合为一些确定的、不同的东西的全体，人们 能意识到这些东西，并且能判断一个给定的东西是否属于这个总体。 一般地，我们把研究对象统称为元素（element），一些元素组成的总体叫集合（set），也简称集。 思考1：判断以下元素的全体是否组成集合，并说明理由： 大于3小于11的偶数； 我国的小河流； 非负奇数； 方程的解； 某校2007级新生； 血压很高的人； 著名的数学家； 平面直角坐标系内所有第三象限的点 全班成绩好的学生。 对学生的解答予以讨论、点评，进而讲解下面的问题。 关于集合的元素的特征 （1）确定性：设A是一个给定的集合，x是某一个具体对象，则或者是A的元素，或者不是A的元素，两种情况必有一种且只有一种成立。 （2）互异性：一个给定集合中的元素，指属于这个集合的互不相同的个体（对象），因此，同一集合中不应重复出现同一元素。 （3）无序性：给定一个集合与集合里面元素的顺序无关。 （4）集合相等：构成两个集合的元素完全一样。 元素与集合的关系； （1）如果a是集合A的元素，就说a属于（belong to）A，记作：a∈A （2）如果a不是集合A的元素，就说a不属于（not belong to）A，记作：aA 例如，我们A表示“1~20以内的所有质数”组成的集合，则有3∈A 4A，等等。 6．集合与元素的字母表示： 集合通常用大写的拉丁字母A，B，C…表示，集合的元素用小写的拉丁字母a,b,c,…表示。 ７．常用的数集及记法： 非负整数集（或自然数集），记作N； 正整数集，记作N*或N+； 整数集，记作Z； 有理数集，记作Q； 实数集，记作R； （二）例题讲解： 例1．用“∈”或“”符号填空： （1）8 N； （2）0 N； （3）-3 Z； （4） Q； （5）设A为所有亚洲国家组成的集合，则中国 A，美国 A，印度 A，英国 A。 例2．已知集合P的元素为, 若3∈P且-1P，求实数m的值。 （三）课堂练习： 课本P5练习1； 归纳小结： 本节课从实例入手，非常自然贴切地引出集合与集合的概念，并且结合实例对集合的概念作了说明，然后介绍了常用集合及其记法。 作业布置： 1．习题1.1，第1- 2题； 2．预习集合的表示方法。 课后记: 课题：集合的含义与表示(2) 课 型：新授课 教学目标： （1）了解集合的表示方法； （2）能正确选择自然语言、图形语言、集合语言（列举法或描述法）描述不同的具体问题，感受集合语言的意义和作用； 教学重点：掌握集合的表示方法； 教学难点：选择恰当的表示方法； 教学过程： 一、复习回顾： １．集合和元素的定义；元素的三个特性；元素与集合的关系；常用的数集及表示。 ２．集合{1,2}、{(1,2)}、{(2,1)}、{2,1}的元素分别是什么？有何关系 二、新课教学 （一）．集合的表示方法 我们可以用自然语言和图形语言来描述一个集合，但这将给我们带来很多不便，除此之外还常用列举法和描述法来表示集合。 (1) 列举法：把集合中的元素一一列举出来，并用花括号“”括起来表示集合的方法叫列举法。 如：{1，2，3，4，5}，{x2，3x+2，5y3-x，x2+y2}，…； 说明：1．集合中的元素具有无序性，所以用列举法表示集合时不必考 虑元素的顺序。 　　　2．各个元素之间要用逗号隔开； 　　　3．元素不能重复； 4．集合中的元素可以数，点，代数式等； 　　　5．对于含有较多元素的

SVM有很多实现，现在只关注其中最流行的一种实现，即序列最小优化（Sequential Minimal Optimization，SMO）算法，然后介绍如何使用一种核函数（kernel）的方式将SVM扩展到更多的数据集上。

1.基于最大间隔分隔数据

1.线性可分（linearly separable）：对于图6-1中的圆形点和方形点，如果很容易就可以在图中画出一条直线将两组数据点分开，就称这组数据为线性可分数据

2.分隔超平面（separating hyperplane）：将数据集分隔开来的直线称为分隔超平面

3.如果数据集是1024维的，那么就需要一个1023维的超平面来对数据进行分隔

4.间隔（margin）：数据点到分隔面的距离称为间隔

5.支持向量（support vector）:离分隔超平面最近的那些点

支持向量机的优点：泛化错误率低，计算开销不大，结果易解释

支持向量机的缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题

适用数据类型：数值型和标称型数据

如何求解数据集的最佳分隔直线？

其中 w = (w1,w2,w3...wd)为法向量，决定了超平面的方向，其中d等于数据的维度，

这很好理解，假设二维的(x1,x2)点可以被 ax+b=0 分隔，这里面直线 ax+b=0 是一维的，但是这里面a和x都是二维的

b为位移项，决定了超平面与原点之间的距离

对于图6-3中A点到分隔直线的距离为 

表示向量的模，，w与w共轭的内积再开方

假设超平面（w,b）能将训练样本正确分类，即对于 ,

则两个异类支持向量到超平面的距离之和为

欲找到具有“最大间隔（maximum margin）”的划分超平面，也就是要找到能满足 中约束的参数w和b，使得最大，即

其中约束条件为　s.t.  ，其实这个约束条件就是把两个不等式合并成了一个

显然，为了最大化间隔，仅需最大化 ，这等价于最小化 ，于是上式可重写为

对于这类带有不等式约束的最优化问题，可以使用拉格朗日乘子法（Lagrange Multiplier）对其进行求解。

首先先了解一下最优化问题的分类，最优化问题可以分为一下三类：

<1>无约束的优化问题，可以写成：

对于第<1>类的优化问题，常常使用的方法就是Fermat定理，即使用求取f(x)的导数，然后令其为零，可以求得候选最优值，再在这些候选值中验证；如果是凸函数，可以保证是最优解。

<2>有等式约束的优化问题，可以写成：

对于第<2>类的优化问题，常常使用的方法就是拉格朗日乘子法（Lagrange Multiplier) ，即把等式约束 用一个系数与目标函数f(x)写为一个式子，称为拉格朗日函数，而系数称为拉格朗日乘子。拉格朗日函数的形式如下，u即拉格朗日乘子：

通过拉格朗日函数对各个变量求导，令其为零，可以求得候选值集合，然后验证求得最优值。

<3>有不等式约束的优化问题，可以写成：

对于第<3>类的优化问题，常常使用的方法就是KKT条件。同样地，我们把所有的等式、不等式约束与f(x)写为一个式子，也叫拉格朗日函数，系数也称拉格朗日乘子，通过一些条件，可以求出最优值的必要条件，这个条件称为KKT条件。

 拉格朗日乘子法可以应用于有等式约束的优化问题和有不等式约束的优化问题，

对于有等式约束的优化问题， ，约束条件  ，其中 f(x) 被称为目标函数

<1>当没有约束条件的时候，我们通过求导的方法，来寻找最优点

设 是这个最优点，即此时有

此外，如果 f(x) 是一个实值函数， 是一个n维向量的话，那么 f(x) 对向量 的导数被定义为

<2>当有一个等式约束条件 的时候，举例设

从几何的角度看，可以看成是在一个曲面 上寻找函数 的最小值

设目标函数  ，当 z 取不同的值的时候，相当于可以投影在曲面 上，即形成等高线，如下图

当 取d1或者d2的时候，形成了虚线的等高线，此时我们要求的是最小的z

现在我们约束 的时候，在曲面 上形成一条曲线，即图中红色的曲线

假设形成的红色曲线与等高线相交，交点就是同时满足等式约束条件和目标函数的可行域的值，但肯定不是最优值，因为相交意味着肯定还存在其它的等高线在该条等高线的内部或者外部，使得新的等高线与目标函数的交点的值更大或者更小。

只有到等高线与目标函数的曲线相切的时候，可能取得最优值，如上图中的情况，即等高线和目标函数的曲线在该点的法向量必须有相同方向，所以最优值必须满足：f(x)的梯度 = * h(x)的梯度， 是常数，表示左右两边同向。这个等式就是拉格朗日函数 对参数x求导后，令其等于0的结果，即，最后求得最优解是 。

以上的约束条件只是 ，这时约束条件是一个等式。

<3>那么当约束条件是多个等式的时候，拉格朗日函数应该改写成

，是需要求其最小值的目标函数，是拉格朗日乘子，是约束条件

<4>如果约束条件是等式和不等式，且有多个的时候，就需要若干个KKT(Karush-Kuhn-Tucker)条件，即对于

想取得最优解，要满足以下条件（KKT条件）：

一步步来说明，此时我们要求f(x)的最小值，可以构建拉格朗日函数

在取得最大值的时候，即a*g(x)=0的时候，就等于f(x)，（注意此处的a*g(x)=0是KKT条件的第3个）

所以需要求解的目标函数的最小值写成表达式是

由于我们要求的最优化是满足强对偶的，即对偶式子的最优值等于原式子的最优解

设当 的时候有最优解，此时

即函数 在 处取得最小值

用fermat定理，对于函数 求取导数后令其等于0后的结果，（注意此处的导数=0是KKT条件的第1个）

所以对于多个不等式和等式混合的约束条件的时候，拉格朗日函数可以写成

　　，其中约束条件为　s.t. 

接下来由第1个KKT条件（导数等于0），令 对 和 b 的偏导等于0，可得

把上面两个等式带入 中，得

　　  的对偶表达式等于

在最后推出的公式中，y表示的是标签向量，u表示的是拉格朗日乘子，x表示的是待分类的点的坐标，也是一个向量

现在约束条件变成了等式，所以我们的任务变成了

以上的推导有一个假设条件，就是数据是线性可分的，而实际上，大多数情况是线性不可分的，对于这种情况：

我们把约束条件从 改成 ，允许出现例外

所以支持向量机（Support Vector Machine，简称SVM）的基本型就需要改写成，加上了松弛变量（这里面有泛函的数学原理，参考《神经网络与机器学习 第3版》）

通过和上面一样的对 w,b和求偏导的过程，进行简化之后，也是得到

现在可以应用上面的等式约束条件的方法，求出 u 后，在求出w与b即可得到模型

2.SMO高效优化算法

接下来分析SMO算法，因为有约束条件 ，所以一次不能只更新一个 ，因为如果一次只更新一个 的话，那么累加之后的结果就不能等于0，这就不满足约束条件了，所以SMO算法采取的是挑选一对 进行更新，这样就能满足约束条件。

举例，当更新 的时候，一次同时更新 和 ，根据约束条件 ，

那么 ，即1和2相加，等于3到m相加的负数。

当y1和y2异号的时候，即y1=1,y2=-1或者y1=-1,y2=1的时候，我们先固定一个 的值，然后求

则如上图所示，横坐标轴是 ，纵坐标轴是 ，因为 ，且  是大于等于0的，

所以当 和 有可能满足红线的情况，即y1=1,y2=-1时，，那么 的范围是 ，即

所以当 和 也有可能满足蓝线的情况，即y1=1,y2=-1时，，那么 的范围是 ，即 

由于不知道是红线还是蓝线，所以 的取值范围为：

同样可能通过画图来说明，计算出来的 的取值范围仍然是：

综上所述，当y1和y2异号的时候，的取值范围为：

同理，当y1和y2同号的时候，的取值范围为：

《机器学习》——周志华

《神经网络与机器学习（第3版）》

现在把求最大值转换成求最小值，其实是一样的，现在问题变成了

以下推导内容是CSDN上一篇博文的内容，直接贴图片，符号表示有些许区别

对最小化的目标函数和约束条件进行优化，以下是Python代码对应的伪代码流程

用超平面对数据集进行划分