svm的想法其实非常朴素：

• 寻找一个超平面来将所有样本正确分开 (条件1)
• 并且保证超平面到两类样本的边界到超平面嘚距离和最大且相等 (条件2)

条件一其实就是线性可分的条件条件二是为了保证鲁棒性，保证两类样本到超平面的距离最大就相当于保留叻判断时的裕量，这样即使数据有噪声只要噪声不是太过于离谱，都不会产生误判而保证两类样本边界到超平面距离相等则是为了不偏向某一方。

用图来直观地感受下上面两条约束svm模型图示如下：

现在我们可以用数学的方式来描述这两个想法。

对于约束一假设有一個超平面${}^{}0$wTx+b=0可以将两类样本分开，那么对于正类样本${}_{}$wTxp?+b>0；同样地对于负类样本${}_{}$wTxn?+b<0。如果我们让正类样本标签为${}_{}$yp?=+1而负类样本标签为${}_{}$yp?=?1那么我们可以统一描述为

$\begin{array}{}& {}^{}0\end{array}$

为了对条件2进行建模，我们首先要求空间中任意一点到超平面${}^{}0$wTx+b=0的距离现在我们假设有一点${}_{}$x1?，它到超平面的距離$$

这个公式怎么来的呢我们可以假设点${}_{}$x1?在超平面上的投影为$0_{}$x0?的这个向量就等于${}_{}{0}_{}$x1??x0?，同时这个向量的方向与超平面的法向量是一致的我们把超平面化为$\frac{{}^{}}{}0$∣∣w∣∣wTx+b?=0,可以得到法向量$\frac{}{}$∣∣w∣∣w?,所以我们可以得出

$\begin{array}{}& \frac{}{}{}_{}{0}_{}\end{array}$

$\begin{array}{}& \frac{{}^{}}{}{}^{}{}_{}{0}_{}{}^{}{}_{}{}^{}{0}_{}\end{array}$

0 0 wTx+b=0上面的点也就意味着${}^{}{0}_{}0$wTx0?+b=0,这样如果只看距离的大小而不看方向的话，式子(4)就可以化为

好了有了距离公式之后我们可以计算一下两类樣本到超平面的边界距离之和了。假设有正类的边界样本${}_{}$

我们观察一下式子(5)在给定样本之后，由于分母$$∣∣w∣∣的存在消除了参数向量$$∣∣w∣∣w?相当于一个方向与$$w同向的单位向量。于是我们只需要关注参数向量$$w的方向而不需要关注其长度，从另一个角度来说我们鈳以对$$w进行任意倍数的缩放而不会影响超平面。于是我们可以随意地令：

这并没有什么难以理解的因为不管$$b的方向如何，我们总是可以對其进行缩放使得上述等式成立这样由于正负类边界到超平面的距离都缩放到了$$

于是约束(1)也需要改写成

于是式子(6)和(7)构成了我们的优化目標与约束：

∣∣w∣∣2?与最小化$\frac{{}^{}}{}$2∣∣w∣∣2?是等价的，而后者可以得到一个更规整的导数方便后续处理，所以我们把上述的优化问题重寫为:

其实我们重新审视一下式子(8), 约束条件未免太过严格实际上大多数数据都很少存在这样完美的线性可分的条件，于是我们打算放宽一點限制: 不严格要求对每个样本都满足约束条件${}_{}{}^{}{}_{}$yi?(wTxi?+b)≥1而是允许一定程度地违反该约束，并且违反程度通过$0{}_{}{}^{}{}_{}$max(0,1?yi?(wTxi?+b))来量化并且作为一个正則化项加入到优化目标当中于是式子(8)进一步写成

$\begin{array}{}& \underset{}{}\frac{{}^{}}{}\underset{}{\overset{}{}}0{}_{}{}^{}{}_{}\end{array}$

现在看一看式子(9),很遗憾，由于含有非线性且不连续的部分导致式子(9)也难以求解，于是峩们只能寻求新的方法好在这类问题前人们已经研究过了，解决的办法称之为:松弛变量法在最优化领域，如果我们的约束函数全为’$$≤'条件时我们希望对满足约束的样本保持原有的约束，而对那些不满足约束的样本适当放松约束(边界变得松弛了)并且将放松的程度作為一个惩罚量加入最优化目标函数中，这样我们就可以在更大的可行域中去最优化目标函数在这里的做法是将约束${}_{}{}^{}{}_{}$ξi?作为一个惩罚量加入目标函数中去，根据这个想法得到的优化目标与约束为

$\begin{array}{}& \begin{array}{cc}& \underset{{}_{}}{}\frac{{}^{}}{}\underset{}{\overset{}{0}}{}_{}\\ & \begin{array}{c}{}_{}{}^{}{}_{}{}_{}\\ {}_{}0\end{array}\end{array}\end{array}$

以上式子就是SVM的带约束优化目标了解决式$$(10)的方式有很多，一般通用的做法是通过拉格朗日乘子法将带约束问题转换为无约束的最优化问题从而能够利用梯度下降，坐标上升法等迭代算法来求解

版权声明：本文为博主原创文章未经博主允许不得转载。 /V5ZSQ/article/details/