后验概率在多分类支持向量机上的应用
Application of posterior probability to multiclass SVM
支持向量机是基于统计学习理论的一种新的分类规则挖掘方法.在已有多分类支持向量机基础上,首次提出了几何距离多分类支持向量分类器;随后,将二值支持向量机的后验概率输出也推广到多分类问题,避免了使用迭代算法,在快速预测的前提下提高了预测准确率.数值实验的结果表明,这两种方法都具有很好的推广性能,能明显提高分类器对未知样本的分类准确率.
天津大学,计算机科学与技术系,天津,300072
天津大学,软件学院,天津,300072
& ISTICPKU
年，卷(期)
机标分类号
本文读者也读过
互动百科相关词
加载中，请稍候
．客服电话
&&8:00-11:30,13:00-17:00(工作日)关于SVM的简单理解
SVM(支持向量机)，最早是由统计学习大牛Vapnik（VC维的第一个V就是指Vapnik）于1992年提出的，目前是机器学习领域使用最广泛，性能最好的分类器之一。
SVM是机器学习领域对分类器扩展性能尤其是小样本条件下理论发展的结果。它的特点是，基于结构性风险最小，扩展性能强，尤其是小样本条件下扩展性能好。缺点是，由于是两类分类器，对于多类问题时，使用较麻烦，此外，如果支持向量数目太多或者特征数目太多，尤其是采用核函数时，处理速度较慢。网络上常用的库为LibSVM和SVMLight。此外，Matlab和Opencv也提供SVM工具。
SVM的最基本思想，是假定样本线性可分，目标是寻找最大化分类间隔，即使得样本分开的两个分类界面之间的距离最小。而样本到线性界面的距离可以表述为|T(W）*X+B|/|W|，其中X为距离分类界面最近的样本，由于分子分母都含有|W|，则可以限定|T(W）*X+B|为常数，从而该问题变为极小化1/|W|，约束条件为Y*（T(W)*X+b）&=1。此问题为线性约束条件下的二次优化问题，可以采用二次规划方法进行求解。而上述线性约束条件条件，在求解的对偶问题时，都对应一个拉格朗日系数a。最终解的形式为W=求和a*Y*x，x为a系数不为零的支持向量。
对于线性不可分的问题，增加一个惩罚因子e，优化目标变为0.5*T(W)*W+C*sum（e）极小化，并且，Y*（T(W)*X+b）&=1-e。转化为对偶问题时，和线性的区别在于对于拉格朗日系数a，增加了一个约束a》=0并且a《=C。最终解的形式还是W=sum（a*y*x），x为支持向量。
在求解和判定过程中，发现只会出现X(i)点击X(j)的情况。因此，可以如下方便的引入核函数来解决线性不可分的情况。相当于将原有空间的样本，经过非线性转换为高维空间的样本，从而在高维中可分。常用的核函数包括：RBF，多项式，sigmoid等。核函数定义如下：
其中，双曲正切 tanh(x)=[e^x-e^(-x)]/[e^x+e^(-x)]
对于核函数的选择，Libsvm建议采用RBF。原因，相对线性核而言，RBF是非线性核，能够解决线性不可分问题，同时，线性核是RBF核的一个特例；相对多项式核，多项式核具有更多的参数，而RBF核参数较少，同时，数值问题没有多项式核严重；相对Sigmoid核，在Sigmoid的某些参数下，其表现和RBF核很像。因此，综合，一般可以先采用RBF核。
而除了分类，SVM还存在回归，分布估计（ one-class-SVM ）等版本。
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。计算后验概率SVM中的A和B
计算后验概率SVM中的A和B
function [A,B]=platt(out,target,prior0,prior1)
% find the coefficients A and B such that the posterior probability
% of P(y=1|x) = 1/(1+exp(A*f(x)+B)), where f(x) is the output
% of the SVM
% out: vector of outputs of the SVM on a validation set
% target: validation labels
% prior0: number of negative points
% prior1: number of positive points
% If no validation set is available, one might use the training
% set to do a leave-one-out procedure. Using the span, this means
% replacing out by something like out-target.*alpha.*span
%Parameter setting
maxiter=100;
%Maximum number of iterations
minstep=1e-10;
%Minimum step taken in line search
sigma=1e-12;
%Set to any value sufficient to make H' = H + sigma I always PD
%Construct initial values: target support in array t, initial function value in fval
hiTarget=(prior1+1.0)/(prior1+2.0);
loTarget=1/(prior0+2.0);
t = (target&=0)*hiTarget + (target&0)*loT
B=log((prior0+1.0)/(prior1+1.0));
%% A vector version that caculates
%% fval = sum m_i
m_i = t_i fApB_i + log(1.0 + exp(-fApB_i)) for fApB_i &= 0
m_i = (t_i - 1) fApB_i + log(1.0 + exp(fApB_i)) for fApB_i & 0
fApB=out*A+B;
logF=log(1.0+exp(-abs(fApB)));
fval = sum((t - (fApB & 0)) .* fApB + logF);
% Save repeated caculation in the main loop
out2=out.*
for it = 1:maxiter
%Update Gradient and Hessian (use H' = H + sigma I)
%% A vector version that calculates
%% d1_i = t_i - p_i
%% d2_i = p_i q_i
p_i = exp(-fApB) / (1.0 + exp(-fApB)), q_i = 1.0 / (1.0 + exp(-fApB)) for fApB_i &= 0
p_i = 1.0 / (1.0 + exp(fApB)), q_i = exp(fApB) / (1.0 + exp(fApB)) for fApB_i & 0
expF = exp(-abs(fApB));
oneexpFinv = (1.0+expF).^(-1);
d2 = expF.*oneexpFinv.*oneexpF
d1 = t - max(expF, (fApB&0)).*oneexpF
h11 = sigma + sum(out2.*d2);
h22 = sigma + sum(d2);
h21 = sum(out.*d2);
g1 = sum(out.*d1);
g2 = sum(d1);
if (abs(g1)&1e-5 & abs(g2)&1e-5) %Stopping criteria
detinv=(h11*h22-h21*h21).^(-1);
dA=-(h22*g1-h21*g2) .*
dB=-(-h21*g1+h11*g2) .* %Modified Newton direction
gd=g1*dA+g2*dB;
stepsize=1;
while (stepsize &= minstep) %Line search
newA=A+stepsize*dA;
newB=B+stepsize*dB;
%% A vector version that caculates
%% newf = sum m_i
m_i = t_i fApB_i + log(1.0 + exp(-fApB_i)) for fApB_i &= 0
m_i = (t_i - 1) fApB_i + log(1.0 + exp(fApB_i)) for fApB_i & 0
fApB=out*newA+newB;
logF=log(1+exp(-abs(fApB)));
newf = sum((t - (fApB & 0)) .* fApB + logF);
if (newf&fval+0.0001*stepsize*gd) %Check sufficient decrease
A=newA; B=newB; fval=
stepsize=stepsize*0.5;
if (stepsize & minstep) %Line search fails
发表评论：
TA的最新馆藏[转]&[转]&[转]&[转]&[转]&[转]&}