最优化外点法为什么一开始svm惩罚因子子不可以太大

【图文】第11讲 外点惩罚函数法_百度文库
两大类热门资源免费畅读
续费一年阅读会员,立省24元!
评价文档:
第11讲 外点惩罚函数法
上传于||文档简介
&&机​械​优​化​设​计​学​习​资​料
大小:303.50KB
登录百度文库,专享文档复制特权,财富值每天免费拿!
你可能喜欢(一) 实验目的
熟练掌握外点法、内点法原理并可以在matlab熟练运行。
(二) 问题描述
目标函数:z=minx1+x2
Cx21+x2≥0
外点法: 对于混合约束问题 min f(x)
s.t. si x ≥0,i=1:m
hj x =0,i=1:n
可以转化为:
min F(x,σ)=f(x)+ σ([max{0,? s
21 x }]2+ max 0,? s2 x
+ max 0,? sm x
h1 x +h2 x 2+?+hn x 2) = f(x)+ σ( mi=1[max{0,? sm x }]2+ nj=1h2j
其中,P(x)=
mi=1 max 0,? sm x
2+ nj=1h2j
F(x,σ):增广目标函数
P(x):惩罚函数 ,σ:罚因子
外部惩罚函数法迭代步骤:
给定初始点x0,初始惩罚因子σ1,放大系数c&1,ε&0置k:=1 Step1:以xk?1为初始点求解min F(x,σk)得极小点xk
Step2:若σkP xk &ε,stop
Step3:σk+1=cσk,置k?k+1转step1
注意外点法在选取初始点时要选取在可行域外的点。
在本问题中x0 =[-1;-1],c=10,ε=0.01,σ1=1
内点法:这种解法只能用于不等式
对于约束问题 min f(x)
s.t. si x ≥0,i=1:m
可以转化为:
min F(x,σ)=f(x)+μ(1
sm x ) …
其中μ为一个小正数
内部惩罚函数法迭代步骤:
已知f(x), si x ,取β x =s11 x +s12 x +?+s1m x
给定初始点x0,初始惩罚因子μ1,放大系数1&c&0,ε&0置k:=1 Step1:以xk?1为初始点求解min F(x,μk)得极小点xk
Step2:若μkP xk &ε,stop
Step3:μk=cμk,置k?k+1转step1
在本问题中x0 =[0.03;0.03],c=0.2,ε=0.001,μ1=0.1
注意内点法在选取初始点时要选取在可行域内的点。
其中以???????为初始点求解min F(x,????)得极小点????的求解过程我们利用最速下降法得到
(四)程序代码及运行结果:
(1)外点法源程序代码:
function f=again(x,c,e)
syms x1 x2 t
y1=-x1^2+x2;
y1=-subs(y1,{x1,x2},x);
y2=-subs(y2,{x1,x2},x) ;
P=(max(0,double(y1)))^2+(max(0,double(y2)))^2;
double(y1)&0&&double(y2)&0
y11=-x1^2+x2;
if double(y1)&=0&&double(y2)&0
if double(y2)&=0&&double(y1)&0
y11=-x1^2+x2;
FF=f+a*(y11^2+y22^2)
a1=diff(FF,x1);
b1=diff(FF,x2);
a1=subs(a1,{x1,x2},x);
b1=subs(b1,{x1,x2},x);
g=[a1;b1];
while P*a&e
while double(sqrt(a1^2+b1^2))&0.5
FF=subs(FF,{x1,x2},x);
f1=diff(FF);
f1=solve(f1);
ti=double(f1);
x=subs(x,t,ti(1,1));
FF=f+a*(y11^2+y22^2);
a11=diff(FF,x1);
b11=diff(FF,x2);
a11=subs(a11,{x1,x2},x);
b11=subs(b11,{x1,x2},x);
g11=[a11;b11];
y1=-x1^2+x2;
y1=-subs(y1,{x1,x2},x);
y2=-subs(y2,{x1,x2},x) ;
P=(max(0,double(y1)))^2+(max(0,double(y2)))^2;
double(y1)&0&&double(y2)&0
y11=-x1^2+x2;
if double(y1)&=0&&double(y2)&0
if double(y2)&=0&&double(y1)&0
y11=-x1^2+x2;
FF=f+a*(y11^2+y22^2)
a1=diff(FF,x1);
b1=diff(FF,x2);
a1=subs(a1,{x1,x2},x);
b1=subs(b1,{x1,x2},x);
g=[a1;b1];
(2)在matlab对话框中输入again([-1;-1],10,0.01), 外点法得到结果为 :
1.0e-003 *
其中a为惩罚因子。
(3)内点法源程序代码:
function f=neidian(x,c,e)
syms x1 x2 t
y1=-x1^2+x2;
FF=f+a*((1/(y1))+(1/(y2)) ) ;
a1=diff(FF,x1);
b1=diff(FF,x2);
a1=subs(a1,{x1,x2},x);
b1=subs(b1,{x1,x2},x);
g=[a1;b1];
y1=subs(y1,{x1,x2},x);
y2=subs(y2,{x1,x2},x) ;
P=1/double((y1))+1/double((y2));
while P*a&e
while double(sqrt(a1^2+b1^2))&0.52008年9月;第24卷第3期陕西理工学院学报(自然科学版)Jo;一种基于非均匀惩罚因子的;序列无约束最优化外点新算法;郭三刚,曹吉利,张琳;(陕西理工学院数学系,陕西汉中723001);[摘要】增广拉格朗日乘子方法(Augmented;multiplierLagrangemultip;点法,内点法适用于仅有不等式约束的情形,其主要思;罚;匀惩罚的自适应更新
2008年9月
第24卷第3期陕西理工学院学报(自然科学版)JournalofShaanxiUniversityofTechnology(NaturalScienceEdition)sept.2008V01.24No.3[文章编号]1673-2944(2008)03―0049―06
一种基于非均匀惩罚因子的
序列无约束最优化外点新算法
郭三刚,曹吉利,张琳
(陕西理工学院数学系,陕西汉中723001)
[摘要】增广拉格朗日乘子方法(Augmented
multiplierLagrangemultipliermethod)是拉格朗日乘子方法(Lagrangemethod)的推广,它是一种序列无约束的最小化技术,包括内点法扣外
点法,内点法适用于仅有不等式约束的情形,其主要思想是对违背可行性的约束给予一个惩
罚。传统的做法是:对所有约束以相同的罚因子,自适应调整Lagrange乘子。提出了一种非均
匀惩罚的自适应更新罚因子的方法,即根据近似解对约束违反的严重程度施行不同惩罚的新
方法。算例表明,本方法是有效的。
[关键词]序列无约束最小化技术(SUMT);
[中图分类号]0224增广拉格朗日乘子函数;罚因子[文献标识码】A
众所周知,增广拉格朗日乘子方法uo是拉格朗日乘子方法的推广,它是一种序列无约束的最小化技术睥.31(SequenfiM的约束给予一个惩罚,在迭代计算中自适应地调整罚因子或蛔ge乘子,使得我们可以通过求解一UnconstrainedMinimizationTechniques,i.e.,SUMT)。其主要思想是对违背可行性系列最小化问题来逼近原问题的最优解(这些点都在可行域的外部,所以这种方法也叫做外点法)。但是它有一个明显的缺点:对于违背可行性程度不同的约束,施加了相同的惩罚,即相同的罚因子【l-5】,这样有时会减缓收敛的速度;有些文献(如[6])中尽管介绍了对于不同的约束给予不同惩罚的思想,但是没有给出一种一般化的更新罚因子的方法,而且实际计算时采用的还是对所有的约束施加相同的惩罚的方法。本文基于对于违背可行性程度不同的约束,施加不同的惩罚的思想,证明了算法的收敛性,给出了更新罚因子向量的一般方法.这种更新罚因子向量的方法也可以推广到相应的简单罚函数外点方法和阻挡罚函数内点方法中。算例表明,这个方法的计算速度比传统的更新罚因子的计算速度要快。1算法的提出和算法的收敛性
首先,讨论只有等式约束的情形,所给方法很容易推广到包含不等式约束的情形。要讨论的问题是
,蠹轳工),D=…hi(z)=o,i=1,…,m,工∈刖,
其中X是有界闭集。引入增广的拉格朗日乘子函数
靠m(1?1)
L(x,A,M,只(工))=以z)+A’^(z)+彬足(工)=八x)+∑Aih‘(z)+∑MIR‘(工),
(1.2)
这里,A是乘子向量,h(x)是约束函数向量,M是罚因子向量,R(x)是罚函数向量,并且
A=(Al9…,A。)T,h(x)=(h1(善),…,^。(工))7,
收稿日期:2008-03一11
基金项目:陕西省教育厅自然科学研究计划项目(07JK204),陕西理工学院博士科研启动基金资助项目(SLGQD0626)。作者简介:郭三刚(1966一),男,陕西省高陵县人,陕西理工学院副教授,博士,主要研究方向为系统优化与调度,数据挖掘等。(I.3)
陕西理工学院学报(自然科学版)第24卷
M=(Ml,…,帆)T,R(x)=(Rl(x),…,R。(工))’,(1.4)
R;(工)选择如下
R‘(工)=IR(工):掣,f:1,2,…,m,h‘(j)I,i=1,2,…,m,(1.5)
或者(1.6)称L(x,A,M,R(x))为增广拉格朗日函数。不妨就选取(1.6)的罚函数。
下面,给出序列无约束最小化(SequentialUnconstrainedMinimizationTechnique,简称SUMT)方法的收敛性定理。
定理1设函数以工),hi(善),i=l,…,m,是连续的函数,工’是原问题的全局最优解,0<Mi(‘’≤
m―inL(x,A仕’,膨¨,R(x))=厂(x)+∑Ai(k)h‘(x)+∑尬‘”尺i(x)#E^fl5(1.7)
.1imL(x,A㈣,M‘¨,R(x))=f(x’).(1.8)
证明:设X“是{X‘‘’}的一个聚点,则{善‘‘’}存在一个子序列(为方便起见,仍然用{x(‘’}表示这个
.1imx‘‘’=z一,/卜.-Dm(1.9)
f(x’)=f(x。)+∑∥’h。(善’)+∑鸠‘”R(工’)≥
八z(‘’)+至Ai(”^i(工(D)+.耋帆‘”R‘(工(I’)≥
以x仕’)+昱A‘o’h‘(工仆’),(1.10)
由于Al‘‘’有界,!im帆‘‘)=∞,i=1,…,m,所以必有
limR‘(工¨’)=0,(1.11)
姆[A如‘JI旬(工“’)+%;‘尺电(工‘”)]=∞,(1.12)
hmhi(工¨’)=^‘(工’’)=0,i=1,…,m,(1.13)
另外,由(1.10)。(1.13)和函数厂的连续性,有
f(x”)=堑叭工仕’)=!im叭?¨’)+∑A‘‘k(嚣似’)]≤以工‘),H■J-=#m_(1.14)
f(x”)=f(x+),(1.15)
.1imL(x‘n,A‘n,M‘¨,s(x‘‘’))=/(x’).(1.16)
说明:这个定理给出罚因子向量的要求:所有的0<鸩‘‘’≤尬‘“¨,JimM‘‘’=∞,i=1,…,m,而对定理2我们讨论的问题是(1.1),且X=F以工),^(善)在X=R。连续可微。对于七=0,l,…,{?¨’}是由问题?50?
鸩‘“¨,JimMi‘‘’=∞,Ai(k)有界(i=1,…,m),{x(t’}是由下面的序列最小化问题产生的最优解序列,则{z¨’}的任意聚点是原问题的全局最优解,并且存在子序列,仍然用{工‘‘’}表示,使得子序列)收敛于量”,即于是,对于最优解z。,否则,根据R(工)的定义,必有某项,如第屯项,使得这与(1.10)式矛盾。由(1.11)式及函数h;的连续性,i=1,…,m,我们有另外,X为有界闭集,所以,嚣“是可行解。所以所以,工”是原问题的全局最优解,并且乘子只要求有界的,即A。仙’有界,f=l,…,m,再加上其它的条件就可以保证算法是收敛。另外,由于A。¨’有界,i=l,…,m,因此必有收敛子列。
第3期郭三刚,曹吉利,张琳一种基于非均匀惩罚因子的序列无约束最优化外点新算法
minL(x,A‘n,材(舢,足(工‘‘’))
,E矗4;,(髫)+至A;(。^;(工)+至肛‘”蔓兽12I121-(1.17)
产生的解序列。这里A‘‘’有界,且
0<Mi(‘)≤Mi(I+1),limM,‘‘)=∞,i=1,2,…,m,●-●∞(1.18)
而且z‘‘’满足
0VL(x‘¨,A‘n,膨‘¨,R(x‘‘’))《≤占‘”一O(后-+∞),(1.19)
再假设,z‘是序列{工‘‘’I的聚点,并且rank(Vh(x’))=m.那么,序列{A‘‘’+M‘‘’?’h(x‘‘’)}必有一个子序列收敛到A‘,这里,A‘和工。满足下面一阶必要性条件
(1.20)V尺工’)+Vh(x’)A’=0,h(x‘)=0,
这里,“?”’表示两个向量的对应坐标乘积得到一个新的向量的运算。
证明:设z仕’为问题(1.17)的最优解。那么,由f,h的可微性,有
V£(工‘n,A‘¨,M‘耵,足(工‘‘’))=vf(工(‘’)+vh(x‘‘’)A‘‘’+Vh(x‘‘’)M?’h(x‘‘’)
=Vf(X(t’)+Vh(x‘‘’)[A‘‘’+膨?。h(x‘‘’)]
=vf(工‘‘’)+Vh(x‘‘’)臀¨,(1.21)
(1.22)另外,根据假设(1.19),有VL(x‘¨,A‘¨,M‘¨,R(x‘‘’))-+0(后_+∞),
由于工’是序列{工仕’}的聚点,因而存在子列(仍然用{z仕’}表示)收敛到X’。又已知rank(Vh(x’))=m,即方阵是满秩的,由连续性,当k充分大时,Vh(xo’)也满秩。从而Vh(x“’)7Vh(x仆’)是可逆的m×m矩阵,于是,在(1.21)两边乘以Vh(x(‘’)T,然后两边再乘以(Vh(x‘‘’)Tv^(j‘‘’))~,于是得到
繁‘)=(v^(工(‘’)Tv^(工(‘’))’1vh(x‘‘’)T?
(VL(x‘”,A‘”,M‘",R(x‘"))一Vf(童(‘’)),
由于,(x)h(x)连续可微,再结合(1.22),得到
”mA‘‘’=A‘=一(Vh(x’)7vh(x’))。1
再利用(1.21)和(1.22),有
V八工’)+Vh(x‘)A‘=0.(1.25)V(1.23)h(x’)Tvf(工‘),(1.24)
2罚因子向量的选择
为了体现对违背可行性要求大的约束给予较大的惩罚,我们给出选择罚因子更新的方法如下
O"i(工(I),aif%≤攀,jf月。(z(”)>0,9占):ja‘丽’吐矗‘‘z‘。’>’(工仆’,占)={l浒(工¨’)II毛‘¨=JI以‘(1+盯‘(茗f,a‘,占))JB,(2.1)(2.2)
【占,’ifR‘(工(‘’)=o。
规定:丝1=A>0,,卢≥1,0<ai≤l,0<占《1.为了不使M‘增加过快,通常尬1选得都比较小,i=1,…,,,1.这里,A,卢,8为正常数。
这样选择的罚因子向量保证:
(1)对于任何i∈{1,…,m},有
IimM,‘=∞;
(2)对违背可行性越严重的约束给予越大的惩罚;
(3)通过引入一个非常小的正数,对满足可行性要求的约束几乎不改变它的罚因子,但从理论上讲,我们总是可以保证(2.3)式成立。
3(2.3)算法描述新的增广拉格朗日乘子方法的算法描述为:
陕西理工学院学报(自然科学版)第24卷
(1)给定初始的乘子向量r=(0,…,O)’,初始的罚因子向量Mo=(A,…,A)7,这里A是某个正的常数,令后=1,再给定精度0<8《l,厣,%,f=l,…,m;
(2)求解第后个问题
minL(x,r,R(工),膨),(3.1)
得到最优解工¨),进入(3);
(3)如果帆(工似’)I>占,对所有的i∈{1,…,m},停止,并令z+一x似’;否则进入(4);
(4)更新罚因子向量Mi“1=M;‘(1+叽(矿,a¨8))艿,同时更新乘子向量
∥”=r+(∥)7?’h(x‘‘’),(3.2)
对于不等式约束g(工)≤O,更新乘子的方法如下
/2‘¨’=Inax{O泓‘‘’+∥‘’?+g(x‘‘’)},(3.3)
函数吼由(2.2)定义。令后.-J}+l,回到(2)。
传统SUMT外点算法的实现步骤可以描述为
(1)给定初始的乘子向量r=(0,…,0)7,初始的罚因子∥=(A,…,A)7,这里A是某个正的常数,令忌=1,再给定精度0<s《l,艿,a‘,i=1,…,m,罚因子更新因子p:1<卢;
(2)求解第后个问题
minL(x,A‘,膨,R(工)),(3.4)
得到最优解X¨),进入(3);
(3)如果魄(茹¨’)l>g,对所有的iE11,…,m},停止,并令工’一工‘‘’;否则进入(4);
(4)更新罚因子:
∥”=BM',(3.5)
同时,更新乘子向量
r”=r+∥h(x‘‘’),(3.6)
对于不等式约束g(x)≤o,更新乘子的方法为
肛‘¨’=max{O,肛‘‘’+∥‘’g(x‘‘’)},(3.7)
令后:=J}+1,回到(2)。
注:有不等式约束情形可类似讨论。
4测试结果的比较
例试用传统的SUMlT外点方法和新的SUMIT外点方法分别计算下面最小化问题的最优解工’.
rminf(x)=o.5(一毛2+吻2+为2),
{hl(工)=茗l―l=0,
‘th2(z)=茗2+X3―1=0.
解:用两种方法求解时,我们给出相同的精度要求勘=0.000001及艿=1,啦=l,i=1,…,m,初始罚因子向量M‘1’=(肘1‘¨,鸩‘1’)7,其中肘1‘”=O.001,鸠‘1’=0.001,另一方面,对于传统增广乘子方法,更新罚因子的参数卢=1.1,对于新的增广乘子方法,更新罚因子向量的方法采用下面的形式
M;(I+-):Mi㈣(1+季鲨L)%f:l,...,m,
∑尺‘(J¨’)
我们选择%=卢.为了比较两种算法,我们需要分别计算下面的几个量:
尬‘,i=1,…,m,∑Mi‘Rj(工¨’),L(x¨’,R(xo’),∥),f(x¨’),
并画出随迭代次数变化的曲线。得到的解茗‘=(1.0000,0.5000,0.500O)’,最优值八J。)=一0.25.我们可以将占取得更小,从而得到更精确的解(对于本例,这已经是最优解!),但是罚因子会变得很大。?52?
第3期郭三剐,曹吉利,张琳一种基于非均匀惩罚因子的序列无约束最优化外点新算法
两种方法得到的各性态曲线分别是
(1)新的增广拉格朗日乘子方法中罚因子向量丝‘(i=1,…,m)的变化趋势画在图1中,惩罚项与乘子项之和∑A;‘¨h;(x‘‘’)+∑Mi㈣R;(x‘‘’)的变化趋势画在图2中,增广Lagran舀观函数值i=1i=1
厶(工(耵,足(善(‘’),∥)的变化趋势画在图3中,目标函数值f(x‘‘’)的变化趋势在图4中;
(2)传统的增广拉格朗日乘子方法得到的结果,分别见图5一图8。
图l新方法的罚因子各个分量图2新方法的惩罚项与乘子项的和随
随迭代次数的非均匀递增着迭代次数的趋向于零,中间有震荡
图3新方法的目标函数值随着图4新方法的增广Idg撇gi明乘子
迭代次数趋向于最优值一0.25函数随着迭代次数趋向于最优值一0.25
图5传统方法的罚因子随图6传统方法的惩罚项与乘子项的和随
迷代次数的变化趋势着迭代次数趋向于零,中间有剧烈震荡
图7传统方法的目标函数值图8传统方法的增广hgmngi锄乘子
随着迭代次数趋向于值一0.2函数随着选代次数趋向于值一0.30
结果分析:
算例表明,与新方法比较,总体上,传统方法的罚因子变化不大,但是会引起目标函数值、惩罚项与
包含各类专业文献、行业资料、中学教育、应用写作文书、外语学习资料、各类资格考试、高等教育、生活休闲娱乐、一种基于非均匀惩罚因子的序列无约束最优化外点新算法_图文29等内容。 
 属于无约束优化问题求解算法中的直接法是_院校资料_...惩罚函数法属于( D) A.一维优化方法 B.无约束...迭代点序列可以在可行域外 2.对于一个无约束优化...  用外点法求解函数 问题分析外点法为序列无约束最优化方法,其基本思想为将条件...? 0 算法实现步骤 1.给定初始点 X 0 ,初始惩罚因子 r 1 ,维数 n 迭代...  用惩罚函数外点法求解以下约束最优化问题程序_数学_自然科学_专业资料。用惩罚函数外点法求解以下约束最优化问题程序 用惩罚函数外点法求解以下约束最优化问题: min...  约束非线性规划问题可以通过构造新目 标函数序列,用无约束优化方法求其极小点,并逐次逼近原问题的最...惩罚项 式中: R ―惩罚因子,任意一个很大的正数 ...  优化问题的求解转化为一系列无约 束极小优化问题的...4、 结论 M) ( , 外点法是通过一系列惩罚因子 ...(k)) 序列从可行域内部趋向原目标函数的约束最优点...  带约束的非线性优化问题解法小结_信息与通信_工程科技_专业资料。智能算法带...新目标函数的局部最优解或稳定点,如人们所熟悉的惩罚函数法和乘子法;另 一种...  无约束最优化直接方法之单纯形法_数学_自然科学_...所属课程名称最优化方法 实验类型算法编程 实验日期 ...即除最坏点 vh 外,反射点 vr 比其他 一个顶点好...  最优化理论与算法(第十章)_理学_高等教育_教育专区...注:随着罚因子的增大,惩罚的力度加大, x(? ) 将...§10.2 内点罚函数(障碍函数法) 考虑不等式约束...  对罚函数的探讨(一)背景最优化既是一个古老的课题...求解约束极值问题 的基本算法有:惩罚函数法、可行...惩罚函数法又称序列无约束极小化技术 (Sequential...}

我要回帖

更多关于 最优化 混合惩罚函数 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信