广义凸函数的定义和性质_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
广义凸函数的定义和性质
上传于|0|0|文档简介
&&凸函数是一类重要的函数,在纯粹数学和应用数学的众多领域中具有广泛的应用,现已成为数学规划、对策论、数理经济学、变分学和最优控制等学科的理论基础和有力工具。为了理论上的突破,加强它们在实践中的应用,产生了广义凸函数。本文主要是研究几类广义凸函数的定义和性质。
阅读已结束，如果下载本文需要使用2下载券
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，查找使用更方便
还剩16页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢查看: 1519|回复: 12
我的蓝波子啊，一只眼睛凸的很厉害
在线时间 小时
扫一扫，手机访问本帖
前几天去花鸟市场买了，几条金波子和蓝波子，一条我看到它的眼睛有点凸，然后我就将它单独隔离了，然后用了万能水，没想今天早上去看已经死了，我想请问各位大虾们，这是怎么回事，还有碰到这样的怎么治愈啊？
在线时间 小时
波子不耐药……估计是被药死的
在线时间 小时
saofei 发表于
波子不耐药……估计是被药死的
啊，药死，我的药下的很少的啊。
在线时间 小时
肯定是内寄，最好买大白片，金波子也没说的那么不耐药，以后鱼买回来先检疫
在线时间 小时
鱼族爱好者 发表于
肯定是内寄，最好买大白片，金波子也没说的那么不耐药，以后鱼买回来先检疫
请问，大侠，这怎么检疫啊？
在线时间 小时
ManTiger 发表于
请问，大侠，这怎么检疫啊？
一般我拿回来就用黄粉过水，进缸后我一般先大白片除内寄一个疗程。
在线时间 小时
鱼族爱好者 发表于
一般我拿回来就用黄粉过水，进缸后我一般先大白片除内寄一个疗程。
好的，谢谢
在线时间 小时
波子很脆，，我技术不行，不敢糟蹋生命了。。
在线时间 小时
这货是无比的脆弱，我是饱受折磨再不敢养了
在线时间 小时
Mandora 发表于
这货是无比的脆弱，我是饱受折磨再不敢养了
这样说下来，我都不敢养了啊，额啊
在线时间 小时
突眼一般是水质不好造成的
在线时间 小时
<font color="#2113857 发表于
突眼一般是水质不好造成的
好的，谢谢大侠啊。
在线时间 小时
ManTiger 发表于
好的，谢谢大侠啊。
不用客气。。。
Powered by&&&&2014, Vol.25
Issue (9):
邵言剑, 陶卿, 姜纪远, 周柏. 一种求解强凸优化问题的最优随机算法[J].软件学报,2014, (9): .http://www./33.html &&
SHAO Yan-Jian, TAO Qing, JIANG Ji-Yuan, ZHOU Bai. Stochastic Algorithm with Optimal Convergence Rate for Strongly Convex Optimization Problems[J]. Ruan Jian Xue Bao/ Journal of Software, 2014, (9): .http://www./33.html &&
一种求解强凸优化问题的最优随机算法
邵言剑, 陶卿, 姜纪远, 周柏&&&&
中国人民解放军陆军军官学院 十一系, 安徽 合肥 230031
基金项目:国家自然科学基金()
作者简介：陶卿(1965－),男,博士,教授,博士生导师,CCCF高级会员,主要研究领域为机器学习,模式识别,应用数学.
E-mail: 姜纪远(1989－),男,硕士,主要研究领域为机器学习,模式识别.
E-mail: 周柏(1984－),男,硕士,主要研究领域为模式识别,人工智能.
通讯作者：邵言剑(1990－),男,江苏镇江人,硕士,主要研究领域为凸优化及其在机器学习中的应用.
E-mail: shy.
摘要：随机梯度下降(SGD)算法是处理大规模数据的有效方法之一.黑箱方法SGD在强凸条件下能达到最优的O(1/T)收敛速率,但对于求解L1+L2正则化学习问题的结构优化算法,如COMID(composite objective mirror descent)仅具有O(lnT/T)的收敛速率.提出一种能够保证稀疏性基于COMID的加权算法,证明了其不仅具有O(1/T)的收敛速率,还具有on-the-fly计算的优点,从而减少了计算代价.实验结果表明了理论分析的正确性和所提算法的有效性.
机器学习&&&&
随机优化&&&&
强凸问题&&&&
混合正则化项&&&&
COMID (composite objective mirror descent)&&&&
Stochastic Algorithm with Optimal Convergence Rate for Strongly Convex Optimization Problems
SHAO Yan-Jian, TAO Qing, JIANG Ji-Yuan, ZHOU Bai&&&&
11st Department, Army Officer Academy of PLA, Hefei 230031, China
Corresponding author: SHAO Yan-Jian, E-mail: shy.
Abstract: Stochastic gradient descent (SGD) is one of the efficient methods for dealing with large-scale data. Recent research shows that the black-box SGD method can reach an O(1/T) convergence rate for strongly-convex problems. However, for solving the regularized problem with L1 plus L2 terms, the convergence rate of the structural optimization method such as COMID (composite objective mirror descent) can only attain O(lnT/T). In this paper, a weighted algorithm based on COMID is presented, to keep the sparsity imposed by the L1 regularization term. A prove is provided to show that it achieves an O(1/T) convergence rate. Furthermore, the proposed scheme takes the advantage of computation on-the-fly so that the computational costs are reduced. The experimental results demonstrate the correctness of theoretic analysis and effectiveness of the proposed algorithm.
Key words:
machine learning&&&&
stochastic optimization&&&&
strongly-convex&&&&
hybrid regularization&&&&
COMID (composite objective mirror descent)&&&&
机器学习面临的数据规模正变得越来越大,比如,一个普通文本数据库就会达到107样本个数或109样本维数的规模[].在对大数据进行处理和分析中可以挖掘出有价值的信息,进而有效地解决或缓解各领域面临的问题.然而,大数据在带来机遇的同时,也面临着众多的困难和挑战,寻求一种高速、有效的计算技术,是目前亟需解决的科学问题.机器学习方法在该背景下得到广泛的应用,其核心问题之一是求解优化问题[],与传统批处理算法不同的是,随机梯度下降(SGD)算法[,]在每次迭代计算时,仅仅优化单个样本点造成的损失,极大地减少了内存开销,但也正是每次仅仅优化单个样本点造成的损失,收敛速率不可避免地会受到影响.但机器学习问题有其特殊性,即样本集独立同分布,并且通常冗余度较大,仅需要很少一部分样本就能达到所需的泛化能力,因此,迭代部分样本点步骤后,优化问题解的学习精度就已经趋于稳定.特别是在2007年,Shalev-Shwarts等人[]在投影次梯度方法的基础上得到了求解支持向量机问题的SGD,该方法又称为Pegasos.Pegasos在处理80万个样本的路透社文本RCV1数据库仅需几秒的时间,与当时主流的大规模算法相比,SGD在处理实际学习问题中具有明显的优势.因此,SGD算法无论是在理论还是在实用上成为求解大规模学习问题的有效方法.
对于强凸优化问题,Pegasos的收敛速率只达到O(logT/T),与理论上的最优收敛速率O(1/T)存在着明显的差距.为解决这一问题,Hazan等人[]在SGD方法中嵌入内循环,提出EPOCH-GD随机算法,获得了O(1/T)的最优收敛速率.但Rakhlin等人[]认为,EPOCH-GD算法与标准的SGD在算法形式上存在较大差别,因此不能说明SGD算法能够得到最优的收敛速率.针对这一问题,Rakhlin等人在没有改变SGD算法迭代步骤的前提下,在解决强凸随机优化问题时,仅仅将算法的平均输出方式以后半部分平均的a-suffix技巧来代替,最终达到了O(1/T)的最优收敛速率.但是该平均技巧与标准的平均方式相比也带来了一个缺点,导致了不能按照on-the-fly的方式计算.2012年,Lacoste-Julien等人[]提出一种加权平均方式,与a-suffix平均不同的是,该方法仅对SGD算法的每步的输出解乘以一个权重,从而在得到最优的收敛速率的同时,还保证了on-the-fly的计算方式.
众所周知,机器学习优化问题一般以“正则化项+损失函数”的形式存在[],早期的学习算法将正则化项和损失函数组成的目标函数当做一个整体来考虑,并不区别看待,SGD就属于这种黑箱方法.然而,近些年的研究成果表明:正则化项和损失函数往往有着机器学习的特殊含义,如L1正则化保证了解的稀疏性[];L2正则化具有比较明确支持向量的含义[]等.著名优化领域专家Nesterov也曾指出:“黑箱方法在凸优化问题上的重要性将不可逆转地消失,彻底地取而代之的是巧妙运用问题结构的新算法[]”.此后,广大的研究者们开始意识到那些能够充分发掘优化问题本身结构的算法将起到越来越重要的地位.
由于SGD方法无法充分挖掘优化问题的学习结构,在求解随机优化问题时,极大地掩盖了正则化项的作用.为此,众多学者都致力于搜寻可以突出机器学习结构含义的算法[, , ],其中,COMID(composite objective mirror descent)算法[]以其简单高效而倍受学者们推崇.COMID是Duchi等人对经典的镜面下降算法MD[,]的突破性改进,与MD算法相比,COMID在优化过程中将正则化项和损失函数区分看待,只对损失函数进行近似线性展开,从而保证了正则化项的结构.此外,该算法可以直接使用软阈值方法[]对优化子问题解析求解,减少了计算代价.COMID算法先以在线形式被提出,后又扩展为随机算法.但是,在求解强凸优化问题时,COMID仅能够得到O(lnT/T)的收敛速率.
综合以上分析,能否把加权平均技巧与COMID算法相结合,将COMID算法求解强凸优化问题的收敛速率加速到O(1/T)?从COMID算法的收敛性分析中不难发现:当正则化和损失函数分开考虑时,其证明过程中的主要困难而又复杂之处体现在如何界定正则化项交错问题导致的上界.本文在COMID算法中引入了类似文献[]中的加权平均技巧,提出了一种HRMD-W(hybrid regularized mirror descent with weighted averaging)算法,在考虑L1+L2+Hinge的混合正则化项的随机优化问题时,我们首先使用软阈值方法给出交错项的上界;其次,通过巧妙的选取步长,在理论上证明HRMD-W具有O(1/T)的收敛速率,并且可以使用on-the-fly方法减少计算代价;最后,在大规模数据库上的实验结果表明:HRMD-W算法在保证与COMID算法具有相同稀疏性的同时,获得了较高的正确率.
1SGD,COMID算法及加速技巧
不失一般性,我们在此仅讨论最简单的二分类问题,假设训练样本集独立同分布,并且表示为S={(x1,y1),…,(xm,ym)},其中,(xi,yi)&IRnx{-1,+1},m为样本个数,n为样本维数.S中的样本满足独立同分布,我们使用x=(x,y)表示随机抽取的样本.
1.1SGD算法
SGD以操作简单、计算便捷、理论分析完善,其主要执行流程见算法1,假设F为优化问题的目标函数,则SGD所要求解的优化问题如下:
其中,F(w)=Ex[F(w,x)],W为Rn上的闭凸集合.
从公式(1)可以看出:SGD的目标函数为期望形式,这正是随机算法的特点.由于样本独立同分布,关于单个样本的目标函数F(wt,x)的次梯度gt是整个目标函数F(wt)次梯度的无偏估计[,],即有E[gt]&I&F(wt),因此,SGD在算法形式上表现为每步迭代仅优化随机抽取的一个样本.此外,SGD算法的一个重要评价指标——收敛速率,是指在数学期望下,SGD输出解对应的目标函数值收敛于最优目标函数值的速率[],数学表达式为
E[F(w)-F(w)],
其中,w*为优化问题的最优解.
算法1. SGD算法.
1. Initialize w1=0
2. &&&&for t=1 to T
3. &&&&&&&&Compute gt&I&F(wt,xt),ht=1/st
4. &&&&&&&&Compute wt+1=PW(wt-htgt)
5.&&&& end for
6. Output:
其中,s为强凸参数,ht为步长,gt表示F(wt,x)的次梯度,PW表示在W上的投影算子.
1.2COMID算法
COMID算法是2010年由Duchi等人提出,该算法将优化目标函数中的正则化项和损失函数区分对待,仅对损失函数进行线性近似展开,而不对正则化项作处理.此时,子问题就具有解析解,算法既能够快速收敛又能够保证正则化项的各种性质.特别地,当r(w)为L1正则化项时,能够得到稀疏解.具体来说,在结构学习框架下,COMID算法的主要迭代形式如下:
其中,r(w)为正则化项,若用l(w,x)表示损失函数,则gt为损失函数l(wt,xt)的次梯度,Bj(w,wt)为Bregman[]. COMID算法所要优化的目标函数为F(w)=Ex[r(w)+l(w,x)],其执行过程与SGD类似,区别在于COMID所要求解的子问题为公式(2).
在求解强凸优化问题时,当步长取O(1/t)时,SGD和COMID算法都只达到O(logT/T)的收敛速率,为此,Shalev-Shwartz和Duchi等人给出如下定理:
定理1[5,13]. 假设w*为优化问题(1)的最优解,取步长ht=O(1/t),则当SGD或COMID算法求解强凸优化问题并运行T次迭代后,其收敛速率满足:
1.3SGD的加速技巧
众所周知,强凸优化问题的最优收敛速率为O(1/T),但标准的SGD算法(算法1)仅能达到O(logT/T).为此,文献[]通过对算法1的输出简单改动,使SGD算法得到最优的收敛速率,即对算法输出使用a-suffix平均技巧,将原来的标准平均方式改为
其中,a&I(0,1),设aT为整数.
然而,该方法不能on-the-fly地进行计算.通过观察可知:标准平均方式可以写成(1+T)wT的形式,在这种形式下,算法不需要运行所有迭代步骤,在运行的过程中,仅需少量的计算代价,便可对进行更新,这种方式对算法的执行起着极其重要的作用.a-suffix平均方式需要存储算法每次迭代产生的wT,或者需要事先知道算法迭代次数,固不能on-the-fly地进行计算.
随后,文献[]为了克服a-suffix平均的缺点,使用另外一种平均方式——加权平均,同样使SGD算法得到O(1/T)的收敛速率.加权平均不同于以往仅简单对wt取平均的做法,在算法第t步迭代产生wt的同时,为wt乘以一个权重t,其输出形式为
其中,rT=2/(T+1).
加权平均不仅能够on-the-fly地进行计算,而且通过巧妙地选取步长,使得其收敛速率的理论证明更加地简洁易懂.
使用a-suffix和加权平均技巧求解强凸优化问题时,都能使优化问题的收敛速率加速到最优,即得到O(1/T)的收敛速率.为此,文献[,]给出如下定理:
定理2[7,8]. 令w*为优化问题(1)的最优解,取步长ht=O(1/t),SGD算法使用a-suffix或加权平均技巧求解强凸优化问题,其收敛速率满足:
当使用a-suffix平均技巧时,;使用加权平均技巧时,有
本文结合COMID和加权平均技巧,提出HRMD-W算法.在求解L1和L2混合正则化项导致的强凸优化问题时,通过克服HRMD-W算法收敛性分析中的关键性问题,从理论方面将该算法的收敛速率提升至最优,即,达到O(1/T).
2HRMD-W算法及收敛性分析
本文主要考虑特殊的具有L1和L2混合正则化项的随机优化问题:
其中,l(w;x)=max{0,1-ytáw;xt&}为样本(xt,yt)的Hinge损失.不难看出:L2正则化项的引入,使整个目标函数具备了强凸性质.同时,为了保证目标函数的结构,将此强凸项并入原正则化项中,此时,正则化项为
易知,r(w)为强凸函数,满足s-强凸[].
算法2. HRMD-W算法.
1: Input parameters l,s. Initialize w1=0
2: &&&&for t=1 to T
3: &&&&&&&&Compute gt&I&l(wt,ξt),ht=2/st
4: &&&&&&&&Compute wt+1 via Eq.(4)
5: &&&&end for
6: Output:
算法2为HRMD-W算法的主要执行过程,在算法中,我们取与文献[]不同的是,算法2在第t步迭代产生wt的同时,为wt乘以一个权重t+1,其输出可以写为
其中,由此可见,可通过on-the-fly方式进行计算.HRMD-W算法主要迭代步骤为
本文的收敛速率证明与文献[]基本类似,但SGD和COMID算法存在着本质的区别.为此,我们给出了正则化交错项需满足的关系式,见引理1.
引理1. 假设E[||gt||]≤G,&t,对公式(4)采用软阈值方法进行求解,则正则化交错项有
如下关系式成立:
根据以上引理,并使用加权平均特有的证明技巧,我们很容易得出如下两个定理,附录2给出了详细的证明:
定理3. 令w*为优化问题(3)的最优解,则HRMD-W算法运行T次迭代后,其收敛速率满足如下关系:
其中,A和B同引理1.
定理4. 令w*为优化问题(3)的最优解,则HRMD-W算法输出的任意瞬时解与最优解之间满足如下关系:
其中,A和B同引理1.
从定理3不难看出:不等式右边的形式为O(1/T)+O(lnT/T2)+O(1/T2),其中起主导作用的项为O(1/T).所以,当HRMD-W算法运行T步后的收敛速率为最优的O(1/T).类似地,定理4描述了算法迭代过程的解与最优解之间欧式距离的界小于O(1/T).
3 数值实验
本节通过4个大规模数据库验证HRMD-W算法的实际效果.实验环境为Sun Ultra45工作站(1.6GHz UltraSPARC IIIi处理器,4GB内存,Sorlaris10操作系统),实验所采用的比较算法均在LIBLINEAR[]平台上实现.
3.1 实验数据库和比较算法
实验所采用的4个大规模数据库分别为CCAT,astro-physic,a9a和covtype,表 1给出了这4个数据库的详细描述.
表 1(Table 1)
Table 1 Description of datasets 表1 实验数据库描述
训练样本数
测试样本数
astro-physic
Table 1 Description of datasets 表1 实验数据库描述
实验对3种算法进行比较,分别为HRMD-W算法、SGD-W算法[]和采用L1+L2混合正则化的COMID算法,记为HRCOMID算法.对于使用L2正则化项的强凸优化问题,SGD-W算法得到了O(1/T)的最优收敛速率;根据文献[]易知,HRCOMID算法的收敛速率为O(logT/T).
3.2 实验方法及结论
实验过程中,我们对每个数据库的样本采取随机抽取的方式,算法进行10 000次迭代后终止.为公平起见,算法中的参数采用网格搜索方式取最优参数,并且算法在每个数据库上运行10次,最终结果为10次结果的平均值及均方差.
图 1为3种算法的收敛速率比较图,其中,横坐标表示迭代次数;纵坐标表示当前目标函数值与最优目标函
图 1Fig. 1Fig. 1 Comparisons of convergence rate图 1 目标函数收敛速率比较图
数值之差,在此用表示,具体计算时,最优目标函数值取迭代中最小的目标函数值.
从图 1可以看出:HRMD-W算法在astro-physic和covtype数据库上与SGD-W算法收敛速率相当;在a9a数据库的收敛速率快于SGD-W;但在CCAT数据库慢于SGD-W算法.总的来说,HRMD-W基本达到与SGD-W算法相同的收敛速率,且均快于HRCOMID算法.图中代表Bound的双划线表示定理2所给出的算法收敛速率的界.可以看出,HRMD-W算法的实际收敛速率曲线均在其相应界的下方,进而说明本文理论分析的正确性.
表 2给出算法在4个数据库上的测试错误率及方差.比较表中3种算法很容易看出:算法HRMD-W的测试错误率最小,准确率最高.众所周知:方差在一定程度上反映算法的稳定性,方差越小,表示算法的稳定性越好.从表 2可以看出:HRMD-W和SGD-W算法的稳定性优于HRCOMID算法,这是因为在算法输出解中使用加权技巧,从而使得算法的稳定性增加.
表 2(Table 2)
Table 2 Comparisons of test error and variance 表2 测试错误率和方差比较
算法/数据库
astro-physic
Table 2 Comparisons of test error and variance 表2 测试错误率和方差比较
图 2为3种算法的稀疏度比较图.稀疏度是指算法输出解向量中零维所占的比例,解的稀疏度越高,表示算法稀疏性越好.比较HRMD-W和SGD-W算法容易发现:在a9a和astro-physic数据库上,两者的稀疏性相差不大;在CCAT和covtype上,HRMD-W算法的稀疏性较好.比较HRMD-W和HRCOMID,从图中可以看出:对于covtype数据库,HRCOMID算法的稀疏性稍好一些;在a9a,两种算法稀疏性相当;但在astro-physic和CCAT数据库上,HRMD-W的稀疏性明显好于HRCOMID算法.
图 2Fig. 2Fig. 2 Comparisons sparsity图 2 稀疏度比较图
4 总结与展望
本文在混合正则化项的镜面下降算法中引入加权技巧,提出了HRMD-W算法.该算法在保证正确率的前提下,以on-the-fly的计算方式减少计算代价,并且在理论上证明算法达到O(1/T)的最优收敛速率.最后,通过实验对算法的性能进行验证,说明理论分析的正确性和所提算法的有效性.
对强凸优化问题,通过使用加权平均技巧,不仅能得到最优的收敛速率,而且在一定程度上也能减少算法的计算代价和提高算法的稳定性.这仅仅是将该技巧用于算法的最终输出上,近年也出现了将该技巧用于梯度上[].能否将加权平均用于算法的迭代过程中,是我们下一步努力的方向.
附录1. 引理1的证明
证明:公式(4)所要解决的优化问题为
由于向量w的每一维不相关,因此可以将其转换为如下单维优化问题:
满足二次项+一次项+正则化项条件,使用软阈值方法解得:
分两种情况讨论:
(1) 当|wt,j-htgt,j|≤lht,即|wt,j|-|htgt,j|≤lht时,有wt+1,j=0.此时,单维的正则化交错项为
所以,该情况正则化项满足:
为方便整理,我们定义两个参数来简化证明,表示如下:
(2) 当|wt,j-htgt,j|&lht时,有:
为方便证明,用sgn表示sgn(wt,j-htgt,j).此时:
所以,该情况正则化项满足:
同样地,定义两个参数来简化证明,表示如下:
综上两种情况,我们令:
附录2. 定理3和定理4的证明
证明:根据MRMD-W算法的主要迭代步骤:
其中,gt=&f(wt,xt).
设r&(wt+1)&I&r(wt+1),由约束优化问题的一阶最优性条件得:
áw-wt+1,wt+1-wt+htgt+htr&(wt+1)&≥0.
特别地,当w=w时:
áw*-wt+1,wt+1-wt+htgt+htr&(wt+1)&≥0.
进一步化简得:
áw*-wt+1,wt+1-wt&≥htáwt+1-w*,gt+r&(wt+1)&.
又因为f(w,x)为一般凸函数,r(w)函数满足s-强凸,所以:
对上式两边取期望得:
取ht=2/st,上式得:
对上式两边同乘以(t+1),并从t=1到T求和得:
令,所以有:
孙正雅,陶卿.统计机器学习综述:损失函数与优化求解.中国计算机学会通讯,):7-14.
Tao Q, Gao QK, Jiang JY, Chu DJ. Survey of solving the optimization problems for sparse learning. Ruan Jian Xue Bao/Journal of Software, ): (in Chinese with English abstract).
Robbins H, Monro S. A stochastic approximation method..
Kiefer J, Wolfowitz J. Stochastic estimation of the maximum of a regression function. The Annuals of Mathematical Statistics, -466.
Shalev-Shwartz S, Singer Y, Srebro N. Pegasos: Primal estimated sub-gradient solver for SVM. In: Proc. of the 24th Int’l Conf. on Machine Learning. ACM Press, -814.
Hazan E, Kale S. Beyond the regret minimization barrier: An optimal algorithm for stochastic strongly-convex optimization. Journal of Machine Learning Research-Proceedings Track, -436.
Rakhlin A, Shamir O, Sridharan K. Making gradient descent optimal for strongly convex stochastic optimization. In: Proc. of the 29th Int’l Conf. on Machine Learning. 6.
Lacoste-Julien S, Schmidt M, Bach F. A simpler approach to obtaining an o(1/t) convergence rate for projected stochastic subgradient descent. arXiv preprint arXiv:, 2012.
Tibshirani R. Regression shrinkage and selection via the lasso. Journal of Royal Statistical Society, Series B, ):267-288.
Shalev-Shwartz S, Zhang T. Stochastic dual coordinate ascent methods for regularized loss minimization. Journal of Machine Learning Research, -599.
Nesterov Y. How to advance in structural convex optimization. OPTIMA: Mathematical Programming Society Newsletter, -5.
Xiao L. Dual averaging methods for regularized stochastic learning and online optimization. The Journal of Machine Learning Research, 3-2596.
Duchi J, Shalev-Shwartz S, Singer Y, Tewari A. Composite objective mirror descent. In: Proc.of the 23rd Annual Workshop on Computational Learning Theory. ACM Press, 8.
Ouyang H, He N, Tran L, Gray A. Stochastic alternating direction method of multipliers. In: Proc. of the 30th Int’l Conf. on Machine Learning. .
Nemirovski A, Yudin D. Problem Complexity and Method Efficiency in Optimization. Wiley-Interscience Series in Discrete Mathematics, John Wiley-Interscience Publication, 1983.
Beck A, Teboulle M. Mirror descent and nonlinear projected subgradient methods for convex optimization..
Nemirovski A, Juditsky A, Lan G, Shapiro A. Robust stochastic approximation approach to stochastic programming..
Bregman LM. The relaxation method of finding the common point convex sets and its application to the solution of problems in convex programming..
Bertsekas D. Convex Analysis and Optimization. Athena: Scientific, 2003.
Fan RE, Chang KW, Hsieh CJ, Wang XR, Lin CJ. LIBLINEAR: A library for large linear classification. The Journal of Machine Learning Research, 1-1874.
Chen X, Lin Q, Pena J. Optimal regularized dual averaging methods for stochastic optimization. In: Proc.of the Advances in Neural Information Processing Systems. 2.
陶卿,高乾坤,姜纪远,储德军.稀疏学习优化问题的求解综述.软件学报,):.当前位置： >>
强预不变凸函数的性质
维普资讯 ２０ ０ ６年 ９月 　重庆 师 范 大 学 学报 （ 自然 科 学 版 ） 　Ｊ ｕｎ ｌ ｆ ｈ ｎ ｑｎ 　 ｏｍａ Ｕ ｉ ｒｉ （ ａ ｒｌ ｃｅ ｃ　 ｄｔ ｎ　 ｏ ｒ ａ ｏ　 ｏ ｇ ｉ Ｎ ｒ ｌ ｎｖ ｓ ｙ Ｎ ｔ ａ Ｓ ｉ ｅＥ ｉ ｏ ） 　
Ｃ ｇ 　 ｅ ｔ ｕ 　 ｎ ｉＳ ｐ． ０ ６　 ｅ ２０ Ｖｏ ． ３ Ｎｏ ３ １２ 　 ．　第２ ３卷 第 ３期 　强预 不 变 凸 函数 的性 质　秦 春 蓉　（ 重庆师范大学 数学与计算机科学学 院，重庆 ４０ ４ ） ０ ０ ７　摘　 要 ： 在文献［ ］ 作者给 出了强预不 变凸函数 的一些性质。本 文首 先通过对 文献［ ］ １ 中， １ 中定理 条件 的减弱 ， 出 得 　 相同的结果 ； 而后对文献［ ］ １ 中建立在下半连 续条件下 的强预不 变凸 函数 的性质 ， 了一个更 简单的证 明。最 后得　 做到一个关 于强预不变 凸函数 的新性质 。 　 关键词 ： 不变 凸集 ； 预不 变凸函数 ； 强预不变凸 函数　 中图分类号 ： ２ １ １ Ｏ ２ ．　 文献标识码 ： 　 Ａ 文章编号 ：６ ２ ６ ９ （０ ６ ０ －０ ０ ０　 １７ －６ ３ ２０ ）３ ０ ３ － ３Ｐｒ ｐ ｒ ｉ ｓ ｏ 　 ｔ ｏ ｌ　 ｅ ｎ ｅ 　 ｎｃ ｉ ｎ 　 ｏ ｅ ｔｅ 　 ｆＳ ｒ ｎｇ ｙ Ｐｒ ｉ ｖ ｘ Ｆｕ ｔｏ ｓＱＮ Ｃ ｕ ― ｎ 　 ｌ　 ｈ ｎｒ ｇ ｏ（ ｏ ｅｅｏ Ｍａ ｅ ａｃ　ｎ　 ｏ ｐ ｔ 　ｃｅｃ ．Ｃ ｏ ｇｉ 　 ｏ ａ Ｕ ｉ ｒｉ ． ｈ ｎｑ ｇ ００ ７ Ｃ ｉａ　 Ｃ ｌ ｇ　ｆ ｔ ｍ ｔｓａｄＣ ｍ ｕ ｒ ｉ ｅ ｈｎｑｎ Ｎ ｒ ｌ ｎ ｅ ｔ Ｃ ｏ ｇｉ 　 ０ ４ ． ｈｎ ） ｌ 　 ｈ ｉ ｅＳ ｎ ｇ ｍ 　 ｖｓ ｙ ｎ４Ａ ｓｒｃ： １ ． ｈ　ｕｈｒ ａ　ｉ ｎｏ ｔ ｏ ｅｐｏｅｔ ｓ ｆ ｔ ｎｌ ｐｅｎｅ　 ｎｔ ｎ　ｎ ｅ ａｃｒ ｉ ｓｔ ｆ ｏ ｄ ｉ ｓ ｂ ｔ ｔＩ ］ ｔｅａｔｏ　 ｓｇ ｅ　ｕ　 ｍ 　ｒｐｒｅ ｏ　 ｒ ｇ 　ｒｉｖｘｆ ｃｏ ｓｕｄｒ 　ｅ ａｎ ｅ ｏ　 ｎｉｏ ． ａ ｎ［ ｈ ｖ ｓ ｉ　 ｓ ｏ ｙ ｕ ｉ 　 ｔ 　 　 ｃ ｔｎ　Ｉ　 ｉ ｎｔ． ｏ 　ｆｈｓ　ｏｄｔ ｎ　ａ　ｅ ｅｋｎｄｔ ｇｔｈ　ａ ｅｒｓｌ ， ｎ　 ｖｓ ｎｔｅ　 ｍ ｌｉ 　ｒｏ　ｒ 　ｒｅ　 ｎｔ ｓ ｏ ｓｍｅ 　 ｅｅ ｎ ｉｏｓ ｎｂ　 ａｅｅ　 　ｅ ｔｅｓｍ 　 ｕｔ ａｄｇ ｅ　 ｏ ｒ ｉ ｐｉｅ ｐｏｆｏ ａｃ ｔ ｈ　 ｅ ｏｔ ｃ ｉ ｃ ｗ ｏ 　 ｅ ｓ ｉ ａ ｈ ｓ ｆｄ ｆ　 ｉ－ｒ ｎ ｏ 　ｔ ｎ ｌ　 ｒ ｉ ｖ ｘ ｆ ｎ ｔ ｎ 　 ｓａ ｌ ｈ ｄ ｕ ｄ ｒ ｔ ｅ ｃ ｎ ｉ ｏ 　 ｆｌ ｗ ｒ ｓ ｍｉｏ ｔ ｕｔ ． Ａｔｌｓ ．ｓ ｍｅ ｎ ｗ ｐ ｐ ｒｉｓ ｏ 　 ｉ 　 ｆ ｒ ｇｙ ｐ ｅｎ ｅ 　ｕ ｃ ｉ ｓ ｅ ｔｂ ｉ ｅ 　 ｎ ｅ　ｈ 　 ｏ ｄ ｔ ｎ ｏ 　 ｅ 　 ｅ ｃ ｎ ｉ ｉ ｏ ｓｏ ｏ ｓ ｉ ｏ ｎ ｙ 　ａ ｔ ｏ 　 ｅ 　 ｒ ｅ ｅ 　 ｆ ｏ ｔ ｓｒ ｎ ｌ　 ｒ ｉｖ ｘ ｆ ｎ ｔ ｎ 　 ｒ　 ｂａ ｎ ｄ　 ｔｏ ｇｙ ｐ ｅｎ ｅ 　ｕ ｃ ｉ ｓ ａ ｅ ｏ ｔｉ ｅ ． ｏ Ｋｅ 　 ｒ ｓ ｉ ｖ ｘ ｓ ｔ ｒ ｉ ｖ ｘｆ ｎ ｔ ｎ ；ｓｒ ｎ ｌ ｐ ｅ ｎ ｅ 　ｕ ｃｉ ｎ 　 ｙ ｗｏ ｄ ：ｎ ｅ 　 ｅ ；ｐ ｅ ｎ ｅ 　ｕ ｃｉ ｓ ｔ ｇｙ ｒ ｉ ｖ ｘ ｆ ｎ ｔ ｓ ｏ ｏ 　 ｏ１ 基 本 定 义　 　凸性 和广义 凸性 在数 学经 济 、 程 、 理科 学和 优化 理论 中扮演 着 重要 的角 色 。近年 来 ， 多人 在 这 方　 工 管 很面做了大量的工作 ， 如文献［ ５ 。本文通过对文献 ［ ］ ２― ］ １ 中定理条件的减弱 ， 出相同的结果； 得 而后对文献　 ［］ １ 中建立在下半连续条件下的强预不变凸函数 的性质 ， 做了一个更简单 的证 明。最后得到一个关于强预　 不变 凸 函数 的新 性质 。 　下 面先给 出一些 相关 的定 义 。 　定义 ｌ 　 设集合 ＫＣＲ ， ＿ 　如果存在一个向量函数　：Ｒ × 　 　使得 Ｖ Ｙ Ｋ， 　 Ｒ 一Ｒ ， 　， ∈ Ａ∈［ ，］ 有 Ｙ 　 ０１ ， ＋ Ａ ＸＹ 　（ ，）∈Ｋ， 则称 集合 Ｋ是不 变凸集 。 　定 义 ２３ 设 集合 ＫＣＲ 是 关 于　：Ｒ ×Ｒ 一 Ｒ －　 ］ ＿ 　 　 　 　的不 变 凸集 ， 函数　 Ｒ若 满足　Ｙ Ａ （ ，） ≤人 （ ） １ Ａ　Ｙ ， ｘＹ Ｋ， ＋ ｎ ｘｙ ） 厂Ｘ ＋（ 一 ） ） Ｖ ， ∈ Ａ∈［ ， ］ ０１， 　 则称 函数 ．是 预不变 凸 函数 。 厂 　 定义 ３ 　 设集合 ＫＣＲ 是关于 ７ 　 Ｒ 一Ｒ 的不变凸集 ， … ＿ “ ／ ：Ｒ × 　 　 函数　 使得 Ｖ ， ∈ Ａ∈［ ，］ Ｘ Ｋ， 　 ０ １ 满足　Ｙ 　（ Ｙ ） 厂 ＋Ａ 　， ） ≤Ａ （ 　）＋（ Ａ） Ｙ 卢 （ 一Ａ）ｌ （ Ｙ ｌ ， １一 　 ）一 Ａ １ 　 ｌ 　， ）ｌ 　 　Ｒ， 如果存在一个常数 卢＞ ， ０　则称 函数　是 强预 不变 凸 函数 。 　‘ 　条件 Ｃ 　函数　：Ｒ × 　 　 　 Ｒ 一Ｒ 满足条件 Ｃ 如果 ＶＸＹ Ｋ， ， ，∈ Ａ∈［ ，］有　 ０１ ，（， Ｙ Ｙ＋Ａ Ｘ ｙ ） 一 　（ ， ）　（ ， 　（ ，） ＝ Ａ Ｘ Ｙ ， Ｘ Ｙ＋Ａ Ｘ Ｙ ）＝（ 一Ａ） Ｘ Ｙ 。 　（ ， ） １ 　（ ，）　收稿 日期 ：０ ５ １ ．４ ２０ ．０ １　修 回 日期 ：０ ６ ０ ．９ ２０ －５ ０ 　作者 简介： 秦春蓉 （９ ２ ） 女 ， 庆忠县人 ， １８ － ， 重 硕士研究生 ， 研究方向为最优化论与算法 。 　维普资讯 第 ３期　秦春蓉： 强预不 变凸函数的性质　３　 １条件 Ｄ 　设 集合 Ｋ＿Ｒ Ｃ 　是关 于 ｒ Ｒ ／ 　×Ｒ 一 Ｒ ： 　 　的不变 凸集 ， 函数　― Ｒ 如果 满 足　 ｙ＋ｎ ｘ ｙ ） （ ，）　） Ｖ ｙ∈Ｋ， ， 　， 则称　满 足条 件 Ｄ。 　２ 主 要 结 果　定理 １ 　 设集 合 ＫＣＲ ＿ 　是关 于　：Ｒ ＸＲ 一 Ｒ 　 　　 　的开不 变 凸集 ， 足条 件 Ｃ， 叼满 如果 函数ｆ ―Ｒ在　 － ． 　上是上半连续的且满足条件 Ｄ， ｌ 在　 上是关于 叼的强预不变 凸函数当且仅当存在常数 Ａ∈（ ，） ．ｆ ￣ ０ １ 和卢＞ 　 ０ 使得　 ｙ Ａ （ ｙ ） 厂 ＋（ 一 ） ） 卢 （ 一 ）ｌ （ ，）ｌ ， 　， ∈ 。 ， ＋ 叼　，） ≤Ａ（ 　） １ Ａ 　ｙ 一 Ａ １ Ａ ｌ ｘ ｙ ｌ Ｖ ｙ Ｋ 　 　 ｎ 　现在 将 以上定 理改 变如 下 。 　定理 ２ 设集合 Ｋ Ｒ 是关于　：Ｒ Ｘ 　 　的不变凸集 ， ＿ Ｃ 　 　 　 一Ｒ Ｒ 叼满足条件 Ｃ 如果 函数ｆ ―Ｒ在　 上　 ， － ． 　 是上半连续的且满足条件 Ｄ， 在　 上是关于　 的强预不变凸函数 当且仅当存在常数 ｊ ０ １ 和／＞ ， 则， Ｌ ∈（ ，） ３ ０　 使得　 ｙ Ａ （ ｙ ） 厂 ＋（ 一 ） ） 卢 （ 一 ）ｌ／ ｙ ｌ， 　 ｙ Ｋ 　 ＋ 叼　，） ≤Ａ（ 　） １ Ａ　ｙ 一 Ａ １ Ａ ｌ （ ）ｌ Ｖ ， ∈ 。 　 　， 　 ｒ证明 必要 性 。直接 由 是关 于　 的强预不 变 凸 函数 得 到 。 　 　 ’ 　充分性 。由文献 ［ ］ １ 中的引理 １ 有　 Ａ＝｛ ∈［ ， ］ （ ＋￣（ ，） ≤ ａ ０ １ Ｉ ｙ ｃ／ｘｙ ） 　 ｆ ｒ ） １ ａ　ｙ 一 （ 一 ）ｌ７ｘｙ ｌ ， 　， ∈ 　 ＋（ 一 ） ） 　 １ ａ ｌ （ ，）ｌ Ｖ ｙ 　） 　 ７ 　 在 ［ ，］中稠密 。显然 ，， ∈ ０１ ０ １ Ａ。则 Ｖ 　∈（ ，） ｛　 （ ，） 　， ０ １ ， ａ ｝ ０ １ ｎ 使得 ａ ＜ Ｖ ∈ 且 ａ一　，一　 　 　 　 　， 　 Ｎ， 　 ｎ ｎ ＋∞。任 意给定　，∈Ｋ， ｚ＝ 　 （ ｙ 。对每 一个 ｎ 定义　 ｙ 记 ｙ＋ 　，） ，ｙ ｙ＋ 　＝ 　 　一 　 ｒ ｙ　 ７（ ， ） ／ ７ 　 、 　则ｙ 　，　 ＋∞ 。Ｙ Ｏ＜ 　 　 ＜１有 ０＜ ｎ ． ａ＜ ， 　＜１， Ｖ　　 ，Ｓ Ｐ ∈Ｋ。由 （ ） ， Ｋ是关 于 ｒ的不变 凸集 ， ； ｙ ｒ １式 且 ／ 根　据条 件 Ｃ， 得到　ｙ ７ ｙ ７ 　７ （ ＋ （ 　 羞 　一 　 一 　ｒ，　 ７ ／ｙ ７ （＋ （ ｘ 　加 ｙ 　 ｚ 　． 　（） ２　ｙ ［ ＋　（＿ １　由 在　 的上 半 连续性 ， 　 Ｖ占＞ ， ｎ充分 大 时 ， ０当 有　ｙ） 　ｙ 占 　≤ ）＋ 　 （） ３　故由（） ， ２ 式 以及 ａ ∈Ａ和 （ ） ， 　 ３ 式 有　ｚ）＝ ｙ ａ ｒ（ ｙ ） ≤ａ 　 　＋ 　 　，　 ） ， ）＋（ ａ ） ｙ ）一 （ ａ ）ｌ７ｘ ｙ ）ｌ ／ 　 １一 　　 　 　 １一 　 ｌ （ ，　 ｌ 　 ７ 　≤ａ　 ）＋ ， 　（ 一 　　 ｙ＋ ）一 （ 一ａ ）ｌ （ ，　 ｌ ＝ √（ １ ａ） 占 　 １ 　 ｌ Ｘｙ ）ｌ ａ ＾ 　 ｎ 　 　）＋（ 一 　　 ｙ＋ ）一 １ ａ） 占 　（一　Ｉ（ｙ　导叼 ，） ：　 ） （一　 ｙ占一 １ａ ｌ　 ＋ ）叼 ， （ｙ ｌ ａ ＋１ａ　 ＋）　 ｘ）ｌ 　 ）（ 一 　（ 一 １ ａ）１　 ） ｌ （ ｙ ｌ一　 　ｌ７ 　 　，）ｌ ７ 　 ）＋（ 　） ｙ＋占 　 （ 　）ｌ （ ｙ　 １一 　 ）一 １一 ｌ 　，） 叼 ｎ ＋ 一 　由于 占＞ ０可 以任意 的小 ， 故　 ｚ） 　 ≤强 预不 变 凸函数 。 　）＋（ 　 ） ｙ 　 （ 　）ｌ （ ，）Ｉ １一 　 ）一 １一 　 ｌ ｘｙ Ｉ ｎ 　。所 以　是关 于　 的　证 毕　注 １ 从定理 ２可知定理 １中的开集条件省略后也能得到相同的结果 。 　 　 下面用更简单的方法证 明文献［ ］ １ 的定理 ６　 。 定理 ３ 　 设集合 Ｋ＿ 　 ＣＲ 是关于 ｒ 　 Ｒ 一Ｒ 的不变凸集 ， 足条件 Ｃ 如果 函数　 ―Ｒ在　 ／ ：Ｒ × 　 　 　满 ， 上是下半连续的且满足条件 Ｄ 则　在　 上是关于 叼的强预不变凸函数当且仅当存在常数 卢＞ ， ， ０ 使得 Ｖ ｙ 　， 　∈Ｋ， 了Ａ∈（ １ 满 足　 ０，）， ｙ＋Ａ （ ｙ ） 厂　） １ Ａ） ｙ 卢 １一Ａ ｌ （ ｙ ｌ 叼　，） ≤Ａ（ ＋（－ 　 ）一 Ａ（ 一 ）ｌ ｘ，）ｌ 　 ｎ 　为证 明 以上 定理 ， 给 出下面 的引理 。 先 　（） ４　引理 １ 设集合 Ｋ＿Ｒ 是关于 叼 　 　　 　 　 Ｃ 　 ：Ｒ Ｘ 一Ｒ 的不变凸集 ， 足条件 Ｃ 如果函数　 Ｒ 叼满 ，―Ｒ在　 上　维普资讯 ３　 ２重 庆 师 范 大 学 学 报 （自然 科 学 版 ） 　第２ ３卷　是下 半连续 的且 满足 条件 Ｄ， 果存 在常数　 ＞ ， 如 ０ 使得 Ｖ Ｙ 　， ∈Ｋ， 　 ３Ａ∈（ １ ， ４ 式 ， ０，） 由（ ） 则集合　 Ａ　，）＝｛／ ０，］ｆ Ｙ＋ ｒ（ ，） ≤ （ （ ｙ Ｏ∈［ １ Ｉ （ ａｌｘＹ ） 　厂 　）＋（ 一 　 Ｙ 　ａ １ １ ｌ７ ｙ ｌ ｝ Ｖ ｙ∈Ｋ １ 　） ）一 （ 一Ｏ 　 （ ）ｌ ， 　， ）ｌ 　， 　 ７ 　 在 ［ ，］ ０ １ 区间稠 密 。 　证明 任意给定　， ∈ ，≠ 。假定 Ａ　，） ０ １ 区间不稠密 ， 　 ｙ Ｋ　 　 （ ｙ 在［ ，］ 则存在　 ∈（ ，） ８＞ ， ０１和 ０ 使得　Ａ 　， ） Ｏ一８ Ｏ＋ ）＝ 。 （ ， ｎ（／ ， ８ 　 　 　 ／注意 到 ０∈Ａ　，） 且 由条件 Ｄ知 １∈ （ ｙ （ ｙ， Ａ　，）。定 义 ｕ＝ｓｐ　 ∈ 　，）　 ＜ ｝　＝ｉ ／ ∈ 　，）　 ｕ ｛ Ａ（ ｙ Ｉ 　 ， ｎ 　 Ａ（ ＿ Ｉ ｆ ｙ ＞ ｝ 　 。令 ｕ ≤ｕ ≤… ≤ｕ≤… ≤ｕ 使得 ｕ＿ ｕ　 ＋∞ 。因对每 个　， ｕ ∈Ａ　，） 故　 ｌ ２ 　 ， 　 ，＿ 有 　 （ ｙ，ｙ＋ 　７ ｙ ） Ｊ（ “７（ ） ≤ｕ 　）＋（ 一“ ） ｙ 一 　 １ 　 ｌ７ ｙ ｌ 。 　， １ 　　 ） 　ｕ （ 一ｕ ）ｌ （ ）ｌ 　 　 　， 　 ７所 以　ｌｒ ｉ ｆ ｙ＋ 　 （ ｙ ） 　 （ ｉ 　 ｆ （ ｕ７ 　， ） ≤ 厂 ａ ｎ ７ 　）＋（ 一ｕ ／ ｙ ／ （ １ ）　 ）－３ １一ｕ ｌ７ ｙ ｌ 。 ｕ ）ｌ （ ）ｌ 　 　 　， 　 ７．（） ５　（） ６　又　在 Ｋ上下 半 连续 ， 于是　Ｙ＋ｕ （ ， ） ≤ｌ 　 ｆ Ｙ 　 （ Ｙ ） 　 ｘ Ｙ ） ｉ ｉ 　 ＋ｕ 　， ）　 ｍ ｎ由（ ） （ ） ５ 、６ 式得 到　 ｙ＋ ７（ ｙ ） 　 （ ｕ７ 　，） ≤ 　）＋（ 一ｕｆ ｙ 卢 （ １ ）（ ）一 ｕ １一ｕ ｌ７ ｙ　 。故 ｕ∈Ａ（ Ｙ 　 ）ｌ （ ） 　 　， ７ 　，）。 类 似地 有　∈ 　，）。由 ｕ　的定 义知 ０ Ａ（ ｙ ， ≤ｕ＜ ＜ 　 　≤１且　 ，ｕ＋（ 一 　岳 　， ） Ｖ ∈（ １　 １ 　） Ａ（ ｙ ， 　 ０， ） （） ７　现 记　 ＝ｙ＋ ｒ（ ｙ ，　 ｙ＋Ｖ （ ｙ Ｕｌ 　，）ｙ ＝ ｒ　，）。由不等 式 （ ） ， 在 Ａ∈（ ，） 使得　 ｌ ４式 存 ０１ ， ｙ ＋Ａ７ ，　 ） 厂 ）＋（ 一Ａ） ｙ）一 　 ７　 ｙ） ≤Ａ （ （ 　 １ 　 　 　Ａ（ 一Ａ）ｌ７ ，　 ｌ １ 　 　 ｌ （ ｙ）ｌ ７ 　 由条件 Ｃ， 知　ｙ ＋Ａ７ ，　 Ｙ＋ ｒ（ ｙ Ａ ７ｙ＋ ｒ（ ｙ ， ｖ （ ｙ ） 　 　 ７ 　 ｙ ）＝ Ｖｌ （ 　， ）＋ ７ （ Ｕｌ 　， ） ｙ＋ － 　，） ＝ ｑ ｙ＋ ｒ　，）＋Ａ７ｙ＋Ｕｌ ｙ ， 矿（ ｙ ７ ７ （ ｒ　， ） ｙ＋Ｕｌ Ｙ （ ｒ 　，）一（ 　）７ ｙ ） 　 （ ｕ一 ７ 　，） ＝ （ ｙ＋Ｖ （ ｙ ｒ 　，）＋Ａ７ｙ＋Ｕｌ ｙ ， ｌ ７ （ ｒ 　，） ｙ＋Ｕｌ ｙ 　― ７ ｙ＋Ｕｌ ｙ ） ＝ （ ｒ 　，）＋ 　７ 　， （ （ ｒ 　， ） ） 　 （（） ８　Ｙ＋ ｒ　，） 　―　 （ Ｙ＋ｕ （ ，） ＝Ｙ＋［ ｕ＋（ ｖｌ Ｙ 一Ａ ― 　， 　 ｘＹ ） （ Ａ １一Ａ　］ 　，）。 ） 　（ Ｙ 　１ 一 ¨ 　故 由（ ） ８ 式和 ｕ　∈Ａ 　，） 有　 ， （ ｙ，ｙ＋［ ｕ＋（ Ａ １一Ａ　］７ ｙ ）＝ ｙ ＋Ａ７ ，　 ） 厂 ）＋（ 一Ａ） ｙ）一 ） ７　，） 　 　 ７　 Ｙ） ≤Ａ （ （ （ 　 １ 　 　 　 Ａ １一 （ Ａ）ｌ７ ，　 ｌ ＝Ａ （ 　 　 ｌ （ ｙ）ｌ ７ 　 厂ｙ＋Ｕｌ ｙ ） １ ） ｙ＋ －　，） 　 ｒ　，） ＋（ 一Ａ　 （ ｖ （ ｙ ）一 ｑ Ａ（ １一Ａ ｌ７ｙ＋Ｕｌ ｙ ， Ｖｌ ｙ ）ｌ ＝Ａ（ ）ｌ （ 　 ７ ｒ（ ）ｙ＋ ｒ（ ） ｌ 厂ｙ＋Ｕｌ ｙ ）＋（ 一 　 ｙ＋Ｖ （ ｙ ）一 　， 　， 　 ｒ　，） （ １ Ａ） ｒ　，） 　 ｌ Ａ（ Ａ） ｕ一 　 ｌ７ Ｙ ｌ≤Ａ［ （ １一 （ 　） ｌ （ ）ｌ 　 　， 　 ７ 　 　）＋（ 一ｕ　 Ｙ 一 （ ｕ ｌ （ ｙ ｌ 　 １ ） ） 　ｕ １一 ）ｌ７ 　 　，）ｌ ７ 　］＋ （ Ａ）　ｒ １一 ［ （ 　）＋（ 一 　 ｙ 　 （ 一 ｌ７ ｙ ｌ］一 （ Ａ） ｕ一 ） ｌ７ ｙ ｌ ＝ １ 　） ）一 １ 　）ｌ （ ）ｌ 　 　， 　 　Ａ １一 （ 　　ｌ （ ）ｌ 　 ７ 　 　， 　 ７ ［ ｕ＋（ 一Ａ） 　 ）＋［ 一（ ｕ＋（ 一Ａ　）八 Ｙ 』 Ａ Ａ １ 　］ １ Ａ １ ） ］ ）一Ｂ ｕ＋（ Ａ） ［ 一（ ｕ＋（ 一Ａ） ］Ｉ７ Ｙ Ｉ。 ［ １一 　］ １ Ａ １ 　） ｌ （ ）ｌ 　 　 　， 　 ７ 这意 味着 Ａ ｕ＋（ 一Ａ　∈ 　，） 此与 （ ） １ ） Ａ（ ｙ ， ７ 式矛 盾 。于是 引理 １ 得证 。 　 ｙ ， 得　 ＿　，＿ ＋∞ 。又　 ）使 ｎ ｆ ｙ＋ ｆ （ ｙ ） 　 （ ０ 　，） ≤ｄ 　所 以　证毕　证明（ 定理 ３　 由引理 １知 Ｖ ｙ∈Ｋ，（ ， 在 ［ ，］ ） 　， Ａ　，） ０ １ 中稠密 。则 Ｖ ∈（ ，） ｊ｛ ｝ （ ，） 　 　 ０ １ ， 　 　 ０ １ ＮＡ（ 　 　， ）＋（ ０ ） Ｙ 　ａ （ ｄ ）Ｉ （ Ｙ １ 　 １― ｆ　 ）一 　 １一 　 ｌ 　，）ｌ 　 　 　，ｌ 　 ｆ （ 　 ７ 　， ） ≤ （ 　 ｉ ｆ ｙ＋ ７ ｙ ） 　厂 ｍ ｎ （ 　）＋（ 一 　 ｙ 　 （ 　）ｌ７ ｙ ｌ 　 １ 　） ）一 １一 　 　， 　。 ｌ （ ）ｌ ７．由ｆ在 Ｋ上 的下 半 连续性 ， 有　 ｙ＋ ７ ｙ ） ｉ　 ｆ （ 　 ７（ ｙ ） 　７　，） ≤ｌ ｉ ｆ ｙ＋ ７ （ ａ ｒ ｎ 　， ） 。也 即是　ｙ＋ ７ ｙ ） 　 　７ 　，） ≤ （ ）＋（ 一 　 ｙ 一 （ 一 １ 　） ） 　 １ 　）ｌ ７ Ｙ ｌ 。 　 　， 　 ｌ （ ）ｌ 　 ７所 以　是关 于 ７的强 预不 变 凸函数 。 ７ 　定理 ４ ， ： ― Ｒ是 两个关 于 ７ 的强 预不 变 凸函数 ， 　 ｇ　 ７ Ｎｆ＋ ｇ也 是关 于 ７ 的强 预不变 凸 函数 。 ７ 　证 毕　证 明　 因为ｆｇ是关 于 ７的强 预不 变 凸函数 。故存在 常数　。 ０　 ＞ ， ， ７ ＞ ，： ０ 使得 Ｖ ｙ∈ Ａ∈［ ，］　 　， Ｋ， ０１ ， 有　 Ｙ＋Ａ 　，） ≤Ａ （ ＋（ 一Ａ）（ ）一 Ａ １ 　（ Ｙ ） 厂 　） １ 厂 Ｙ 　 （ 一Ａ）ｌ （ Ｙ Ｉ 　 Ｉ 　，）ｌ 　 　，（ 转 ３ 下 ９页 ） 　维普资讯 第 ３期　彭再云 ， ： 等 关于强预不变 凸函数 的注记　３　 ９） 　（） ７　因为　是在 Ｋ上 关 于 叼的强 预不变 凸 函数 ， 存在 常数　 ＞ 故 ０使 得 Ｖ Ｙ∈ｋＡ∈［ １ 有　 　， ， ０，］＋ 　（ 　） ≤Ａ （ Ａ 　， ） 厂　）＋（ 一Ａ 　 ）一 　（ 一Ａ ｌ （ 　）ｌ ＜ １ ） 卢 １ ）ｌ 　， ｌ 　 叼 　 Ａ（ 厂 　）＋（ 一Ａ 　 ）＜ ） １ ） 　 　 当 Ａ＞ ０充分 小时 ， 有　＋ 叼（ ， ∈ＫｎＮ Ａ 戈　） 　 （） ９　（） ８　于是 （ ） （ ） 与 （ ） ８ 、９ 式 ６ 式矛 盾 ， 设不 成立 。 假 　 所 以　 一定 是关 于规 划 问题 （ 的全局 最优 点 。 Ｐ） 　 函数在 数学 规划 中有 其非 常重要 的意义 和地位 。 　 证 毕　 注 ２ 定理 ６一方 面 可 以看 作是 强 预不 变 凸 函数 的一个 很 好 的性 质 ， 同时 它也 充 分 表 明 了强 预不 变 凸　参考 文献 ： 　［ ］ＷＥ ＲＴ， Ｎ 　 ． ｒｉｖｘＦ ｎｔ ｎ　ｎＭｕｔ ｌ Ｏ ｊｃｖ　 ｐｉ ｉ ｔ ［ ］ ＪＭａ 　 ｎｌ ｐ ｌ１８ ，３ ：９３ ． １ Ｉ　 ＭＯ Ｄ Ｂ Ｐｅｎｅ　 ｕ ｃｏ ｓ 　 ｌｐｅ ｂｅｔｅＯ ｔ ｚ ｉ Ｊ ．　 ｔ Ａ ａ Ａ ｐ，９ ８ １６２ －８ ｉ ｉ ｉ 　 ｉ ｍ ａｏ ｈ 　 　 ［ ］ＭＯ Ｎ ＳＲ， Ｅ Ｇ 　　 ． ｎＩｖｘＳｔ ａｄＰｅ ｖｘＦ ｎ ｔｎ ［ ］ ＪＭ ｔ Ａ ａ Ａ ｐ，９ ５ １９： １ ０ ． ２ ＨＡ 　　 Ｎ Ｏ Ｙ ＳＫ Ｏ 　ｎｅ　ｅｓ ｎ　 ｒ ｎｅ　 ｕ ｃｏ ｓＪ ．　 ａｈ ｎｌ ｐｌ１９ ，８ ９ － ８ 　 ｉ ｉ 　 　 ０９ 　 ［ ］杨新民． ３ 凸函数 的两个充 分性 条件 ［ ］ 重庆师范学 院学报 （ Ｊ． 自然科 学版 ） １９ ，１ ４ ：－ ． ，９ ４ ｔ （ ）９ｌ 　 ２ ［ ］杨新民． 目标 分式 规划解 的一些 必要 条件 ［］ 重庆师范学 院学报 （ ４ 多 Ｊ． 自然科 学版 ） １９ ，４ ２ ：－ ． ，９ ７ １ （ ）８ｌ 　 ２ ［ ］颜丽佳 ， 芙萍． ５ 刘 强预不变 凸函数 ［ ］ 重庆师范大学学 报（自然科学版 ）２ ０ ，２ １ ：１１ ． Ｊ． ，０５ ２ （ ） １ － 　 ５ ［ ］Ｙ Ｎ 　 　 Ｌ　 ． ｎＰｏｅ ｉｓ ｆＰｅｎｅ　 ｕｃ ｏｓ Ｊ ．　 ｔ Ａ ａ Ａ ｐ ，０ １２ ６ ２９２ １ ６ Ａ ＧＸ Ｍ，Ｉ Ｏ 　 ｒ ｒｅ　 　ｒｉｖｘＦ ｎｔ ｎ ［］ ＪＭａ 　 ｎｌ ｐ ｌ ０ ，５ ：２ －４ ． Ｄ ｐｔ ｏ ｉ ｈ 　 ２ 　 ［ ］Ｙ Ｎ 　 　 Ｌ　 ． ｅ ｉｒ ｔ 　ｒｉｖｘＦ ｎｔ ｎ［ ］ ＪＭａ 　 ｎｌ ｐ ｌ ０ １２ ８ ２７３ ８ ７ Ａ ＧＸ Ｍ，Ｉ Ｓ ｍ ｓ ｃｌ Ｐｅ ｅ　ｕ ｃ ｏｓ Ｊ ．　 ｔ Ａ ａ Ａ ｐ ， ０ ，５ ：８ －０ ． Ｄ ｔ ｙ ｎ ｉ ｉ ｈ 　 ２ 　 ［ ］Ｙ Ｎ 　 　 Ｙ Ｎ 　 　 Ｔ Ｏ Ｋ Ｌ Ｇ ｎｒ ｉ ｄＩｖｘｔ ａ ｄＩｖｒ ｎ Ｍｏ ｏ ｎｃ ｙ Ｊ ．　 ｐｉ　 ｈｏ 　 ｐ ｌ２０ ，１ ：０ － ８ Ａ ＧＸ Ｍ， Ａ ＧＸ Ｑ，Ｅ 　 　 ． ｅｅａ ｚ 　ｎｅｉ 　ｎ　ｎａ ａｔ ｎｔ ｉ ｃ ［ ］ ＪＯ ｔ Ｔ ｅｒ Ａ ｐ ，０ ３ １７ ６ ７　 ｌｅ ｙ ｉ 　 ｏ ｉ ｍ ｙ６ ５． ２ 　（ 责任编辑游 中胜 ） 　（ 接３ 上 ２页 ） 　ｇ Ｙ＋ 叼 　，） ≤Ａ （ （ Ａ （ ｙ ） ｇ　）＋（ Ａ ｇ ｙ 　 Ａ（ Ａ）ｌ ｘ ｙ ｌ。 １一 ） （ ）一 １一 　 ｌ ， ）ｌ 　 ｎ（ 　所 以， 　 （ ｇ （ 　＋ ） Ｙ＋Ａ （ Ｙ ）＝ Ｙ＋Ａ （ Ｙ ）＋ （ ＋Ａ （ Ｙ ） 　 叼 　， ） 　 叼 　，） ｇ Ｙ 叼 　， ） ≤Ａ［ ）＋ （ ］＋（ 一Ａ ［ ｙ ｇ ｙ ］一（ ＋ ） １ ）ｌ （ ，）ｌ ＝ 　 ｇ　） １ ）　 ）＋ （ ） 　。 　 Ａ（ 一Ａ ｌ ｘｙ ｌ 　 　 ｎ 　Ａ（ ｇ （ 　＋ ）　）＋（ 一 （ １ Ａ）　＋ｇ （ ）一（ ＋ ） （ Ａ）ｌ （ ， ）ｌ 。 ）ｙ 　。 　 Ａ １一 　 ｌ ｘｙ ｌ 　 ｎ 　故　＋ｇ是关 于 叼的强预 不变 凸函数 。 　证 毕　参考 文献 ： 　［ ］颜丽佳 ， １ 刘芙萍 ．强预不变凸函数 ［ ］ 重庆 师范大学学报 （ Ｊ． 自然科学 版 ）２０ ，２ １ ： １１． ，０ ５ ２ （ ） ｌ．５ 　 ［ ］Ｙ Ｎ 　　 Ｌ　 ．Ｏ 　ｒｐｒｅ　ｆ ｒｉ ｅ　 ｕ ｃｏ ｓＪ ．　 ａｈＡ ａ Ａ ｐ，０ １２ ６２ ９２ １ ２ Ａ Ｇ Ｘ Ｍ， Ｉ Ｄ ｎＰｏ ｅ ｉ ｏ Ｐｅ ｖｘＦ ｎｔｎ ［ ］ ＪＭ ｔ ｎｌ ｐｌ２０ ，５ ：２ －４ ． ｔｓ 　 ｎ ｉ 　 　 　 ［ ］ＷＥＲＴ， Ｎ 　 ．Ｐｅ ｖｘＦ ｎｔ ｎ　ｎＭｕｔ ｌ Ｏ ｊｃｖ　 ｐｉ ｉ ｔ ｎ Ｊ ．　 ｔ Ａ ａ Ａ ｐ ，９８ １６ ２ ．８ ３ Ｉ　 ＭＯ Ｄ Ｂ ｒｉ ｅ　 ｕ ｃｏ ｓ 　 ｌｐｅ ｂｅｔｅＯ ｔ ｚ ｉ ［］ ＪＭａ 　 ｎ 　 ｐ ｌ１８ ，３ ：９３ ． ｎ ｉ ｉ ｉ 　 ｉ ｍ ａｏ ｈ ｌ 　 ［ ］Ｌ ＯＨ Ｚ ｗｕ Ｈ Ｘ，ｈ　 　 ４ Ｕ 　 　 ， 　 　 Ｚ ｕＹ Ｈ．Ｒ ｍ ｒｓｏ　 ｒｅ ａｏ Ｐｅｕ ｓ Ｉ ｅ　 ｕｃｉ ｓ Ｊ ． ｐ ｌ ｔ ＪＣ ｉｅｅＵ ｉ Ｓｒ ２０ ，９ ｅ ａｋ　ｎＣ ｔ 　ｆ ｒｑ ａｉｎ ｘＦ ｎｔ ｎ ［ ］ Ａ ｐ Ｍａ 　　 ｈｎｓ　 ｎ 　ｅ　 ０ ４ １　 ｉｒ 　 ｉ －ｖ ｏ 　 ｈ ｖ Ｂ，（ ）３５３ １ ３ ：３ －４ ． 　［ ］Ｙ Ｎ 　　 Ｙ Ｎ 　 　 Ｔ Ｏ Ｋ Ｌ ｈｒｃ ｒ ａ ｏｓａｄＡ ｐｉａｏ ｓｏ Ｐｅｕ ｓ ＩｖｘＦ ｎ ｔｎ ［ ］ ＪＯ ｔ 　 ｈｏ 　 ｐ ｌ ５ Ａ Ｇ Ｘ Ｍ， Ａ Ｇ Ｘ Ｑ， Ｅ 　 　 ．Ｃ ａａｔ ｚｔ ｎ　ｎ　 ｐ ｌ ｔ ｎ　ｆ ｒｑ ａｉ ｎｅ　 ｕ ｃｏ ｓ Ｊ ．　 ｐｉ Ｔ ｅｒ Ａ ｐ， ｅ ｉ ｉ ｃｉ 　 － ｉ ｍ ｙ 　２ ０ ，　０（ ：４ －６ ． ０ １ １ ３） ６ ５６ ８　 １（ 任编辑 责黄颖） 　
佳木斯大学教务处 毕业论文(设计)用纸(黑体小二号空一行) 第2章 强预不变凸函数及其性质(黑体小二居中) (黑体小二号空一行) f 是强预不变凸函数,当且仅当 ...凸函数的性质及其应用杨贞标 ()(黔南民族师范学院数学系,贵州 都匀 558000) 摘要:凸函数是重要的函数,是证明不等式的重要工具,是运筹学的理论基础之一....它在判定函数的极 值、研究函数的图像以及证明不...同时也对强伪凸函数性质进行研究, 得到一些有意义的...变分学和最优控制等学科的理 论基础和有力工具。...。 佳木斯大学教务处 第 II 页 毕业论文(设计)用纸(黑体小二号空一行) 第2章 强预不变凸函数及其性质(黑体小二居中) (黑体小二号空一行) f 是强预不变凸...13 河北科技师范学院学士学位论文 凸函数的性质及其应用 (河北科技师范学院数学与...预不变凸、半严格预不变... 3页 免费 喜欢此文档的还喜欢 凸...(设计)用纸 强预不变凸函数的性质及其判别准则 (题目黑体二号居中)张明 (名字黑体三号居中) 佳木斯大学理学院数学系(黑体三号居中) 2011 年 6 月(黑体三号...本文就凸函数 的四个等价定义及其等价性的证明、 凸函数的性质与判定以及凸函数...西藏人民出版社.2000 颜丽佳,刘芙萍.强预不变凸函数[J].重庆师范大学学报....其中影响较大,应用较广的有拟凸(严格拟凸,强拟凸...不变凸函数,严格(半 严格)不变凸函数,不变预凸...lder 不等式和 Cauchy 然后应用凸函数的性质证明几...然后应用凸函数的性质证明几个重要的常用不等式,如 Jensen 不等式,H o? lder...强预不变凸函数的判别准... 暂无评价 4页 &#165;2.00 半局部λ-次不变凸函数...凸函数的性质及其应用研究凸函数的性质及其应用研究隐藏&& 中文摘要 凸函数的性质及其应用研究摘 要 凸函数是一类重要的函数,它的概念最早见于 Jensen [1905]著述中...
All rights reserved Powered by
copyright &copyright 。文档资料库内容来自网络，如有侵犯请联系客服。}