拉格朗日乘数法求极值中证明不等式

2017考研数学重点:用拉格朗日中值定理证明不等式
来源:新东方网整理
  用拉格朗日中值定理证明不等式是考研数学必须要学会的一种题型,下面新东方网考研频道详细为大家讲解,希望考生能够熟练的掌握。
  根据以上的攻关点拨和典例练习,相信同学们对该题型的解题训练有了一定的掌握。
  需要提醒考生们,数学题目多,而且考查的知识点很综合,很多人担心自己做的少,碰到的知识点就会少一些,从而加快了解题速度,实际上考生最重要的是要注重对题目的理解,对基本知识的概括和各种题型解题技巧的能力训练,因此考生们可以根据以上的攻关点拨和典例练习,这样加以积累练习,为以后的快速准确解题打下基础。
  另外,数学试题切忌眼高手低,实践出真知,只有自己真正做一遍,印象才能深刻,才能了解自己的复习程度,疏漏的内容,如果题目确实做不出来,可以先看答案,看明白之后再抛弃答案自己再把题目独立地做一遍,一定要力求全部理解和掌握所考查的知识点。
官方微信:新东方考研 (微信号:xdfkaoyan)
考研热门资讯、院校信息、新东方课程、名师辅导,请扫二维码关注我们!
新东方考研课程专区
版权及免责声明
① 凡本网注明"稿件来源:新东方"的所有文字、图片和音视频稿件,版权均属新东方教育科技集团(含本网和新东方网)
所有,任何媒体、网站或个人未经本网协议授权不得转载、链接、转贴或以其他任何方式复制、发表。已经本网协议授权的媒体、网站,在下载使用时必须注明"稿件来源:新东方",违者本网将依法追究法律责任。
② 本网未注明"稿件来源:新东方"的文/图等稿件均为转载稿,本网转载仅基于传递更多信息之目的,并不意味着赞同转载稿的观点或证实其内容的真实性。如其他媒体、网站或个人从本网下载使用,必须保留本网注明的"稿件来源",并自负版权等法律责任。如擅自篡改为"稿件来源:新东方",本网将依法追究法律责任。
③ 如本网转载稿涉及版权等问题,请作者见稿后在两周内速来电与新东方网联系,电话:010-。
考研工具箱
四六级英语拓展Lagrange中值定理证明数学不等式_百度文库
您的浏览器Javascript被禁用,需开启后体验完整功能,
享专业文档下载特权
&赠共享文档下载特权
&10W篇文档免费专享
&每天抽奖多种福利
两大类热门资源免费畅读
续费一年阅读会员,立省24元!
Lagrange中值定理证明数学不等式
阅读已结束,下载本文需要
想免费下载本文?
定制HR最喜欢的简历
你可能喜欢拉格朗日中值定理在分析证明不等式中的应用_百度文库
您的浏览器Javascript被禁用,需开启后体验完整功能,
享专业文档下载特权
&赠共享文档下载特权
&10W篇文档免费专享
&每天抽奖多种福利
两大类热门资源免费畅读
续费一年阅读会员,立省24元!
拉格朗日中值定理在分析证明不等式中的应用
阅读已结束,下载本文需要
想免费下载本文?
定制HR最喜欢的简历
你可能喜欢豆丁微信公众号
君,已阅读到文档的结尾了呢~~
1 + x ,(x0)。 分析:首先设函数f(x)=ex ,然后验证函数f(x)符合拉格朗日中值定理的条件,最后分 x0和x&lt 0两种情况应用拉格朗日中值定理进行证明。 证明:设函数f(x) = ex。由于函数在f
扫扫二维码,随身浏览文档
手机或平板扫扫即可继续访问
谈利用拉格朗日中值定理证明不等式
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由:
将文档分享至:
分享完整地址
文档地址:
粘贴到BBS或博客
flash地址:
支持嵌入FLASH地址的网站使用
html代码:
&embed src='http://www.docin.com/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布,请您等待!
3秒自动关闭窗口引言 本篇文章将详解带有约束条件的最优化问题,约束条件分为等式约束与不等式约束,对于等式约束的优化问题,可以直接应用拉格朗日乘子法去求取最优值;对于含有不等式约束的优化问题,可以转化为在满足 KKT 约束条件下应用拉格朗日乘子法求解。拉格朗日求得的并不一定是最优解,只有在凸优化的情况下,才能保证得到的是最优解,所以本文称拉格朗日乘子法得到的为可行解,其实就是局部极小值,接下来从无约束优化开始一一讲解。 无约束优化 首先考虑一个不带任何约束的优化问题,对于变量 $ x \in \mathbb{R}^N $ 的函数 $f(x)$ ,无约束优化问题如下: \[\min_x& f(x) \] 该问题很好解,根据 Fermat 定理,直接找到使目标函数得 0 的点即可 即 $\nabla_xf(x) = 0$ ,如果没有解析解的话,可以使用梯度下降或牛顿方法等迭代的手段来使 $x$ 沿负梯度方向逐步逼近极小值点。 等式约束优化 当目标函数加上约束条件之后,问题就变成如下形式: \begin{aligned} &\min_{x } \& f(x)& \\ &s.t.& \ \ \ h_i(x) = 0 , i = 1,2,...,m \\ \end{aligned}
约束条件会将解的范围限定在一个可行域,此时不一定能找到使得 $\nabla_xf(x)$ 为 0 的点,只需找到在可行域内使得 $f(x)$ 最小的值即可,常用的方法即为拉格朗日乘子法,该方法首先引入 Lagrange Multiplier $\alpha \in \mathbb{R}^m$ ,构建 Lagrangian 如下: \[L(x,\alpha) = f(x) + \sum_{i=1}^m \alpha_i h_i(x)\] 求解方法如下:首先对 Lagrangian& 关于 $\alpha$ 与 $x$ 求 : \[\left \{\begin{aligned} \nabla_x L(x,\alpha)= 0& \\\nabla_{ \alpha } L(x,\alpha)= 0\end{aligned} \right.\] 令导数为 0 ,求得 $x$ 、$\alpha$& 的值后,将 $x$ 带入 $f(x)$ 即为在约束条件 $h_i(x)$ 下的可行解。这样做的意义是什么呢? 接下来看一个直观的示例,对于二维情况下的目标函数是 $f(x, y)$,在平面中画出 $f(x, y)$ 的等高线,如下图的虚线所示, 并只给出一个约束等式 $h(x,y) = 0$ ,如下图的绿线所示,目标函数 $f(x,y)$ 与约束 $g(x,y)$ 只有三种情况,相交、相切或者没有交集,没交集肯定不是解,只有相交或者相切可能是解,但相交得到的一定不是最优值,因为相交意味着肯定还存在其它的等高线在该条等高线的内部或者外部,使得新的等高线与目标函数的交点的值更大或者更小,这就意味着只有等高线与目标函数的曲线相切的时候,才可能得到可行解.
因此给出结论:拉格朗日乘子法取得极值的必要条件是目标函数与约束函数相切,这时两者的法向量是平行的,即
\[ \nabla _xf(x) – \alpha \nabla_xh(x) = 0\] 所以只要满足上述等式,且满足之前的约束 $h_i(x) = 0 , i = 1,2,…,m$ ,即可得到解,联立起来,正好得到就是拉格朗日乘子法。这里只是直观展示了一下拉格朗日乘子法的几何推导 ,并没有给出详细的证明。 不等式约束优化 当约束加上不等式之后,情况变得更加复杂,首先来看一个简单的情况,给定如下不等式约束问题: \begin{aligned}&\min_x \ f(x) \\& \ s.t. \ \& g(x) \le 0 \end{aligned} 对应的 Lagrangian 与图形分别如下所示: \[L(x, \lambda) = f(x) + \lambda g(x)\] 这时的可行解必须落在约束区域 $g(x)$ 之内,下图给出了目标函数的等高线与约束:
由图可见可行解 $x$ 只能在 $g(x) & 0$ 或者 $g(x) = 0$& 的区域里取得:
当可行解 $x$ 落在 $g(x) & 0$ 的区域内,此时直接极小化 $f(x)$ 即可;
当可行解 $x$ 落在 $g(x) = 0$ 即边界上,此时等价于等式约束优化问题.
当约束区域包含目标函数原有的的可行解时,此时加上约束可行解扔落在约束区域内部,对应 $g(x) & 0$ 的情况,这时约束条件不起作用;当约束区域不包含目标函数原有的可行解时,此时加上约束后可行解落在边界 $g(x) = 0$ 上。下图分别描述了两种情况,右图表示加上约束可行解会落在约束区域的边界上。
以上两种情况就是说,要么可行解落在约束边界上即得 $g(x) = 0$ ,要么可行解落在约束区域内部,此时约束不起作用,另 $\lambda = 0$ 消去约束即可,所以无论哪种情况都会得到: \[\lambda g(x) = 0\] 还有一个问题是 $\lambda$ 的取值,在等式约束优化中,约束函数与目标函数的梯度只要满足平行即可,而在不等式约束中则不然,若 $\lambda \ne 0$,这便说明 可行解 $x$ 是落在约束区域的边界上的,这时可行解应尽量靠近无约束时的解,所以在约束边界上,目标函数的负梯度方向应该远离约束区域朝向无约束时的解,此时正好可得约束函数的梯度方向与目标函数的负梯度方向应相同: \[ -\nabla_x f(x) = \lambda& \nabla_xg(x) \] 上式需要满足的要求是拉格朗日乘子 $\lambda & 0$ ,这个问题可以举一个形象的例子,假设你去爬山,目标是山顶,但有一个障碍挡住了通向山顶的路,所以只能沿着障碍爬到尽可能靠近山顶的位置,然后望着山顶叹叹气,这里山顶便是目标函数的可行解,障碍便是约束函数的边界,此时的梯度方向一定是指向山顶的,与障碍的梯度同向,下图描述了这种情况 :
可见对于不等式约束,只要满足一定的条件,依然可以使用拉格朗日乘子法解决,这里的条件便是 KKT 条件。接下来给出形式化的 KKT 条件 首先给出形式化的不等式约束优化问题: \begin{aligned} &\min_x \& f(x)& \\ &s.t.& \ \ \ h_i(x) = 0 , \& i = 1,2,...,m \ \\ & \ \ \ \ \ \ \ \ \ \&& g_j(x) \le 0, \& j = 1,2,...,n\end{aligned} 列出 Lagrangian 得到无约束优化问题: \[ L(x,\alpha,\beta) =f(x) + \sum_{i=1}^m \alpha_i h_i(x) + \sum_{j=1}^n\beta_ig_i(x) \]
经过之前的分析,便得知加上不等式约束后可行解 $x$ 需要满足的就是以下的 KKT 条件:
\begin{align} \nabla_x L(x,\alpha,\beta) &= 0&& \\\beta_jg_j(x) &= 0& , \ j=1,2,...,n\\h_i(x)&= 0 , \ i=1,2,...,m& \\g_j(x) &\le 0& , \& j=1,2,...,n& \\\beta_j &\ge& 0 , \ j=1,2,...,n& \\\end{align} 满足 KKT 条件后极小化 Lagrangian 即可得到在不等式约束条件下的可行解。 KKT 条件看起来很多,其实很好理解: (1) :拉格朗日取得可行解的必要条件; (2) :这就是以上分析的一个比较有意思的约束,称作松弛互补条件; (3) $\sim$ (4) :初始的约束条件; (5) :不等式约束的 Lagrange Multiplier 需满足的条件。 主要的KKT条件便是 (3) 和 (5) ,只要满足这俩个条件便可直接用拉格朗日乘子法, SVM 中的支持向量便是来自于此,需要注意的是 KKT 条件与对偶问题也有很大的联系,下一篇文章就是拉格朗日对偶。 & 参考文献:
1. 书:PRML | 《机器学习方法》-李航 |《机器学习》-周志华 2.
nice PPT &&&
阅读(...) 评论()}

我要回帖

更多关于 用拉格朗日中值定理证明不等式 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信