内积的几何意义可以这样写吗？
点击联系发帖人
时间：2017-11-10 12:27
扫二维码下载作业帮
3亿+用户的选择
下载作业帮安装包
扫二维码下载作业帮
3亿+用户的选择
线性代数向量内积可以用小括号（α,β）表示吗?还有向量范数可以|α|表示吗?书上是‖α‖如题.
扫二维码下载作业帮
3亿+用户的选择
好吧 我给你简单科普一下（1）因为向量的2范数就是它的模,这时可以用|a|来表示范数 ,但范数符号||a||右下标要写2百度你懂 搞不出下标 你明白就好 向量的1范数 ,就是各元素的绝对值之和,2范数就是各元素平方和再开2次方 所以只有2范数是等于他的模的 所以可以用你说的那个表示（2）再说说| |这个符号,其实| |这个符号可以统一理解为求长度的符号,你看当里面的字母a是一个点时,表示绝对值,是长度吧,当时一维的数时,即向量,表示模,即向量的长度,当为2维,也就是数组,表示行列式的值,也是长度吧,三维,就是三维数组的长度而|| ||是在｜ ｜的基础上多了两竖,那么它表示的意义也和｜ ｜差不多,也是求长度,但不再是｜ ｜求线长度那么简单,而是多维长度,比如2范数就是求线长度,3范数表示的不再是线长度那么简单（3）向量内积,最好别加小括号,用点乘去表示一目了然,因为内积是具体的一个数,加括号容易跟矩阵和向量产生混淆,比如我看你的题目,（a,b),你若不说 我以为是一个2维向量呢,或者一个列矩阵,但你说是内积,那结果出来是一个具体的数字,跟我第一印象的结果截然相反数学符号说白了就是发明者想简单表示自己所采用的运算,那么相似的符号,必然存在相似的运算,因为符号毕竟若与运算一样能统一,能有规律,那样子就方便分类,记忆以及联想.所以数学符号的发明也就一直朝这个规律去走的.总之符号是死的,运算方法是活的,相似的符号,可以通过一个看到另一个的本质,也就是另一个所表示的运算规律ps 我这么认真给你解答要给分哦pps 不给分 天地良心 你会过意不去的 因为我把好多自己的总结都告诉你了哦 一般人我是不会告诉他的
为您推荐：
其他类似问题
内积一般课本用记号(α，β)或者α'β表示向量范数都是用||α||的
扫描下载二维码 上传我的文档
 下载
 收藏
该文档贡献者很忙，什么也没留下。
 下载此文档
matlab求内积(第2版) pdf
下载积分：500
内容提示：matlab求内积(第2版) pdf
文档格式：PDF|
浏览次数：438|
上传日期： 13:33:30|
文档星级：
全文阅读已结束，如果下载本文需要使用
 500 积分
下载此文档
该用户还上传了这些文档
matlab求内积(第2版) pdf
关注微信公众号23被浏览8067分享邀请回答152 条评论分享收藏感谢收起2添加评论分享收藏感谢收起查看更多回答Categories
November 2017
6789101112
13141516171819
20212223242526
by pluskid, on , in &&&&
本文是“支持向量机系列”的番外篇(1)，参见本系列的。
在中，我们提到了 dual ，这里再来补充一点相关的知识。这套理论不仅适用于 SVM 的优化问题，而是对于所有带约束的优化问题都适用的，是优化理论中的一个重要部分。简单来说，对于任意一个带约束的优化都可以写成这样的形式：
\begin{aligned}
\min&f_0(x) \\
s.t. &f_i(x)\leq 0, \quad i=1,\ldots,m\\
&h_i(x)=0, \quad i=1,\ldots,p
\end{aligned}
形式统一能够简化推导过程中不必要的复杂性。其他的形式都可以归约到这样的标准形式，例如一个 $\max f(x)$ 可以转化为 $\min -f(x)$ 等。假如 $f_0,f_1,\ldots,f_m$ 全都是，并且 $h_1,\ldots,h_p$ 全都是（就是形如 $Ax+b$ 的形式），那么这个问题就叫做凸优化（Convex Optimization）问题。凸优化问题有许多优良的性质，例如它的极值是唯一的。不过，这里我们并没有假定需要处理的优化问题是一个凸优化问题。
虽然约束条件能够帮助我们减小搜索空间，但是如果约束条件本身就是比较复杂的形式的话，其实是一件很让人头痛的问题，为此我们希望把带约束的优化问题转化为无约束的优化问题。为此，我们定义 Lagrangian 如下：
L(x,\lambda,\nu)=f_0(x)+\sum_{i=1}^m\lambda_if_i(x)+\sum_{i=1}^p\nu_ih_i(x)
它通过一些系数把约束条件和目标函数结合在了一起。当然 Lagrangian 本身并不好玩，现在让我们来让他针对 $\lambda$ 和 $\nu$ 最大化，令：
z(x)=\max_{\lambda\succeq 0, \nu}L(x,\lambda,\nu)
这里 $\lambda\succeq 0$ 理解为向量 $\lambda$ 的每一个元素都非负即可。这个函数 $z(x)$ 对于满足原始问题约束条件的那些 $x$ 来说，其值等于 $f_0(x)$ ，这很容易验证，因为满足约束条件的 $x$ 会使得 $h_i(x)=0$ ，因此最后一项消掉了，而 $f_i(x)\leq 0$ ，并且我们要求了 $\lambda \succeq 0$ ，因此 $\lambda_if_i(x)\leq 0$ ，所以最大值只能在它们都取零的时候得到，这个时候就只剩下 $f_0(x)$ 了。因此，对于满足约束条件的那些 $x$ 来说，$f_0(x)=z(x)$ 。这样一来，原始的带约束的优化问题其实等价于如下的无约束优化问题：
\min_x z(x)
因为如果原始问题有最优值，那么肯定是在满足约束条件的某个 $x^*$ 取得，而对于所有满足约束条件的 $x$ ，$z(x)$ 和 $f_0(x)$ 都是相等的。至于那些不满足约束条件的 $x$ ，原始问题是无法取到的，否则极值问题无解。很容易验证对于这些不满足约束条件的 $x$ 有 $z(x)=\infty$，这也和原始问题是一致的，因为求最小值得到无穷大可以和“无解”看作是相容的。
到这里，我们成功把带约束问题转化为了无约束问题，不过这其实只是一个形式上的重写，并没有什么本质上的改变。我们只是把原来的问题通过 Lagrangian 写作了如下形式：
\min_x\ \max_{\lambda\succeq 0, \nu} L(x, \lambda, \nu)
这个问题（或者说原始的带约束的形式）称作 primal problem 。如果你看过之前关于 SVM 的推导，那么肯定就知道了，相对应的还有一个 dual problem ，其形式非常类似，只是把 $\min$ 和 $\max$ 交换了一下：
\max_{\lambda\succeq 0, \nu}\ \min_x L(x, \lambda, \nu)
交换之后的 dual problem 和原来的 primal problem 并不相等，直观地，我们可以这样来理解：胖子中最瘦的那个都比瘦骨精中最胖的那个要胖。当然这是很不严格的说法，而且扣字眼的话可以纠缠不休，所以我们还是来看严格数学描述。和刚才的 $z(x)$ 类似，我们也用一个记号来表示内层的这个函数，记：
g(\lambda,\nu) = \min_x L(x, \lambda, \nu)
并称 $g(\lambda,\nu)$ 为 Lagrange dual function （不要和 $L$ 的 Lagrangian 混淆了）。$g$ 有一个很好的性质就是它是 primal problem 的一个下界。换句话说，如果 primal problem 的最小值记为 $p^*$ ，那么对于所有的 $\lambda \succeq 0$ 和 $\nu$ ，我们有：
g(\lambda,\nu)\leq p^*
因为对于极值点（实际上包括所有满足约束条件的点）$x^*$，注意到 $\lambda\succeq 0$ ，我们总是有
\sum_{i=1}^m\lambda_if_i(x^*)+\sum_{i=1}^p\nu_ih_i(x^*)\leq 0
L(x^*,\lambda,\nu)=f_0(x^*)+\sum_{i=1}^m\lambda_if_i(x^*)+\sum_{i=1}^p\nu_ih_i(x^*)\leq f_0(x^*)
g(\lambda,\nu)=\min_x L(x,\lambda,\nu)\leq L(x^*,\lambda,\nu)\leq f_0(x^*)=p^*
这样一来就确定了 $g$ 的下界性质，于是
\max_{\lambda\succeq 0,\nu}g(\lambda,\nu)
实际上就是最大的下界。这是很自然的，因为得到下界之后，我们自然地就希望得到最好的下界，也就是最大的那一个——因为它离我们要逼近的值最近呀。记 dual problem 的最优值为 $d^*$ 的话，根据上面的推导，我们就得到了如下性质：
d^*\leq p^*
这个性质叫做 weak duality ，对于所有的优化问题都成立。其中 $p^*-d^*$ 被称作 duality gap 。需要注意的是，无论 primal problem 是什么形式，dual problem 总是一个 convex optimization 的问题——它的极值是唯一的（如果存在的话），并且有现成的软件包可以对凸优化问题进行求解（虽然求解 general 的 convex optimization 实际上是很慢并且只能求解规模较小的问题的）。这样一来，对于那些难以求解的 primal problem （比如，甚至可以是 NP 问题），我们可以通过找出它的 dual problem ，通过优化这个 dual problem 来得到原始问题的一个下界估计。或者说我们甚至都不用去优化这个 dual problem ，而是（通过某些方法，例如随机）选取一些 $\lambda\succeq 0$ 和 $\nu$ ，带到 $g(\lambda,\nu)$ 中，这样也会得到一些下界（只不过不一定是最大的那个下界而已）。当然要选 $\lambda$ 和 $\nu$ 也并不是总是“随机选”那么容易，根据具体问题，有时候选出来的 $\lambda$ 和 $\nu$ 带入 $g$ 会得到 $-\infty$ ，这虽然是一个完全合法的下界，然而却并没有给我们带来任何有用的信息。
故事到这里还没有结束，既然有 weak duality ，显然就会有 strong duality 。所谓 strong duality ，就是
这是一个很好的性质，strong duality 成立的情况下，我们可以通过求解 dual problem 来优化 primal problem ，在 SVM 中我们就是这样做的。当然并不是所有的问题都能满足 strong duality ，在讲 SVM 的时候我们直接假定了 strong duality 的成立，这里我们就来提一下 strong duality 成立的条件。不过，这个问题如果要讲清楚，估计写一本书都不够，应该也有不少专门做优化方面的人在研究这相关的问题吧，我没有兴趣（当然也没有精力和能力）来做一个完整的介绍，相信大家也没有兴趣来看这样的东西——否则你肯定是专门研究优化方面的问题的了，此时你肯定比我懂得更多，也就不用看我写的介绍啦。
所以，这里我们就简要地介绍一下 Slater 条件和 KKT 条件。Slater 条件是指存在严格满足约束条件的点 $x$ ，这里的“严格”是指 $f_i(x)\leq 0$ 中的“小于或等于号”要严格取到“小于号”，亦即，存在 $x$ 满足
\begin{aligned}
f_i(x)<0&\quad i=1,\ldots,m\\
h_i(x)=0&\quad i=1,\ldots,p
\end{aligned}
我们有：如果原始问题是 Convex 的并且满足 Slater 条件的话，那么 strong duality 成立。需要注意的是，这里只是指出了 strong duality 成立的一种情况，而并不是唯一情况。例如，对于某些非 convex optimization 的问题，strong duality 也成立。这里我们不妨回顾一下 SVM 的 primal problem ，那是一个 convex optimization 问题（QP 是凸优化问题的一种特殊情况），而 Slater 条件实际上在这里就等价于是存在这样的一个超平面将数据分隔开来，亦即是“数据是可分的”。当数据不可分是，strong duality 不能成立，不过，这个时候我们寻找分隔平面这个问题本身也就是没有意义的了，至于我们如何通过把数据映射到特征空间中来解决不可分的问题，这个当时，这里就不多说了。
让我们回到 duality 的话题。来看看 strong duality 成立的时候的一些性质。假设 $x^*$ 和 $(\lambda^*,\nu^*)$ 分别是 primal problem 和 dual problem 的极值点，相应的极值为 $p^*$ 和 $d^*$ ，首先 $p^*=d^*$ ，此时我们可以得到
\begin{aligned}
f_0(x^*)&=g(\lambda^*,\nu^*)\\
&=\min_x\left(f_0(x)+\sum_{i=1}^m\lambda_i^*f_i(x)+\sum_{i=1}^p\nu_i^*h_i(x)\right)\\
&\leq f_0(x^*)+\sum_{i=1}^m\lambda_i^*f_i(x^*)+\sum_{i=1}^p\nu_i^*h_i(x^*) \\
&\leq f_0(x^*)
\end{aligned}
由于两头是相等的，所以这一系列的式子里的不等号全部都可以换成等号。根据第一个不等号我们可以得到 $x^*$ 是 $L(x,\lambda^*,\nu^*)$ 的一个极值点，由此可以知道 $L(x,\lambda^*,\nu^*)$ 在 $x^*$ 处的梯度应该等于 0 ，亦即：
\nabla f_0(x^*)+\sum_{i=1}^m\lambda_i^*\nabla f_i(x^*)+\sum_{i=1}^p\nu_i^* \nabla h_i(x^*)=0
此外，由第二个不等式，又显然 $\lambda_i^*f_i(x^*)$ 都是非正的，因此我们可以得到
\lambda_i^*f_i(x^*)=0,\quad i=1,\ldots,m
这个条件叫做 complementary slackness 。显然，如果 $\lambda_i^*>0$，那么必定有 $f_i(x^*)=0$ ；反过来，如果 $f_i(x^*)<0$ 那么可以得到 $\lambda_i^*=0$ 。这个条件正是我们在末尾时用来证明那些非支持向量（对应于 $f_i(x^*)<0$）所对应的系数 $\alpha_i$ （在本文里对应 $\lambda_i$ ）是为零的。 :)
再将其他一些显而易见的条件写到一起，就是传说中的 KKT (Karush-Kuhn-Tucker) 条件：
\begin{aligned}
f_i(x^*)\leq 0,&\quad i=1,\ldots,m\\
h_i(x^*)=0,&\quad i=1,\ldots,p\\
\lambda_i^*\geq 0,&\quad i=1,\ldots,m\\
\lambda_i^*f_i(x^*)=0,&\quad i=1,\ldots,m\\
\textstyle\nabla f_0(x^*)+\sum_{i=1}^m\lambda_i^*\nabla f_i(x^*)+\sum_{i=1}^p\nu_i^* \nabla h_i(x^*)=0&
\end{aligned}
任何满足 strong duality （不一定要求是通过 Slater 条件得到，也不一定要求是凸优化问题）的问题都满足 KKT 条件，换句话说，这是 strong duality 的一个必要条件。不过，当原始问题是凸优化问题的时候（当然还要求一应函数是可微的，否则 KKT 条件的最后一个式子就没有意义了），KKT 就可以升级为充要条件。换句话说，如果 primal problem 是一个凸优化问题，且存在 $\tilde{x}$ 和 $(\tilde{\lambda},\tilde{\nu})$ 满足 KKT 条件，那么它们分别是 primal problem 和 dual problem 的极值点并且 strong duality 成立。
其证明也比较简单，首先 primal problem 是凸优化问题的话，$g(\lambda,\nu)=\min_x L(x,\lambda,\nu)$ 的求解对每一组固定的 $(\lambda,\nu)$ 来说也是一个凸优化问题，由 KKT 条件的最后一个式子，知道 $\tilde{x}$ 是 $\min_x L(x,\tilde{\lambda},\tilde{\nu})$ 的极值点（如果不是凸优化问题，则不一定能推出来），亦即：
\begin{aligned}
g(\tilde{\lambda},\tilde{\nu}) &= \min_x L(x,\tilde{\lambda},\tilde{\nu}) \\
&= L(\tilde{x},\tilde{\lambda},\tilde{\nu}) \\
& = f_0(\tilde{x})+\sum_{i=1}^m\tilde{\lambda}_i^*f_i(\tilde{x})+\sum_{i=1}^p\tilde{\nu_i}^*h_i(\tilde{x}) \\
&= f_0(\tilde{x})
\end{aligned}
最后一个式子是根据 KKT 条件的第二和第四个条件得到。由于 $g$ 是 $f_0$ 的下界，这样一来，就证明了 duality gap 为零，也就是说，strong duality 成立。
到此为止，做一下总结。我们简要地介绍了 duality 的概念，基本上没有给什么具体的例子。不过由于内容比较多，为了避免文章超长，就挑了一些重点讲了一下。总的来说，一个优化问题，通过求出它的 dual problem ，在只有 weak duality 成立的情况下，我们至少可以得到原始问题的一个下界。而如果 strong duality 成立，则可以直接求解 dual problem 来解决原始问题，就如同经典的 SVM 的求解过程一样。有可能 dual problem 比 primal problem 更容易求解，或者 dual problem 有一些优良的结构（例如 SVM 中通过 dual problem 我们可以将问题表示成数据的内积形式从而使得 kernel trick 的应用成为可能）。此外，还有一些情况会同时求解 dual 和 primal problem ，比如在迭代求解的过程中，通过判断 duality gap 的大小，可以得出一个有效的迭代停止条件。
Leave a Reply
Except where otherwise noted, content on this site is licensed under a .您所在位置： &
 &  & 
江苏省连云港市赣榆县智贤中学（苏教版）高一下学期数学必修4导学案：向量的内积.doc 14页
本文档一共被下载：
次 ,您可全文免费在线阅读后下载本文档。
下载提示
1.本站不保证该用户上传的文档完整性，不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值，立即自动返金币，充值渠道很便利
需要金币：60 &&
你可能关注的文档：
··········
··········
向量的内积
向量的数量积在高中阶段应用很广泛，在向量加减法的基础上，进一步学习向量的内积运算的坐标表示，具有针对性的对高中基础薄弱学生采用构建式生态课堂，利用分组式小黑板教学营造高效课堂环境，给学生好的学习空间，教师引导与学生自主学习、讨论、交流我主导完成上课教学目标，培养学生学习数学兴趣。
向量数量积
构建式生态课堂
淘金式思维
一、 案例背景描述
本节教材是实施新课改后，应用建构式生态课堂针对高一基础薄弱学生上的一堂数学课，这样的课是在实验教学法的基础上，对“三案·六模块”教学模式的理论探索和数学实践，又受到现在教育改革的新课堂——“建构式生态课堂”深入影响，而展开的一堂高效生态数学课堂。
本堂课教室在高一（4）班，共63位同学，并对学生进行了分组，分组情况是六人一组，但是学生分配是根据上学期期末成绩，座位的排列情况还是和上个学期一样按照顺时针或者逆时针的方向排列。教室中每组学生都有一块小黑板，小黑板由小组长负责保管，这样学生上课就不需要随意走动，在座位上就能利用小黑板进行操作，这一点是针对第一阶段中学生下位课堂秩序混论作出的进一步调整，以改善课堂秩序，更好的掌控课堂的秩序，教师能够进一步更好的掌控课堂。
二、情景描述：
堂课的第一个阶段是物理中物体的做功的真实生活情景中引入课题，一个方面是针对基础薄弱的学生，这方面的物理问题已经学过，可以提升他们的学习兴趣，另一个方面，通过物理的矢量与标量可以很自然的引入向量的内积的概念,对第一、第二课时的教学总结，以及对只是点的初步认识，本节课从向量的方向，进一步对向量加以研究。我主要摘取的教学片断是教学的第二个环节——交流与展示，具体的环节如下：
开始和平常一样，开始上课
师：“同学们，在前面两节课我们学习了向量的内积的一些知识，现在请同学们回忆一下上节课学习的内容，谁能回顾一下上节课的知识？。”
生：“上节课学习了向量的内积的公式，还有（1）交换律：
（2）数乘结合律：
（3）分配律：．
师：“还有没有要补充的？（一段时间学生没有反应），此时我继续提问：“在学习向量加法坐标运算的时候是如何做的呢？”
生：“先建立直角坐标系，然后再在两个坐标轴上分别取单位向量，然后再”
师：“我补充一下同学回答的问题，然后再用有序实数对表示，然后通过坐标运算推到出向量的坐标运算，这是我们上节课学习的内容，同学们，你们能不能根据前面学习的向量的线性运算，来推到向量内积的坐标之间的关系吗？请同学们展开思考，如果能请同学们自己思考，然后小组交流讨论，可以将你们小组最后的结论写到小黑板上。”
（学生思考一段时间，然后很自然的的展开了讨论，学生在上小黑板上写小组的结论时候有的小组很犹豫。）
大约经过了十分钟，大部分小组已经将自己的分析结果写到了小黑板上。
师：“现在大部分小组已经将他们的推到过程写到了小黑板上，还没有写好的同学需要加快速度了。”
师：“好现在请两边各组的同学将你们的小黑板展示出来，共其他的小组观摩，其他小组在看的时候看看那些小组和你们自己写的不一样，以及他们存在的问题你们能不能解决呢？”
（现在学生开始七嘴八舌的交流与谈话，并且部分学生站起来看其他小组的题目。）
师：“中间组，你们在看两边组的题目过程中与你们的结果是否一样？”
张纹纹（生）：“第二小组的学生没有先设 。”
师：“很好，张纹纹观察的很仔细，还有吗？（学生没有回答，学生开始沉闷，基础薄弱的同学没有信心回答这样的问题）其他同学还有不同的看法吗？”
师：“刚才在推到的过程中，有没有同学感觉到推到的吃力，或者那些地方不懂，不好推到，或者你们在什么地方不懂但是又说不来，似是非懂。”
王远（生）：“老师我有一个问题，他们都写了
可是我不明白为什么可以直接得到这个式子？”
师：刚刚这位同学提到了这个问题，哪位同学能为他解答啊？
李金玲（生）：“因为，，，这是上节课学习的内容，根据
。时他们的夹角是0度，当时，他们的夹角是90度。”
师：“这位同学说的不错，很好，现在还有哪位同学什么地方不明白的，看看你们小黑板上的问题是不是得到了解答？”
学生没有回答的，接下来我总结了刚刚学生推导的过程。
师：“刚刚同学们已经对向量的内积形式进行了推导，现在请同学们看看黑板上的题目。（题目是在学生讨论的过程中抄到黑板上的）”
例1 设，求．
（例一老师讲解，并且将详细的解题过程写到黑板上，座位板书。）
例2已知，求（3-）·（-2）
师：“请同学们思考例二，并将小组内的结论写到小黑板上。”
正在加载中，请稍后...
45页51页22页61页76页40页38页34页31页25页}
3亿+用户的选择
下载作业帮安装包
扫二维码下载作业帮
3亿+用户的选择
线性代数向量内积可以用小括号（α,β）表示吗?还有向量范数可以|α|表示吗?书上是‖α‖如题.
扫二维码下载作业帮
3亿+用户的选择
好吧 我给你简单科普一下（1）因为向量的2范数就是它的模,这时可以用|a|来表示范数 ,但范数符号||a||右下标要写2百度你懂 搞不出下标 你明白就好 向量的1范数 ,就是各元素的绝对值之和,2范数就是各元素平方和再开2次方 所以只有2范数是等于他的模的 所以可以用你说的那个表示（2）再说说| |这个符号,其实| |这个符号可以统一理解为求长度的符号,你看当里面的字母a是一个点时,表示绝对值,是长度吧,当时一维的数时,即向量,表示模,即向量的长度,当为2维,也就是数组,表示行列式的值,也是长度吧,三维,就是三维数组的长度而|| ||是在｜ ｜的基础上多了两竖,那么它表示的意义也和｜ ｜差不多,也是求长度,但不再是｜ ｜求线长度那么简单,而是多维长度,比如2范数就是求线长度,3范数表示的不再是线长度那么简单（3）向量内积,最好别加小括号,用点乘去表示一目了然,因为内积是具体的一个数,加括号容易跟矩阵和向量产生混淆,比如我看你的题目,（a,b),你若不说 我以为是一个2维向量呢,或者一个列矩阵,但你说是内积,那结果出来是一个具体的数字,跟我第一印象的结果截然相反数学符号说白了就是发明者想简单表示自己所采用的运算,那么相似的符号,必然存在相似的运算,因为符号毕竟若与运算一样能统一,能有规律,那样子就方便分类,记忆以及联想.所以数学符号的发明也就一直朝这个规律去走的.总之符号是死的,运算方法是活的,相似的符号,可以通过一个看到另一个的本质,也就是另一个所表示的运算规律ps 我这么认真给你解答要给分哦pps 不给分 天地良心 你会过意不去的 因为我把好多自己的总结都告诉你了哦 一般人我是不会告诉他的
为您推荐：
其他类似问题
内积一般课本用记号(α，β)或者α'β表示向量范数都是用||α||的
扫描下载二维码 上传我的文档
 下载
 收藏
该文档贡献者很忙，什么也没留下。
 下载此文档
matlab求内积(第2版) pdf
下载积分：500
内容提示：matlab求内积(第2版) pdf
文档格式：PDF|
浏览次数：438|
上传日期： 13:33:30|
文档星级：
全文阅读已结束，如果下载本文需要使用
 500 积分
下载此文档
该用户还上传了这些文档
matlab求内积(第2版) pdf
关注微信公众号23被浏览8067分享邀请回答152 条评论分享收藏感谢收起2添加评论分享收藏感谢收起查看更多回答Categories
November 2017
6789101112
13141516171819
20212223242526
by pluskid, on , in &&&&
本文是“支持向量机系列”的番外篇(1)，参见本系列的。
在中，我们提到了 dual ，这里再来补充一点相关的知识。这套理论不仅适用于 SVM 的优化问题，而是对于所有带约束的优化问题都适用的，是优化理论中的一个重要部分。简单来说，对于任意一个带约束的优化都可以写成这样的形式：
\begin{aligned}
\min&f_0(x) \\
s.t. &f_i(x)\leq 0, \quad i=1,\ldots,m\\
&h_i(x)=0, \quad i=1,\ldots,p
\end{aligned}
形式统一能够简化推导过程中不必要的复杂性。其他的形式都可以归约到这样的标准形式，例如一个 $\max f(x)$ 可以转化为 $\min -f(x)$ 等。假如 $f_0,f_1,\ldots,f_m$ 全都是，并且 $h_1,\ldots,h_p$ 全都是（就是形如 $Ax+b$ 的形式），那么这个问题就叫做凸优化（Convex Optimization）问题。凸优化问题有许多优良的性质，例如它的极值是唯一的。不过，这里我们并没有假定需要处理的优化问题是一个凸优化问题。
虽然约束条件能够帮助我们减小搜索空间，但是如果约束条件本身就是比较复杂的形式的话，其实是一件很让人头痛的问题，为此我们希望把带约束的优化问题转化为无约束的优化问题。为此，我们定义 Lagrangian 如下：
L(x,\lambda,\nu)=f_0(x)+\sum_{i=1}^m\lambda_if_i(x)+\sum_{i=1}^p\nu_ih_i(x)
它通过一些系数把约束条件和目标函数结合在了一起。当然 Lagrangian 本身并不好玩，现在让我们来让他针对 $\lambda$ 和 $\nu$ 最大化，令：
z(x)=\max_{\lambda\succeq 0, \nu}L(x,\lambda,\nu)
这里 $\lambda\succeq 0$ 理解为向量 $\lambda$ 的每一个元素都非负即可。这个函数 $z(x)$ 对于满足原始问题约束条件的那些 $x$ 来说，其值等于 $f_0(x)$ ，这很容易验证，因为满足约束条件的 $x$ 会使得 $h_i(x)=0$ ，因此最后一项消掉了，而 $f_i(x)\leq 0$ ，并且我们要求了 $\lambda \succeq 0$ ，因此 $\lambda_if_i(x)\leq 0$ ，所以最大值只能在它们都取零的时候得到，这个时候就只剩下 $f_0(x)$ 了。因此，对于满足约束条件的那些 $x$ 来说，$f_0(x)=z(x)$ 。这样一来，原始的带约束的优化问题其实等价于如下的无约束优化问题：
\min_x z(x)
因为如果原始问题有最优值，那么肯定是在满足约束条件的某个 $x^*$ 取得，而对于所有满足约束条件的 $x$ ，$z(x)$ 和 $f_0(x)$ 都是相等的。至于那些不满足约束条件的 $x$ ，原始问题是无法取到的，否则极值问题无解。很容易验证对于这些不满足约束条件的 $x$ 有 $z(x)=\infty$，这也和原始问题是一致的，因为求最小值得到无穷大可以和“无解”看作是相容的。
到这里，我们成功把带约束问题转化为了无约束问题，不过这其实只是一个形式上的重写，并没有什么本质上的改变。我们只是把原来的问题通过 Lagrangian 写作了如下形式：
\min_x\ \max_{\lambda\succeq 0, \nu} L(x, \lambda, \nu)
这个问题（或者说原始的带约束的形式）称作 primal problem 。如果你看过之前关于 SVM 的推导，那么肯定就知道了，相对应的还有一个 dual problem ，其形式非常类似，只是把 $\min$ 和 $\max$ 交换了一下：
\max_{\lambda\succeq 0, \nu}\ \min_x L(x, \lambda, \nu)
交换之后的 dual problem 和原来的 primal problem 并不相等，直观地，我们可以这样来理解：胖子中最瘦的那个都比瘦骨精中最胖的那个要胖。当然这是很不严格的说法，而且扣字眼的话可以纠缠不休，所以我们还是来看严格数学描述。和刚才的 $z(x)$ 类似，我们也用一个记号来表示内层的这个函数，记：
g(\lambda,\nu) = \min_x L(x, \lambda, \nu)
并称 $g(\lambda,\nu)$ 为 Lagrange dual function （不要和 $L$ 的 Lagrangian 混淆了）。$g$ 有一个很好的性质就是它是 primal problem 的一个下界。换句话说，如果 primal problem 的最小值记为 $p^*$ ，那么对于所有的 $\lambda \succeq 0$ 和 $\nu$ ，我们有：
g(\lambda,\nu)\leq p^*
因为对于极值点（实际上包括所有满足约束条件的点）$x^*$，注意到 $\lambda\succeq 0$ ，我们总是有
\sum_{i=1}^m\lambda_if_i(x^*)+\sum_{i=1}^p\nu_ih_i(x^*)\leq 0
L(x^*,\lambda,\nu)=f_0(x^*)+\sum_{i=1}^m\lambda_if_i(x^*)+\sum_{i=1}^p\nu_ih_i(x^*)\leq f_0(x^*)
g(\lambda,\nu)=\min_x L(x,\lambda,\nu)\leq L(x^*,\lambda,\nu)\leq f_0(x^*)=p^*
这样一来就确定了 $g$ 的下界性质，于是
\max_{\lambda\succeq 0,\nu}g(\lambda,\nu)
实际上就是最大的下界。这是很自然的，因为得到下界之后，我们自然地就希望得到最好的下界，也就是最大的那一个——因为它离我们要逼近的值最近呀。记 dual problem 的最优值为 $d^*$ 的话，根据上面的推导，我们就得到了如下性质：
d^*\leq p^*
这个性质叫做 weak duality ，对于所有的优化问题都成立。其中 $p^*-d^*$ 被称作 duality gap 。需要注意的是，无论 primal problem 是什么形式，dual problem 总是一个 convex optimization 的问题——它的极值是唯一的（如果存在的话），并且有现成的软件包可以对凸优化问题进行求解（虽然求解 general 的 convex optimization 实际上是很慢并且只能求解规模较小的问题的）。这样一来，对于那些难以求解的 primal problem （比如，甚至可以是 NP 问题），我们可以通过找出它的 dual problem ，通过优化这个 dual problem 来得到原始问题的一个下界估计。或者说我们甚至都不用去优化这个 dual problem ，而是（通过某些方法，例如随机）选取一些 $\lambda\succeq 0$ 和 $\nu$ ，带到 $g(\lambda,\nu)$ 中，这样也会得到一些下界（只不过不一定是最大的那个下界而已）。当然要选 $\lambda$ 和 $\nu$ 也并不是总是“随机选”那么容易，根据具体问题，有时候选出来的 $\lambda$ 和 $\nu$ 带入 $g$ 会得到 $-\infty$ ，这虽然是一个完全合法的下界，然而却并没有给我们带来任何有用的信息。
故事到这里还没有结束，既然有 weak duality ，显然就会有 strong duality 。所谓 strong duality ，就是
这是一个很好的性质，strong duality 成立的情况下，我们可以通过求解 dual problem 来优化 primal problem ，在 SVM 中我们就是这样做的。当然并不是所有的问题都能满足 strong duality ，在讲 SVM 的时候我们直接假定了 strong duality 的成立，这里我们就来提一下 strong duality 成立的条件。不过，这个问题如果要讲清楚，估计写一本书都不够，应该也有不少专门做优化方面的人在研究这相关的问题吧，我没有兴趣（当然也没有精力和能力）来做一个完整的介绍，相信大家也没有兴趣来看这样的东西——否则你肯定是专门研究优化方面的问题的了，此时你肯定比我懂得更多，也就不用看我写的介绍啦。
所以，这里我们就简要地介绍一下 Slater 条件和 KKT 条件。Slater 条件是指存在严格满足约束条件的点 $x$ ，这里的“严格”是指 $f_i(x)\leq 0$ 中的“小于或等于号”要严格取到“小于号”，亦即，存在 $x$ 满足
\begin{aligned}
f_i(x)<0&\quad i=1,\ldots,m\\
h_i(x)=0&\quad i=1,\ldots,p
\end{aligned}
我们有：如果原始问题是 Convex 的并且满足 Slater 条件的话，那么 strong duality 成立。需要注意的是，这里只是指出了 strong duality 成立的一种情况，而并不是唯一情况。例如，对于某些非 convex optimization 的问题，strong duality 也成立。这里我们不妨回顾一下 SVM 的 primal problem ，那是一个 convex optimization 问题（QP 是凸优化问题的一种特殊情况），而 Slater 条件实际上在这里就等价于是存在这样的一个超平面将数据分隔开来，亦即是“数据是可分的”。当数据不可分是，strong duality 不能成立，不过，这个时候我们寻找分隔平面这个问题本身也就是没有意义的了，至于我们如何通过把数据映射到特征空间中来解决不可分的问题，这个当时，这里就不多说了。
让我们回到 duality 的话题。来看看 strong duality 成立的时候的一些性质。假设 $x^*$ 和 $(\lambda^*,\nu^*)$ 分别是 primal problem 和 dual problem 的极值点，相应的极值为 $p^*$ 和 $d^*$ ，首先 $p^*=d^*$ ，此时我们可以得到
\begin{aligned}
f_0(x^*)&=g(\lambda^*,\nu^*)\\
&=\min_x\left(f_0(x)+\sum_{i=1}^m\lambda_i^*f_i(x)+\sum_{i=1}^p\nu_i^*h_i(x)\right)\\
&\leq f_0(x^*)+\sum_{i=1}^m\lambda_i^*f_i(x^*)+\sum_{i=1}^p\nu_i^*h_i(x^*) \\
&\leq f_0(x^*)
\end{aligned}
由于两头是相等的，所以这一系列的式子里的不等号全部都可以换成等号。根据第一个不等号我们可以得到 $x^*$ 是 $L(x,\lambda^*,\nu^*)$ 的一个极值点，由此可以知道 $L(x,\lambda^*,\nu^*)$ 在 $x^*$ 处的梯度应该等于 0 ，亦即：
\nabla f_0(x^*)+\sum_{i=1}^m\lambda_i^*\nabla f_i(x^*)+\sum_{i=1}^p\nu_i^* \nabla h_i(x^*)=0
此外，由第二个不等式，又显然 $\lambda_i^*f_i(x^*)$ 都是非正的，因此我们可以得到
\lambda_i^*f_i(x^*)=0,\quad i=1,\ldots,m
这个条件叫做 complementary slackness 。显然，如果 $\lambda_i^*>0$，那么必定有 $f_i(x^*)=0$ ；反过来，如果 $f_i(x^*)<0$ 那么可以得到 $\lambda_i^*=0$ 。这个条件正是我们在末尾时用来证明那些非支持向量（对应于 $f_i(x^*)<0$）所对应的系数 $\alpha_i$ （在本文里对应 $\lambda_i$ ）是为零的。 :)
再将其他一些显而易见的条件写到一起，就是传说中的 KKT (Karush-Kuhn-Tucker) 条件：
\begin{aligned}
f_i(x^*)\leq 0,&\quad i=1,\ldots,m\\
h_i(x^*)=0,&\quad i=1,\ldots,p\\
\lambda_i^*\geq 0,&\quad i=1,\ldots,m\\
\lambda_i^*f_i(x^*)=0,&\quad i=1,\ldots,m\\
\textstyle\nabla f_0(x^*)+\sum_{i=1}^m\lambda_i^*\nabla f_i(x^*)+\sum_{i=1}^p\nu_i^* \nabla h_i(x^*)=0&
\end{aligned}
任何满足 strong duality （不一定要求是通过 Slater 条件得到，也不一定要求是凸优化问题）的问题都满足 KKT 条件，换句话说，这是 strong duality 的一个必要条件。不过，当原始问题是凸优化问题的时候（当然还要求一应函数是可微的，否则 KKT 条件的最后一个式子就没有意义了），KKT 就可以升级为充要条件。换句话说，如果 primal problem 是一个凸优化问题，且存在 $\tilde{x}$ 和 $(\tilde{\lambda},\tilde{\nu})$ 满足 KKT 条件，那么它们分别是 primal problem 和 dual problem 的极值点并且 strong duality 成立。
其证明也比较简单，首先 primal problem 是凸优化问题的话，$g(\lambda,\nu)=\min_x L(x,\lambda,\nu)$ 的求解对每一组固定的 $(\lambda,\nu)$ 来说也是一个凸优化问题，由 KKT 条件的最后一个式子，知道 $\tilde{x}$ 是 $\min_x L(x,\tilde{\lambda},\tilde{\nu})$ 的极值点（如果不是凸优化问题，则不一定能推出来），亦即：
\begin{aligned}
g(\tilde{\lambda},\tilde{\nu}) &= \min_x L(x,\tilde{\lambda},\tilde{\nu}) \\
&= L(\tilde{x},\tilde{\lambda},\tilde{\nu}) \\
& = f_0(\tilde{x})+\sum_{i=1}^m\tilde{\lambda}_i^*f_i(\tilde{x})+\sum_{i=1}^p\tilde{\nu_i}^*h_i(\tilde{x}) \\
&= f_0(\tilde{x})
\end{aligned}
最后一个式子是根据 KKT 条件的第二和第四个条件得到。由于 $g$ 是 $f_0$ 的下界，这样一来，就证明了 duality gap 为零，也就是说，strong duality 成立。
到此为止，做一下总结。我们简要地介绍了 duality 的概念，基本上没有给什么具体的例子。不过由于内容比较多，为了避免文章超长，就挑了一些重点讲了一下。总的来说，一个优化问题，通过求出它的 dual problem ，在只有 weak duality 成立的情况下，我们至少可以得到原始问题的一个下界。而如果 strong duality 成立，则可以直接求解 dual problem 来解决原始问题，就如同经典的 SVM 的求解过程一样。有可能 dual problem 比 primal problem 更容易求解，或者 dual problem 有一些优良的结构（例如 SVM 中通过 dual problem 我们可以将问题表示成数据的内积形式从而使得 kernel trick 的应用成为可能）。此外，还有一些情况会同时求解 dual 和 primal problem ，比如在迭代求解的过程中，通过判断 duality gap 的大小，可以得出一个有效的迭代停止条件。
Leave a Reply
Except where otherwise noted, content on this site is licensed under a .您所在位置： &
 &  & 
江苏省连云港市赣榆县智贤中学（苏教版）高一下学期数学必修4导学案：向量的内积.doc 14页
本文档一共被下载：
次 ,您可全文免费在线阅读后下载本文档。
下载提示
1.本站不保证该用户上传的文档完整性，不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值，立即自动返金币，充值渠道很便利
需要金币：60 &&
你可能关注的文档：
··········
··········
向量的内积
向量的数量积在高中阶段应用很广泛，在向量加减法的基础上，进一步学习向量的内积运算的坐标表示，具有针对性的对高中基础薄弱学生采用构建式生态课堂，利用分组式小黑板教学营造高效课堂环境，给学生好的学习空间，教师引导与学生自主学习、讨论、交流我主导完成上课教学目标，培养学生学习数学兴趣。
向量数量积
构建式生态课堂
淘金式思维
一、 案例背景描述
本节教材是实施新课改后，应用建构式生态课堂针对高一基础薄弱学生上的一堂数学课，这样的课是在实验教学法的基础上，对“三案·六模块”教学模式的理论探索和数学实践，又受到现在教育改革的新课堂——“建构式生态课堂”深入影响，而展开的一堂高效生态数学课堂。
本堂课教室在高一（4）班，共63位同学，并对学生进行了分组，分组情况是六人一组，但是学生分配是根据上学期期末成绩，座位的排列情况还是和上个学期一样按照顺时针或者逆时针的方向排列。教室中每组学生都有一块小黑板，小黑板由小组长负责保管，这样学生上课就不需要随意走动，在座位上就能利用小黑板进行操作，这一点是针对第一阶段中学生下位课堂秩序混论作出的进一步调整，以改善课堂秩序，更好的掌控课堂的秩序，教师能够进一步更好的掌控课堂。
二、情景描述：
堂课的第一个阶段是物理中物体的做功的真实生活情景中引入课题，一个方面是针对基础薄弱的学生，这方面的物理问题已经学过，可以提升他们的学习兴趣，另一个方面，通过物理的矢量与标量可以很自然的引入向量的内积的概念,对第一、第二课时的教学总结，以及对只是点的初步认识，本节课从向量的方向，进一步对向量加以研究。我主要摘取的教学片断是教学的第二个环节——交流与展示，具体的环节如下：
开始和平常一样，开始上课
师：“同学们，在前面两节课我们学习了向量的内积的一些知识，现在请同学们回忆一下上节课学习的内容，谁能回顾一下上节课的知识？。”
生：“上节课学习了向量的内积的公式，还有（1）交换律：
（2）数乘结合律：
（3）分配律：．
师：“还有没有要补充的？（一段时间学生没有反应），此时我继续提问：“在学习向量加法坐标运算的时候是如何做的呢？”
生：“先建立直角坐标系，然后再在两个坐标轴上分别取单位向量，然后再”
师：“我补充一下同学回答的问题，然后再用有序实数对表示，然后通过坐标运算推到出向量的坐标运算，这是我们上节课学习的内容，同学们，你们能不能根据前面学习的向量的线性运算，来推到向量内积的坐标之间的关系吗？请同学们展开思考，如果能请同学们自己思考，然后小组交流讨论，可以将你们小组最后的结论写到小黑板上。”
（学生思考一段时间，然后很自然的的展开了讨论，学生在上小黑板上写小组的结论时候有的小组很犹豫。）
大约经过了十分钟，大部分小组已经将自己的分析结果写到了小黑板上。
师：“现在大部分小组已经将他们的推到过程写到了小黑板上，还没有写好的同学需要加快速度了。”
师：“好现在请两边各组的同学将你们的小黑板展示出来，共其他的小组观摩，其他小组在看的时候看看那些小组和你们自己写的不一样，以及他们存在的问题你们能不能解决呢？”
（现在学生开始七嘴八舌的交流与谈话，并且部分学生站起来看其他小组的题目。）
师：“中间组，你们在看两边组的题目过程中与你们的结果是否一样？”
张纹纹（生）：“第二小组的学生没有先设 。”
师：“很好，张纹纹观察的很仔细，还有吗？（学生没有回答，学生开始沉闷，基础薄弱的同学没有信心回答这样的问题）其他同学还有不同的看法吗？”
师：“刚才在推到的过程中，有没有同学感觉到推到的吃力，或者那些地方不懂，不好推到，或者你们在什么地方不懂但是又说不来，似是非懂。”
王远（生）：“老师我有一个问题，他们都写了
可是我不明白为什么可以直接得到这个式子？”
师：刚刚这位同学提到了这个问题，哪位同学能为他解答啊？
李金玲（生）：“因为，，，这是上节课学习的内容，根据
。时他们的夹角是0度，当时，他们的夹角是90度。”
师：“这位同学说的不错，很好，现在还有哪位同学什么地方不明白的，看看你们小黑板上的问题是不是得到了解答？”
学生没有回答的，接下来我总结了刚刚学生推导的过程。
师：“刚刚同学们已经对向量的内积形式进行了推导，现在请同学们看看黑板上的题目。（题目是在学生讨论的过程中抄到黑板上的）”
例1 设，求．
（例一老师讲解，并且将详细的解题过程写到黑板上，座位板书。）
例2已知，求（3-）·（-2）
师：“请同学们思考例二，并将小组内的结论写到小黑板上。”
正在加载中，请稍后...
45页51页22页61页76页40页38页34页31页25页}
我要回帖
更多关于 两个向量的内积 的文章
更多推荐
- ·九游登录跳过验证码版的明日之后游戏如何注册账号？
- ·有一部电影，俩男的一起上厕所，一两个男的电视剧偷瞄另一两个男的电视剧，被发现后又假装到处看。是什么电影？
- ·怎么查看英雄联盟通过qq号码查id对方QQ号码？
- ·红色警戒红警2共和国之辉秘籍怎么输入不了快捷键是什么-快捷键及技巧分享
- ·玩王者能找到对象怎么找吗？
- ·依据B列序号对应A列数据对D列数据个案标记依据序号在E列，数据顺序不限，数字相同即标注。
- ·学长，学姐有820东南大学电路考研真题题吗
- ·创维43M9和海信 创维LED43EC500U哪个好
- ·以琳编织袋厂家集团是干什么的？有个小马哥是不
- ·有没有免费哪个贷款下款到支付宝的？下款在给手续费的那种！
- ·“我的意中人是盖世亚索个盖世垃圾”文字图片
- ·性盆腔炎与慢性盆腔炎注意事项的治疗方法有哪些不同
- ·工作好难找啊，邮件投递简历正文的简历很长时间都没消息，求各位大神支支招啊？
- ·我的右前雾灯不亮了，灯泡换新的还是不亮好换吗
- ·[3411神级逗比系统们]怎么写才好看?
- ·深水泵扬程和流量的关系160米1寸水管、泵下井深为45米、向离井距离有240米处送水、水的流速会不会没有劲?
- ·真情无价，什么有价卡是什么
- ·我路由器设置页面打不开在主页面为什么打不开
- ·远近驰名造句如何造句
- ·810÷18的简便运算算18.35-(7.36-6.39)
- ·内积的几何意义可以这样写吗？
- ·天能电池一组多少钱五块现在多少钱60安的现在的价格。
- ·QQ里女人为啥喜欢军人看不了喜欢的人
- ·汽车水箱配件风叶隐约有打倒的迹象有影响吗?
- ·周长是24厘米的长方形的周长但是比为3比1,长是几,宽是几?
- ·下面这个套管式膨胀螺栓栓红笔圈出来的部分的套管壁厚有没有0.7？有没有看的出来的？
- ·什么是全国美术等级考试查询，是什么？？
- ·"听说即派能在24小时工派遣合同内帮企业招聘约面试是真的吗？ "
- ·我的孩子要选择补习班了，在金桥，大家觉得精锐好吗？
- ·翼支付活期宝提现现的额度是多少
- ·某砌体结构,底层内纵墙厚0.37底层120墙也要做基础吗
- ·怎样“由word程序流程图怎么画自动生成一个1～10之间的随机整数”
- ·登登香港东方日报征婚启事上哪里
- ·麻烦给我一些关于做[互联网加是什么意思——大数据]PPT的素材
- ·高中学美术初中生怎么考艺术高中样?流程怎样?美术高考考什么?
- ·dlntanx的导数=????
