约束条件下的广义最小二乘估计_朱永娜_百度文库
您的浏览器Javascript被禁用，需开启后体验完整功能，
享专业文档下载特权
&赠共享文档下载特权
&100W篇文档免费专享
&每天抽奖多种福利
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
约束条件下的广义最小二乘估计_朱永娜
阅读已结束，下载本文需要
定制HR最喜欢的简历
你可能喜欢x = linspace(-3, 3, n)';
X = linspace(-3, 3, N)';
pix = pi*x;
rng('default');
y = sin(pix) ./ (pix) + 0.1*x + 0.05*randn(n, 1);
hh = 2*0.3^2;
lam = 0.1;
t0 = randn(n, 1);
% 初始化参数
x2 = x .^ 2;
k = exp(-(repmat(x2, 1, n) + repmat(x2', n, 1) - 2*(x*x'))/hh);
for o =1 : 1000
t = (k2 + lam*pinv(diag(abs(t0)))) \
if norm( t- t0) & 1e-3
K = exp(-(repmat(X.^2, 1, n) + repmat(x2', N, 1) - 2*X*x') / hh);
% t 中大部分数据很小，可以认为等于零
plot(X, F, 'm', 'LineWidth', 1.5);
plot(x, y, 'ok', 'LineWidth', 1.5);
axis([-2.8 2.8 -1 1.5]);
前面介绍的最小二乘学习法，是众多机器学习算法中极为重要的一种基础算法。但是，单纯的最小二乘法对于包含噪声的学习过程经常有过拟合的弱点。如下图所示：
这往往是由于学...
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
本文主要讲解基本最小二乘法和带有约束条件的最小二乘法。
基本最小二乘法
最小二乘法是回归中最为基础的算法。它是对模型的输出和训练样本输出的平方误差（这里还乘以了1/2只是为了求导简化）为最小...
继上一篇基本最小二乘法和带部分空间约束的最小二乘法，它们要么易过拟合，要么不易求解，下面介绍 l2约束的最小二乘法，又叫正则化最小二乘法，岭回归。
一个模型的复杂程度与系数有关，最简单的模型是直接给所...
L1范数正则化
L1范数正则化（ L1 regularization 或 lasso ）是机器学习（machine learning）中重要的手段，在支持向量机（su...
在单元 (unimodal) 目标变量的线性模型中，MLE (Maximum likelihood) 和 Least Squares (最小二乘法) 是常用的两种估计模型参数向量 W 的解法。他们都有...
图像复原，简单讲，就是恢复图像本来的面貌，但由于各种原因如图像采集过程中出现的误差导致得到的数字图像不清晰，不是我们人眼看到的实物场景那样，因此需要采取技术手段去除图像的不清晰。约束最小二乘方滤波就是...
Least Squares
l2l2\ell_{2} constrained least squares
Least Squares
Least squares regressio...
接下来几篇博客将总结回归问题中的各种有监督学习算法。
本片博客介绍回归问题中的最基本算法——最小二乘学习法；下一篇介绍为了避免过拟合而设置约束条件的最小二乘学习法。之后，我也会介绍难度高一...
没有更多推荐了，辨识参数带约束的最小二乘法估计_百度文库
您的浏览器Javascript被禁用，需开启后体验完整功能，
享专业文档下载特权
&赠共享文档下载特权
&100W篇文档免费专享
&每天抽奖多种福利
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
辨识参数带约束的最小二乘法估计
&&带约束的最小二乘法
阅读已结束，下载本文需要
定制HR最喜欢的简历
下载文档到电脑，同时保存到云知识，更方便管理
加入VIP
还剩1页未读，
定制HR最喜欢的简历
你可能喜欢前面介绍的最小二乘学习法，是众多机器学习算法中极为重要的一种基础算法。但是，单纯的最小二乘法对于包含噪声的学习过程经常有过拟合的弱点。如下图所示：
这往往是由于学习模型对于训练样本而言过于复杂。因此，本篇博客将介绍能够控制模型复杂程度的、带有约束条件的最小二乘学习法。
2.部分空间约束的最小二乘学习法
在有参数线性模型：
的一般最小二乘学习法中，因为参数{Θj}j=1-&b可以自由设置，使用的是如下图所示的全体参数空间：
本篇博客中将要介绍的部分空间约束的最小二乘法，则是通过把参数空间限制在一定范围内，来防止过拟合现象。
在这里，P是满足P^2=P和P’=P的b*b维矩阵，表示的是矩阵P的值域R(P)的正交投影矩阵。如下图所示：
通过附加PΘ=Θ这样得约束条件，参数Θ就不会便宜到值域R(P)的范围外了。
部分统建约束的最小二乘学习法的解Θ’，一般通过将最小二乘学习的设计矩阵Φ置换为ΦP的方式求得的：
对于引言中的例子，如果我们采用了部分空间约束的最小二乘学习法，可以得到如下图所示：
虽然和引言部分使用了同一组数据，但是我在这里添加了一个条件进行约束，将及函数参数限制在cos(2.5x)和sin(2.5x)之内。
通过上面结果，我们也能看到，过拟合现象得到了一定的减轻。
注意：正交矩阵P通常是手动进行设置的，利用的是主成分分析法，正交投影矩阵P也可以基于数据进行设置。
3.L2约束的最小二乘学习法
部分空间约束的最小二乘学习法中，只是用了参数空间的一部分，但是由于正交投影矩阵P的设置有很大的自由度，因此在实际中操作起来是有很大难度的。还有一种很不错的方法值得参考——L2约束的最小二乘学习法。
如下图所示：
L2约束的最小二乘学习法的参数空间
L2约束的最小二乘学习法十一参数空间的原点为圆心，在一定半径范围的圆内（大部分是超球）进行求解。R表示的就是圆的半径。
3.1 拉格朗日对偶问题
3.2 拉格朗日对偶问题求解
这里之所以把朗格朗日待定因子λ变为λ/2，是为了乐曲计算域Θ相关的偏微分时产生的2。拉格朗日对偶问题的待定因子λ的解由圆的半径决定。如果不根据半径R来决定λ，而是直接指定的话，L2约束的最小二乘学习法的解Θ’就可以通过下式求得：
上式的第一项Jls(Θ)表示的是对训练样本的拟合程度，通过与第二项的“约束”相结合，来防止对训练样本的过拟合。
方法：对上述目标函数进行关于Θ的偏微分，并设为零，即可求得最小的训练损失。
L2约束的最小二乘学习法的解为：
在这里，I是单位矩阵，在L2约束的最小二乘学习法中，通过将矩阵Φ'Φ和λI相加提高其正则性，进而就可以更稳定地进行逆矩阵求解。因此，L2约束的最小二乘学习法也称为L2正则化的最小二乘学习法，其实我们刚才讲的“约束”项正是正则项，λ为正则化参数。
3.3 设计矩阵的奇异值求解
如果考虑设计矩阵Φ的奇异值求解：
L2约束的最小二乘学习法的解Θ’就可以像下式这样表示：
当λ=0时，L2约束的最小二乘学习法就与一般的最小二乘法相同。当设计矩阵Φ的计算条件很恶劣，比如包含非常小的奇异值Kk的时候，Kk/(Kk^2+λ)就会变成非常大的数值，训练输出向量y包含的噪声就会有所增加。另一方面，在L2约束的最小二乘学习法中，通过在分母的Kk^2中加入征得常数λ，使的Kk/(Kk^2+λ)避免变得过大，进而就可以达到防止过拟合的目的。
3.4 平移到高斯核模型
同理，对于下面的高斯核模型：
执行L2约束的最小二乘学习法的实例如下所示：
在这个例子里，带宽h设为0.3，正则化参数λ为0.1。通过加入正则项，使得过拟合现象得到很好地抑制。
4.模型选择与总结
本篇文章，通过使用部分空间约束的最小二乘学习法或L2约束的最小二乘学习法，使得最小二乘学习过程中的过拟合现象得到了一定成都的缓和。
但是，我们不得不承认，这些方法都过分依赖于正交投影矩阵P和正则化参数λ的选择，在一定策划给你堵上制约了这些方法的实际应用。因此，为了使有约束条件的最小二乘学习法能够得到最好的结果，选择合适的P和λ至关重要。
另外，使用线性模型时，基函数的种类和数量的选择，以及使用核模型时核函数的种类等选择，也都需要进行优化。
对于高斯核的带宽和正则参数λ对学习结果的影响如下图所示：
4.2 模型选择
实际应用中，最常用到的是“交叉验证法”。
在交叉验证法中，把训练样本的一部分拿出来做为测试样本，不将其用来学习，而只用于评价最终学习结果的泛化误差。
具体而言就是按照下图的流程进行泛化误差的评价，通过运用交叉验证法，可以对繁华误差晶型较为精确地评估。
交叉验证法
交叉验证法的算法流程
4.3 交叉验证法的实例
同样，我们还是来研究高斯核模型：
带宽h∈{0.03,0.3,3}；正则化参数λ∈{0.,100}；分割的几何数m=5。
实验结果如下图所示：
交叉验证试验
结论：(h，λ)=（0.3,0.1）时，误差达到最小值。
最小二乘拟合，L1、L2正则化约束
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
MATLAB实现最小二乘法
最小二乘法
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。
利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数...
图像复原之约束最小二乘方滤波
图像复原，简单讲，就是恢复图像本来的面貌，但由于各种原因如图像采集过程中出现的误差导致得到的数字图像不清晰，不是我们人眼看到的实物场景那样，因此需要采取技术手段去除图像的不清晰。约束最小二乘方滤波就是...
图像去模糊（约束最小二乘方滤波）
这是图像去模糊的第三篇，接着上节说道逆滤波对噪声特别敏感。约束最小二乘方滤波（Constrained Least Squares Filtering，aka Tikhonov filtration,T...
约束最小二乘方滤波去模糊
维纳滤波要求未退化图像和噪声功率谱已知。实际情景没有这么多先验知识。约束最小二乘滤波仅要求噪声方差和均值的知识。
g=Hf+ηg=Hf+\eta
假设g(x,y)的大小为M×NM\times N,...
最小二乘法学习一
本文主要讲解基本最小二乘法和带有约束条件的最小二乘法。
基本最小二乘法
最小二乘法是回归中最为基础的算法。它是对模型的输出和训练样本输出的平方误差（这里还乘以了1/2只是为了求导简化）为最小...
最小二乘法学习二
继上一篇基本最小二乘法和带部分空间约束的最小二乘法，它们要么易过拟合，要么不易求解，下面介绍 l2约束的最小二乘法，又叫正则化最小二乘法，岭回归。
一个模型的复杂程度与系数有关，最简单的模型是直接给所...
没有更多推荐了，用带约束条件的矩阵最小二乘法处理靶道实验数据--《弹道学报》1990年02期
用带约束条件的矩阵最小二乘法处理靶道实验数据
【摘要】：用Chapman-kirk法处理靶道实验数据时,要针对试验弹丸的类型和测试数据的精度建立相应的弹丸运动微分方程组,并由此建立相应的参数微分方程组,然后编制计算机程序求取对应的气动力系数。当试验弹丸的类型不同或所采用的气动力和力矩的表达式不同时,必须对已编好的程度进行修改。这是一件麻烦事。本文探讨采阁统一的弹丸运动微分方程组,采用统一的数据处理程序,而把不同的弹丸类型(炮弹、尾翼弹、火箭弹)和不同的气动力表达式(线性、非线性)用引进不同的约束条件的方法来加以解决。从而使Chapman-kirkif法具有更大的灵活性。
欢迎：、、)
支持CAJ、PDF文件格式，仅支持PDF格式
【相似文献】
中国期刊全文数据库
李朝庆;[J];基建优化;1980年02期
,周惠珍;[J];建筑经济;1980年03期
,帅家齐;[J];南京理工大学学报(自然科学版);1980年03期
,李定和;[J];探测与控制学报;1980年03期
吴云从;[J];兵工学报;1980年03期
闵仲求;[J];上海理工大学学报;1980年03期
孙在鲁,陈佳伟;[J];工程机械;1980年12期
秦士元,胡毓达;[J];上海交通大学学报;1980年02期
王浣尘;[J];西安交通大学学报;1980年01期
陈德桂;[J];西安交通大学学报;1980年02期
中国重要会议论文全文数据库
苗兴皓;司国桂;周际;邱发堂;;[A];山东水利学会第二届青年科技工作者学术研讨会论文汇编（上册）[C];1998年
曹巨生;戴惠善;张妙玲;黄在鸣;;[A];中国土地学会第二次代表大会暨学术讨论会论文选编[C];1985年
张爱梅;王卫新;王学萌;徐保根;;[A];92海峡两岸土地学术研讨会论文集[C];1992年
钱国桢;张凯声;;[A];第二届空间结构学术交流会论文集（第一卷）[C];1984年
王继辉;王战坚;吴代华;;[A];第十届玻璃钢/复合材料学术年会论文集[C];1993年
张小路;;[A];1990年中国地球物理学会第六届学术年会论文集[C];1990年
顾汉明;姚姚;;[A];1990年中国地球物理学会第六届学术年会论文集[C];1990年
王愫;雍学善;;[A];1993年中国地球物理学会第九届学术年会论文集[C];1993年
李世华;杨建东;;[A];1994年中国地球物理学会第十届学术年会论文集[C];1994年
孙洁;江钊;王继军;晋光文;;[A];1995年中国地球物理学会第十一届学术年会论文集[C];1995年
中国重要报纸全文数据库
吴国彬;[N];西安日报;2000年
薛兆丰;[N];信息时报;2000年
董志强;[N];北方经济时报;2001年
马让平;[N];电脑报;2001年
李鸥;[N];光明日报;2001年
徐文胜;[N];计算机世界;2001年
刘兴祥;[N];证券时报;2001年
科瑞集团公司副总裁
郭梓林;[N];北京科技报;2002年
周其仁;[N];国际金融报;2002年
高露;[N];经济参考报;2002年
中国博士学位论文全文数据库
尹河;[D];西北工业大学;2001年
王鹏;[D];华北电力（北京）大学;2001年
孙大宇;[D];机械科学研究院;2003年
黄晓薇;[D];吉林大学;2004年
董杰;[D];西南财经大学;2004年
孙秀斌;[D];电子科技大学;2004年
彭亚新;[D];湖南大学;2005年
苏超;[D];河海大学;2005年
张弘;[D];西安电子科技大学;2004年
金海;[D];大连理工大学;2004年
中国硕士学位论文全文数据库
刘百花;[D];天津财经学院;2001年
吴文彬;[D];东北林业大学;2002年
黄超;[D];湖南大学;2002年
马冬花;[D];西安建筑科技大学;2003年
赵海军;[D];湖南师范大学;2004年
徐辉;[D];中国气象科学研究院;2004年
王继贵;[D];大连理工大学;2004年
孟岩;[D];吉林大学;2004年
叶菲;[D];西南财经大学;2004年
陈珂;[D];西南财经大学;2004年
&快捷付款方式
&订购知网充值卡
400-819-9993}