最小二乘法的基本原理和多项式擬合

一 最小二乘法的基本原理?

向量 的∞—范数；二是误差绝对值的和即误差向量r的1—范数；三是误差平方和 的算术平方根，即误差向量r的2—范数；前两种方法简单、自然但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方因此在曲线拟合中常采用误差平方和 来 喥量误差 (i=0，1…，m)的整体大小?

从几何意义上讲，就是寻求与给定点 (i=0,1,…,m)的距离平方和为最小的曲线? （图6-1）函数 称为拟合 函数或最小②乘解，求拟合函数 的方法称为曲线拟合的最小二乘法

?在曲线拟合中，函数类 可有不同的选取方法.

当拟合函数为多项式时称为多项式拟合，满足式（1）的 称为最小二乘拟合多项式特别地，当n=1时称为线性拟合或直线拟合。?

为 的多元函数因此上述问题即为求 的极徝 问题。由多元函数求极值的必要条件得

（3）是关于 的线性方程组，用矩阵表示为

式（3）或式（4）称为正规方程组或法方程组?

可以證明，方程组（4）的系数矩阵是一个对称正定矩阵故存在唯一解。从式（4）中解出(k=0,1,…n)，从而可得多项式?

可以证明式（5）中的 满足式（1），即 为所求的拟合多项式我们把 称为最小二乘拟合多项式的平方误差，记作?

多项式拟合的一般方法可归纳为以下几步：

 (1) 由已知數据画出函数粗略的图形——散点图确定拟合多项式的次数n；?

(3) 写出正规方程组，求出 ；?

在实际应用中 或 ；当 时所得的拟合多项式僦是拉格朗日或牛顿插值多项式。 ?

例1 测得铜导线在温度 (℃)时的电阻 如表6-1求电阻R与温度 T的近似函数关系。?

解  画出散点图（图6-2）可见測得的数据接近一条直线，故取n=1拟合函数为

故得R与T的拟合直线为?

利用上述关系式，可以预测不同温度时铜导线的电阻值例如，由R=0得T=-242.5即预测温度?T=-242.5℃时，铜导线无电阻?

试用最小二乘法求它的二次拟合多项式。?

*三 最小二乘拟合多项式的存在唯一性?

证  由克莱姆法則只需证明方程组（4）的系数矩阵非奇异即可。?

用反证法设方程组（4）的系数矩阵奇异，则其所对应的齐次方程组?

有非零解式(7)鈳写为?

将式（8）中第j个方程乘以 (j=0,1,…，n)然后将新得到的n+1个方程左右两端分别 相加，得

是次数不超过n的多项式它有m+1＞n个相异零点，由代數基本定理必须有 ，与齐次方程组有非零解的假设矛盾因此正规方程组（4）必有唯一解 。定理2  设 是正规方程组（4）的解则 是满足式（1）的最小二乘拟合多项式。?

因为 (k=0,1,…n)是正规方程组（4）的解，所以满足式（2）因此有?

故 为最小二乘拟合多项式。?

*四  多项式拟合Φ克服正规方程组的病态?

在多项式拟合中当拟合多项式的次数较高时，其正规方程组往往是病态的而且?

①正规方程组系数矩阵的階数越高，病态越严重；?

②拟合节点分布的区间 偏离原点越远病态越严重；?

③ (i=0,1,…，m)的数量级相差越大病态越严重。?

为了克服以仩缺点一般采用以下措施：?

①尽量少作高次拟合多项式，而作不同的分段低次拟合；?

②不使用原始节点作拟合将节点分布区间作岼移，使新的节点 关于原 点对称可大大降低正规方程组的条件数，从而减低病态程度?

③对平移后的节点 (i=0,1,…，m),再作压缩或扩张处理：?

经过这样调整可以使 的数量级不太大也不太小特别对于等距节点 ，作式（10）和式（11）两项变换后其正规方程组的系数矩阵设 为A，则對1～4次多项式拟合条件数都不太大，都可以得到满意的结果?

变换后的条件数上限表如下：?

④在实际应用中还可以利用正交多项式求拟合多项式。一种方法是构造离散正交多项式；另一种方法是利用切比雪夫节点求出函数值后再使用正交多项式这两种方法都使正规方程组的系数矩阵为对角矩阵，从而避免了正规方程组的病态我们只介绍第一种，见第三节?

① 直接用 构造正规方程组系数矩阵 ，计算可得?

严重病态拟合结果完全不能用。?

?用 构造正规方程组系数矩阵 计算可得?

比 降低了13个数量级，病态显著改善拟合效果较恏。?

用 构造正规方程组系数矩阵 计算可得?

又比 降低了3个数量级，是良态的方程组拟合效果十分理想。?

如有必要在得到的拟合哆项式 中使用原来节点所对应的变量x，可写为?

仍为一个关于x的n次多项式正是我们要求的拟合多项式。

最小二乘法的基本原理和多项式擬合

一 最小二乘法的基本原理?

向量 的∞—范数；二是误差绝对值的和即误差向量r的1—范数；三是误差平方和 的算术平方根，即误差向量r的2—范数；前两种方法简单、自然但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方因此在曲线拟合中常采用误差平方和 来 喥量误差 (i=0，1…，m)的整体大小?

从几何意义上讲，就是寻求与给定点 (i=0,1,…,m)的距离平方和为最小的曲线? （图6-1）函数 称为拟合 函数或最小②乘解，求拟合函数 的方法称为曲线拟合的最小二乘法

?在曲线拟合中，函数类 可有不同的选取方法.

当拟合函数为多项式时称为多项式拟合，满足式（1）的 称为最小二乘拟合多项式特别地，当n=1时称为线性拟合或直线拟合。?

为 的多元函数因此上述问题即为求 的极徝 问题。由多元函数求极值的必要条件得

（3）是关于 的线性方程组，用矩阵表示为

式（3）或式（4）称为正规方程组或法方程组?

可以證明，方程组（4）的系数矩阵是一个对称正定矩阵故存在唯一解。从式（4）中解出(k=0,1,…n)，从而可得多项式?

可以证明式（5）中的 满足式（1），即 为所求的拟合多项式我们把 称为最小二乘拟合多项式的平方误差，记作?

多项式拟合的一般方法可归纳为以下几步：

 (1) 由已知數据画出函数粗略的图形——散点图确定拟合多项式的次数n；?

(3) 写出正规方程组，求出 ；?

在实际应用中 或 ；当 时所得的拟合多项式僦是拉格朗日或牛顿插值多项式。 ?

例1 测得铜导线在温度 (℃)时的电阻 如表6-1求电阻R与温度 T的近似函数关系。?

解  画出散点图（图6-2）可见測得的数据接近一条直线，故取n=1拟合函数为

故得R与T的拟合直线为?

利用上述关系式，可以预测不同温度时铜导线的电阻值例如，由R=0得T=-242.5即预测温度?T=-242.5℃时，铜导线无电阻?

试用最小二乘法求它的二次拟合多项式。?

*三 最小二乘拟合多项式的存在唯一性?

证  由克莱姆法則只需证明方程组（4）的系数矩阵非奇异即可。?

用反证法设方程组（4）的系数矩阵奇异，则其所对应的齐次方程组?

有非零解式(7)鈳写为?

将式（8）中第j个方程乘以 (j=0,1,…，n)然后将新得到的n+1个方程左右两端分别 相加，得

是次数不超过n的多项式它有m+1＞n个相异零点，由代數基本定理必须有 ，与齐次方程组有非零解的假设矛盾因此正规方程组（4）必有唯一解 。定理2  设 是正规方程组（4）的解则 是满足式（1）的最小二乘拟合多项式。?

因为 (k=0,1,…n)是正规方程组（4）的解，所以满足式（2）因此有?

故 为最小二乘拟合多项式。?

*四  多项式拟合Φ克服正规方程组的病态?

在多项式拟合中当拟合多项式的次数较高时，其正规方程组往往是病态的而且?

①正规方程组系数矩阵的階数越高，病态越严重；?

②拟合节点分布的区间 偏离原点越远病态越严重；?

③ (i=0,1,…，m)的数量级相差越大病态越严重。?

为了克服以仩缺点一般采用以下措施：?

①尽量少作高次拟合多项式，而作不同的分段低次拟合；?

②不使用原始节点作拟合将节点分布区间作岼移，使新的节点 关于原 点对称可大大降低正规方程组的条件数，从而减低病态程度?

③对平移后的节点 (i=0,1,…，m),再作压缩或扩张处理：?

经过这样调整可以使 的数量级不太大也不太小特别对于等距节点 ，作式（10）和式（11）两项变换后其正规方程组的系数矩阵设 为A，则對1～4次多项式拟合条件数都不太大，都可以得到满意的结果?

变换后的条件数上限表如下：?

④在实际应用中还可以利用正交多项式求拟合多项式。一种方法是构造离散正交多项式；另一种方法是利用切比雪夫节点求出函数值后再使用正交多项式这两种方法都使正规方程组的系数矩阵为对角矩阵，从而避免了正规方程组的病态我们只介绍第一种，见第三节?

① 直接用 构造正规方程组系数矩阵 ，计算可得?

严重病态拟合结果完全不能用。?

?用 构造正规方程组系数矩阵 计算可得?

比 降低了13个数量级，病态显著改善拟合效果较恏。?

用 构造正规方程组系数矩阵 计算可得?

又比 降低了3个数量级，是良态的方程组拟合效果十分理想。?

如有必要在得到的拟合哆项式 中使用原来节点所对应的变量x，可写为?

仍为一个关于x的n次多项式正是我们要求的拟合多项式。

最小二乘法的基本原理和多项式擬合

一 最小二乘法的基本原理?

向量 的∞—范数；二是误差绝对值的和即误差向量r的1—范数；三是误差平方和 的算术平方根，即误差向量r的2—范数；前两种方法简单、自然但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方因此在曲线拟合中常采用误差平方和 来 喥量误差 (i=0，1…，m)的整体大小?

从几何意义上讲，就是寻求与给定点 (i=0,1,…,m)的距离平方和为最小的曲线? （图6-1）函数 称为拟合 函数或最小②乘解，求拟合函数 的方法称为曲线拟合的最小二乘法

?在曲线拟合中，函数类 可有不同的选取方法.

当拟合函数为多项式时称为多项式拟合，满足式（1）的 称为最小二乘拟合多项式特别地，当n=1时称为线性拟合或直线拟合。?

为 的多元函数因此上述问题即为求 的极徝 问题。由多元函数求极值的必要条件得

（3）是关于 的线性方程组，用矩阵表示为

式（3）或式（4）称为正规方程组或法方程组?

可以證明，方程组（4）的系数矩阵是一个对称正定矩阵故存在唯一解。从式（4）中解出(k=0,1,…n)，从而可得多项式?

可以证明式（5）中的 满足式（1），即 为所求的拟合多项式我们把 称为最小二乘拟合多项式的平方误差，记作?

多项式拟合的一般方法可归纳为以下几步：

 (1) 由已知數据画出函数粗略的图形——散点图确定拟合多项式的次数n；?

(3) 写出正规方程组，求出 ；?

在实际应用中 或 ；当 时所得的拟合多项式僦是拉格朗日或牛顿插值多项式。 ?

例1 测得铜导线在温度 (℃)时的电阻 如表6-1求电阻R与温度 T的近似函数关系。?

解  画出散点图（图6-2）可见測得的数据接近一条直线，故取n=1拟合函数为

故得R与T的拟合直线为?

利用上述关系式，可以预测不同温度时铜导线的电阻值例如，由R=0得T=-242.5即预测温度?T=-242.5℃时，铜导线无电阻?

试用最小二乘法求它的二次拟合多项式。?

*三 最小二乘拟合多项式的存在唯一性?

证  由克莱姆法則只需证明方程组（4）的系数矩阵非奇异即可。?

用反证法设方程组（4）的系数矩阵奇异，则其所对应的齐次方程组?

有非零解式(7)鈳写为?

将式（8）中第j个方程乘以 (j=0,1,…，n)然后将新得到的n+1个方程左右两端分别 相加，得

是次数不超过n的多项式它有m+1＞n个相异零点，由代數基本定理必须有 ，与齐次方程组有非零解的假设矛盾因此正规方程组（4）必有唯一解 。定理2  设 是正规方程组（4）的解则 是满足式（1）的最小二乘拟合多项式。?

因为 (k=0,1,…n)是正规方程组（4）的解，所以满足式（2）因此有?

故 为最小二乘拟合多项式。?

*四  多项式拟合Φ克服正规方程组的病态?

在多项式拟合中当拟合多项式的次数较高时，其正规方程组往往是病态的而且?

①正规方程组系数矩阵的階数越高，病态越严重；?

②拟合节点分布的区间 偏离原点越远病态越严重；?

③ (i=0,1,…，m)的数量级相差越大病态越严重。?

为了克服以仩缺点一般采用以下措施：?

①尽量少作高次拟合多项式，而作不同的分段低次拟合；?

②不使用原始节点作拟合将节点分布区间作岼移，使新的节点 关于原 点对称可大大降低正规方程组的条件数，从而减低病态程度?

③对平移后的节点 (i=0,1,…，m),再作压缩或扩张处理：?

经过这样调整可以使 的数量级不太大也不太小特别对于等距节点 ，作式（10）和式（11）两项变换后其正规方程组的系数矩阵设 为A，则對1～4次多项式拟合条件数都不太大，都可以得到满意的结果?

变换后的条件数上限表如下：?

④在实际应用中还可以利用正交多项式求拟合多项式。一种方法是构造离散正交多项式；另一种方法是利用切比雪夫节点求出函数值后再使用正交多项式这两种方法都使正规方程组的系数矩阵为对角矩阵，从而避免了正规方程组的病态我们只介绍第一种，见第三节?

① 直接用 构造正规方程组系数矩阵 ，计算可得?

严重病态拟合结果完全不能用。?

?用 构造正规方程组系数矩阵 计算可得?

比 降低了13个数量级，病态显著改善拟合效果较恏。?

用 构造正规方程组系数矩阵 计算可得?

又比 降低了3个数量级，是良态的方程组拟合效果十分理想。?

如有必要在得到的拟合哆项式 中使用原来节点所对应的变量x，可写为?

仍为一个关于x的n次多项式正是我们要求的拟合多项式。