数学建模方法详解--三十四种常用算法
&&&&数学建模方法详解--三十四种常用算法 数学建模方法详解 三十四种常用算法目录 一、主成分分析法 ...................................................................................................................... 2 二、因子分析法 ........&&&&.................................................................................................................. 5 三 、 聚类分析 .............................................................................................................................. 9 四、最小二乘法与多项式拟合 ............................................................................................. 16 回归分析（ 五、回归分析（略） ............................................................................................................... 22 概率分布方法（ 六、概率分布方法（略） ...................................................................................................... 22 七、插值与拟合（略） ........................................................................................................... 22 插值与拟合（ 八 、 方差分析法 ....................................................................................................................... 23 九、逼近理想点排序法 ........................................................................................................... 28 十、动态加权法 ........................................................................................................................ 29 十一、 十一、灰色关联分析法 ........................................................................................................... 31 十二、 十二、灰色预测法 .................................................................................................................... 33 十三、 十三、模糊综合评价 ............................................................................................................... 35 十四、隶属函数的刻画（ 十四、隶属函数的刻画（略） ............................................................................................. 37 十五、 十五、时间序列分析法 ........................................................................................................... 38 十六、蒙特卡罗(mc) (mc)仿真模型 十六、蒙特卡罗(mc)仿真模型 ............................................................................................. 42 十七、bp 神经网络方法.......................................................................................................... 44 十七、 十八、数据包络分析法（dea） 十八、数据包络分析法（dea） ........................................................................................... 51 十九、多因素方差分析法（） （）基于 spss） 十九、多因素方差分析法（）基于 spss） ..................................................................... 54 二十、拉格朗日插值 插值 二十、拉格朗日插值 ........................................................................................................... 70 二十一、回归分析（ 二十一、回归分析（略） ...................................................................................................... 75 二十二、概率分布方法（ 二十二、概率分布方法（略） ............................................................................................. 75 二十三、插值与拟合（ 二十三、插值与拟合（略）.................................................................................................. 75 二十四、隶属函数的刻画（参考《数学建模及其方法应用》 二十四、隶属函数的刻画（参考《数学建模及其方法应用》 ............................... 75 ） 二十五、 整数规划模型（参看书籍） 二十五、0-1 整数规划模型（参看书籍） ....................................................................... 75 二十六、 评价法（ 二十六、board 评价法（略） .............................................................................................. 75 二十七、纳什均衡（参看书籍） 二十七、纳什均衡（参看书籍） ........................................................................................ 75 二十八、微分方程方法与差分方程方法（参看书籍） 二十八、微分方程方法与差分方程方法（参看书籍） ............................................... 75 二十九、莱斯利离散人口模型（参看数据） 二十九、莱斯利离散人口模型（参看数据）.................................................................. 75 三十、一次指数平滑预测法（主要是软件的使用） 三十、一次指数平滑预测法（主要是软件的使用） .................................................... 75 三十一、二次曲线回归方程（主要是软件的使用） 三十一、二次曲线回归方程（主要是软件的使用） .................................................... 75 三十二、成本-效用分析（ 三十二、成本-效用分析（略） ........................................................................................... 75 三十三、逐步回归法（主要是软件的使用） 三十三、逐步回归法（主要是软件的使用）.................................................................. 75 三十四、双因子方差分析（ 三十四、双因子方差分析（略） ........................................................................................ 75一、主成分分析法 、主成分分析法介绍： 一） 主成分分析法介绍： 、主成分分析法介绍主成分分析（principal components analysis，pca）又称：主分量分析，主成分回归 分析法。旨在利用降维的思想，把多指标转化为少数几个综合指标。它是一个线性变换。这 个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标 (称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经 常用减少数据集的维数， 同时保持数据集的对方差贡献最大的特征。 这是通过保留低阶主成 分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也 不是一定的，要视具体应用而定。、主成分分析法的基本思想： 二） 主成分分析法的基本思想： 、主成分分析法的基本思想在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。这些涉 及的因素一般称为指标， 在多元统计分析中也称为变量。 因为每个变量都在不同程度上反映 了所研究问题的某些信息， 并且指标之间彼此有一定的相关性， 因而所得的统计数据反映的 信息在一定程度上有重叠。在用统计方法研究多变量问题时，变量太 多会增加计算量和增 加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量 较多。主成分分析正是适应这一要求产生的，是解决这类题的理想工具。 同样，在科普效果评估的过程中也存在着这样的问题。科普效果是很难具体量化的。在 实际评估工作中，我们常常会选用几个有代表性的综合指标，采用打分的方法来进行评估， 故综合指标的选取是个重点和难点。 如上所述， 主成分分析法正是解决这一问题的理想工具。 因为评估所涉及的众多变量之间既然有一定的相关性， 就必然存在着起支配作用的因素。 根 据这一点，通过对原始变量相关矩阵内部结构 的关系研究，找出影响科普效果某一要素的 几个综合指标，使综合指标为原来变量的线 性拟合。这样，综合指标不仅保留了原始变量 的主要信息，且彼此间不相关，又比原始 变量具有某些更优越的性质，就使我们在研究复 杂的科普效果评估问题时，容易抓住主 要矛盾。 上述想法可进一步概述为：设某科普效果 评估要素涉及个指标，这指标构 成的维随机向量为。对作正交变换，令，其中为正交阵， 的各分量是不相关的， 使得的各分量在某个评估要素中的作用容易解释， 这就使得我们有可 能从主分量中选择主要成分， 削除对这一要素影响微弱的部分， 通过 对主分量的重点分析， 达到对原始变量进行分析的目的。 的各分量是原始变量线性组合， 不同的分量表示原始变量 之间不同的影响关系。 由于这些基本关系很可能与特定的作用过程相联系， 主成分分析使我 们能从错综复杂的科普评估要素的众多指标中， 找出一些主要成分， 以便有效地利用大量统 计数据，进行科普效果评估分析，使我们在研究科普效果评估问题中，可能得到深层次的一 些启发，把科普效果评估研究引向深入。 例如，在对科普产品开发和利用这一要素的评估中，涉及科普创作人数百万人、科 普作品 发行量百万人、科普产业化（科普示范基地数百万人）等多项指标。经过主成分分析计算， 最后确定个或个主成分作为综合评价科普产品利用和开发的综合指标， 变量数减少， 并达到 一定的可信度，就容易进行科普效果的评估。、主成分分析法的数学模型： 三） 主成分分析法的数学模型： 、主成分分析法的数学模型其中：为第 j 个指标对应于第 个主成分的初始因子载荷， 为第 l 个主成分对应的特征值 根据主成分表达式得出综合得分模型：、主成分分析法的基本原理： 四） 主成分分析法的基本原理： 、主成分分析法的基本原理 主成分分析法是一种降维的统计方法，它借助于一个正交变换，将其分量相关的 原随机向量转化成其分量不相关的新随机向量， 这在代数上表现为将原随机向量 的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标 系，使之指向样本点散布最开的 p 个正交方向，然后对多维变量系统进行降维 处理，使之能以一个较高的精度转换成低维变量系统，再通过构造适当的价值函 数，进一步把低维系统转化成一维系统。 、主成分分析法的作用 五） 主成分分析法的作用： 、主成分分析法的作用： 概括起来说，主成分分析主要由以下几个方面的作用。1．主成分分析能降低所研究的数据空间的维数。即用研究 m 维的 y 空间代替 p 维的 x 空 间(m＜p)，而低维的 y 空间代替 高维的 x 空间所损失的信息很少。即：使只有一个主成分 yl(即 m＝1)时，这个 yl 仍是使用全部 x 变量(p 个)得到的。例如要计算 yl 的均值也得使 用全部 x 的均值。在所选的前 m 个主成分中，如果某个 xi 的系数全部近似于零的话，就可 以把这个 xi 删除，这也是一种删除多余变量的方法。 2．有时可通过因子负荷 aij 的结论，弄清 x 变量间的某些关系。 3．多维数据的一种图形表示方法。我们知道当维数大于 3 时便不能画出几何图形，多元统 计研究的问题大都多于 3 个变量。要把研究的问题用图形表示出来是不可能的。然而，经过 主成分分析后，我们可以选取前两个主成分或其中某两个主成分，根据主成分的得分，画出 n 个样品在二维平面上的分布况，由图形可直观地看出各样品在主分量中的地位，进而还可 以对样本进行分类处理，可以由图形发现远离大多数样本点的离群点。 4．由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量 x 做回归分 析。5．用主成分分析筛选回归变量。回归变量的选择有着重的实际意义，为了使模 型本身易于做结构分析、控制和预报，好从原始变量所构成的子集合中选择最佳 变量，构成最佳变量集合。用主成分分析筛选变量，可以用较少的计算量来选择 量，获得选择最佳变量子集合的效果。 、主成分分析法的计算步骤 六） 主成分分析法的计算步骤： 、主成分分析法的计算步骤： 1、原始指标数据的标准化采集 p 维随机向量 x = (x1,x2,...,up)t)n 个样品 xi = (xi1,xi2,...,dip)t ，i=1,2,…,n， n＞p，构造样本阵，对样本阵元进行如下标准化变换：其中 2、对标准化阵 z 求相关系数矩阵，得标准化阵 z。其中, 3、解样本相关矩阵 r 的特征方程。 得 p 个特征根,确定主成分按确定 m 值，使信息的利用率达 85%以上，对每个 job, 。j=1,2,...,m, 解方程组 rib = job 得单位特征向量 4、将标准化后的指标变量转换为主成分u1 称为第一主成分,u2 称为第二主成分,…,up 称为第 p 主成分。5 、对 m 个主成分进行综合评价 对 m 个主成分进行加权求和，即得最终评价值，权数为每个主成分的方差贡献 率。 ps 另一种易于理解的步骤： 1、数据标准化; 2、求相关系数矩阵; 3、一系列正交变换，使非对角线上的数置 0，加到主对角上; 得特征根 xi （即相应那个主成分引起变异的方差),并按照从大到小的顺序把 特征根排列; 4、求各个特征根对应的特征向量; 用下式计算每个特征根的贡献率 vi=xi/(x1+x2+........) 5、根据特征根及其特征向量解释主成分物理意义 ）、主成分分析法的案例 主成分分析法的案例： 七 ）、 主成分分析法的案例 ： 参见：基于主成分分析的力量结构指标的权重的计算、基于主成分析的江苏省地 方高校创新力研究二、因子分析法 因子分析法介绍： 一）因子分析法介绍： 主成分分析通过线性组合将原变量综合成几个主成分，用较少的综合指标来 代替原来较多的指标(变量)。 在多变量分析中， 某些变量间往往存在相关性。 是什么原因使变量间有关联呢是否存在不能直接观测到的、但影响可观测 变量变化的公共因子因子分析法 (factor analysis)就是寻找这些公共因 因子分析法(factor analysis)就是寻找这些公共因 因子分析法 子的模型分析方法， 子的模型分析方法 ， 它是在主成分的基础上构筑若干意义较为明确的公因 以它们为框架分解原变量， 以此考察原变量间的联系与区别。 子 ， 以它们为框架分解原变量 ， 以此考察原变量间的联系与区别 。 例：随着年龄的增长，儿童的身高、体重会随着变化，具有一定的相关性， 身高和体重之间为何会有相关性呢因为存在着一个同时支配或影响着身 高与体重的生长因子。那么，我们能否通过对多个变量的相关系数矩阵的研 究，找出同时影响或支配所有变量的共性因子呢因子分析就是从大量的数 据中“由表及里”、 “去粗取精”， 寻找影响或支配变量的多变量统计方法。 因此，可以说因子分析是主成分分析的推广，也是一种把多个变量化为少数 几个综合变量的多变量分析方法，其目的是用有限个不可观测的隐变量来解 释原始变量之间的相关关系。 因子分析主要用于：1、减少分析变量个数；2、通过对变量间相关关系探测， 将 原始变量进行分类。即将相关性高的变量分为一组，用共性因子代替该组变 量。 、因子分析法的基本模型 二） 因子分析法的基本模型： 、因子分析法的基本模型： 因子分析法是从研究变量内部相关的依赖关系出发，把一些具有错综复杂关 系的变量归结为少数几个综合因子的一种多变量统计分析方法。它的基本思 想是将观测变量进行分类， 将相关性较高， 即联系比较紧密的分在同一类中， 而不同类变量之间的相关性则较低，那么每一类变量实际上就代表了一个基 本结构，即公共因子。对于所研究的问题就是试图用最少个数的不可测的所 谓公共因子的线性函数与特殊因子之和来描述原来观测的每一分量。 因子分析模型描述如下： 1、x=(x1，x2，…，xp)是可观测随机向量，均值向量 e(x)=0，协方差阵 cov(x)=∑， 且协方差阵∑与相关矩阵 r 相等 （只要将变量标准化即可实现） 。 2、f=(f1，f2，…，fm)（m&p）是不可测的向量，其均值向量 e(f)=0，协方 差矩阵 cov(f)=i，即向量的各分量是相互独立的。 3、e=(e1，e2，…，ep)与 f 相互独立，且 e(e)=0，e 的协方差阵∑是对角 阵，即各分量 e 之间是相互独立的，则模型： x1=a11f1+a12f2+…+a1mfm+e1 x2=a21f1+a22f2+…+a2mfm+e2 xp=ap1f1+ap2f2+…+apmfm+ep 称为因子分析模型，由于该模型是针对变量进行的，各因子又是正交的，所 以也称为 r 型正交因子模型。其矩阵形式为： x=af+e 其中： x=，a=，f=，e= 这里（1）m￡p； （2）cov(f，e)=0，即 f 和 e 是不相关的； （3）d(f)=im，即 f1，f2，…，fm 不相关且方差均为 1； （4）d(e)=，即 e1，e2，…，ep 不相关，且方差不同。 我们把 f 称为 x 的公共因子或潜因子，矩阵 a 称为因子载荷矩阵，e 称为 x 的特殊因子。 a=(aij)，aij 为因子载荷。数学上可以证明，因子载荷 aij 就是第 i 变量与 第 j 因子的相关系数，反映了第 i 变量在第 j 因子上的重要性。 、模型的统计意 三） 模型的统计意义： 、模型的统计意义 模型中 f1，f2，…，fm 叫做主因子或公共因子，它们是在各个原观测变量 的表达式中都共同出现的因子，是相互独立的不可观测的理论变量。公共因 子的含义，必须结合具体问题的实际意义而定。e1，e2，…，ep 叫做特殊因 子，是向量 x 的分量 xi(i=1，2，…，p)所特有的因子，各特殊因子之间以 及特殊因子与所有公共因子之间都是相互独立的。模型中载荷矩阵 a 中的元 素(aij)是为因子载荷。因子载荷 aij 是 xi 与 fj 的协方差，也是 xi 与 fj 的相关系数，它表示 xi 依赖 fj 的程度。可将 aij 看作第 i 个变量在第 j 公 共因子上的权，aij 的绝对值越大(|aij|￡1)，表明 xi 与 fj 的相依程度越 大，或称公共因子 fj 对于 xi 的载荷量越大。为了得到因子分析结果的经济 解释，因子载荷矩阵 a 中有两个统计量十分重要，即变量共同度和公共因子 的方差贡献。 因子载荷矩阵 a 中第 i 行元素之平方和记为 hi2，称为变量 xi 的共同度。它 是全部公共因子对 xi 的方差所做出的贡献，反映了全部公共因子对变量 xi 的影响。hi2 大表明 x 的第 i 个分量 xi 对于 f 的每一分量 f1，f2，…，fm 的共同依赖程度大。 将因子载荷矩阵 a 的第 j 列( j =1，2，…，m)的各元素的平方和记为 gj2， 称为公共因子 fj 对 x 的方差贡献。gj2 就表示第 j 个公共因子 fj 对于 x 的 每一分量 xi(i= 1，2，…，p)所提供方差的总和，它是衡量公共因子相对重 要性的指标。gj2 越大，表明公共因子 fj 对 x 的贡献越大，或者说对 x 的影 响和作用就越大。如果将因子载荷矩阵 a 的所有 gj2(j=1，2，…，m)都计算 出来，使其按照大小排序，就可以依此提炼出最有影响力的公共因子。 、因子旋转 四） 因子旋转： 、因子旋转： 建立因子分析模型的目的不仅是找出主因子，更重要的是知道每个主因子的 意义，以便对实际问题进行分析。如果求出主因子解后，各个主因子的典型 代表变量不很突出，还需要进行因子旋转，通过适当的旋转得到比较满意的 主因子。 旋转的方法有很多，正交旋转(orthogonal rotation)和斜交旋转(oblique rotation)是因子旋转的两类方法。最常用的方法是最大方差正交旋转法 (varimax)。进行因子旋转，就是要使因子载荷矩阵中因子载荷的平方值向 0 和 1 两个方向分化，使大的载荷更大，小的载荷更小。因子旋转过程中，如 果因子对应轴相互正交，则称为正交旋转；如果因子对应轴相互间不是正交 的，则称为斜交旋转。常用的斜交旋转方法有 promax 法等。 、因子得分 五） 因子得分： 、因子得分： 因子分析模型建立后，还有一个重要的作用是应用因子分析模型去评价每个 样品在整个模型中的地位，即进行综合评价。例如地区经济发展的因子分析模型建立后， 我们希望知道每个地区经济发展的情况， 把区域经济划分归类， 哪些地区发展较快，哪些中等发达，哪些较慢等。这时需要将公共因子用变 量的线性组合来表示，也即由地区经济的各项指标值来估计它的因子得分。 设公共因子 f 由变量 x 表示的线性组合为： fj=uj1xj1+uj2xj2+…+ujpxjpj=1，2，…，m 该式称为因子得分函数，由它来计算每个样品的公共因子得分。若取 m=2， 则将每个样品的 p 个变量代入上式即可算出每个样品的因子得分 f1 和 f2， 并将其在平面上做因子得分散点图，进而对样品进行分类或对原始数据进行 更深入的研究。 但因子得分函数中方程的个数 m 小于变量的个数 p，所以并不能精确计算出 因子得分，只能对因子得分进行估计。估计因子得分的方法较多，常用的有 回归估计法，bartlett 估计法，thomson 估计法。 具体方法为： （1）回归估计法 f=xb=x(x￠x)-1a￠=xr-1a￠(这里 r 为相关阵，且 r=x￠x)。 （2）bartlett 估计法 bartlett 估计因子得分可由最小二乘法或极大似然法导出。 f=(w-1/2a)￠w-1/2a]-1(w-1/2a)￠w-1/2x=(a￠w-1a)-1a￠w-1x （3）thomson 估计法 在回归估计法中，实际上是忽略特殊因子的作用，取 r = x ￠x，若考虑特 殊因子的作用，此时 r = x ￠x＋w，于是有： f=xr-1a￠=x(x￠x＋w)-1a￠ 这就是 thomson 估计的因子得分，使用矩阵求逆算法(参考线性代数文献)可 以将其转换为： f=xr-1a￠=x(i+a￠w-1a)-1w-1a￠ 、因 六） 因子分析的步骤： 、 子分析的步骤： 因子分析的核心问题有两个：一是如何构造因子变量；二是如何对因子变量 进行命名解释。因此，因子分析的基本步骤和解决思路就是围绕这两个核心 问题展开的。 因子分析常常有以下四个基本步骤： 1、确认待分析的原变量是否适合作因子分析。 2、构造因子变量。 3、利用旋转方法使因子变量更具有可解释性。 4、计算因子变量得分。 因子分析的计算过程： 1、将原始数据标准化，以消除变量间在数量级和量纲上的不同。 2、求标准化数据的相关矩阵； 3、求相关矩阵的特征值和特征向量； 4、计算方差贡献率与累积方差贡献率； 5、确定因子：设 f1，f2，…，fp 为 p 个因子，其中前 m 个因子包含的数据 信息总量（即其累积贡献率）不低于 80%时，可取前 m 个因子来反映原评价 指标； 6、因子旋转：若所得的 m 个因子无法确定或其实际意义不是很明显，这时需将因子进行旋 转以获得较为明显的实际含义。 7、用原指标的线性组合来求各因子得分：采用回归估计法，bartlett 估计 法或 thomson 估计法计算因子得分。 8、综合得分：以各因子的方差贡献率为权，由各因子的线性组合得到综合 评价指标函数。 f=(w1f1+w2f2+…+wmfm)／(w1+w2+…+wm) 此处 wi 为旋转前或旋转后因子的方差贡献率。 9、得分排序：利用综合得分可以得到得分名次。 ）、主成分分析法的使用范围 主成分分析法的使用范围： 七 ）、 主成分分析法的使用范围 ： 1、简化系统结构，探讨系统内核。可采用主成分分析、因子分析、对应分 析等方法，在众多因素中找出各个变量最佳的子集合，从子集合所包含的信 息描述多变量的系统结果及各个因子对系统的影响。“从树木看森林”，抓 住主要矛盾，把握主要矛盾的主要方面，舍弃次要因素，以简化系统的结构， 认识系统的内核。 2、构造预测模型，进行预报控制。在自然和社会科学领域的科研与生产中， 探索多变量系统运动的客观规律及其与外部环境的关系，进行预测预报，以 实现对系统的最优控制，是应用多元统计分析技术的主要目的。在多元分析 中，用于预报控制的模型有两大类。一类是预测预报模型，通常采用多元线 性回归或逐步回归分析、判别分析、双重筛选逐步回归分析等建模技术。另 一类是描述性模型，通常采用聚类分析的建模技术。 3、进行数值分类，构造分类模式。在多变量系统的分析中，往往需要将系 统性质相似的事物或现象归为一类。以便找出它们之间的联系和内在规律 性。过去许多研究多是按单因素进行定性处理，以致处理结果反映不出系统 的总的特征。进行数值分类，构造分类模式一般采用聚类分析和判别分析技 术。 如何选择适当的方法来解决实际问题，需要对问题进行综合考虑。对一个问 题可以综合运用多种统计方法进行分析。例如一个预报模型的建立，可先根 据有关生物学、生态学原理，确定理论模型和试验设计；根据试验结果，收 集试验资料；对资料进行初步提炼；然后应用统计分析方法(如相关分析、 逐步回归分析、主成分分析等)研究各个变量之间的相关性，选择最佳的变 量子集合；在此基础上构造预报模型，最后对模型进行诊断和优化处理，并 应用于生产实际。三 、 聚类分析 聚类分析的概念： 一 ） 聚类分析的概念 ： 聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类 的分析过程。它是一种重要的人类行为。 聚类与分类的不同在于，聚类所要求划分的类是未知的。 聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对 象有很大的相似性，而不同簇间的对象有很大的相异性。 从统计学的观点看，聚类分析是通过数据建模简化数据的一种方法。传统的 统计聚类分析方法包括系统聚类法、分解法、加入法、动态聚类法、有序样 品聚类、有重叠聚类和模糊聚类等。采用 k-均值、k-中心点等算法的聚类分 析工具已被加入到许多著名的统计分析软件包中，如 spss、sas 等。 ）、聚类分析的主要应用 聚类分析的主要应用： 二 ）、 聚类分析的主要应用 ： 在商业上 聚类分析被用来发现不同的客户群，并且通过购买模式刻画不同的客户群的 特征； 在生物上 聚类分析被用来动植物分类和对基因进行分类，获取对种群固有结构的认识 在地理上 聚类能够帮助在地球中被观察的数据库商趋于的相似性 在保险行业上 聚类分析通过一个高的平均消费来鉴定汽车保险单持有者的分组，同时根据 住宅类型，价值，地理位置来鉴定一个城市的房产分组 在因特网应用上 聚类分析被用来在网上进行文档归类来修复信息 在电子商务上 聚类分析在电子商务中网站建设数据挖掘中也是很重要的一个方面，通过分 组聚类出具有相似浏览行为的客户，并分析客户的共同特征，可以更好的帮 助电子商务的用户了解自己的客户，向客户提供更合适的服务。 聚类分析的主要步骤： 三 ） 聚类分析的主要步骤 ： 1、数据预处理， 2、为衡量数据点间的相似度定义一个距离函数， 3、聚类或分组， 4、评估输出。 数据预处理包括选择数量， 类型和特征的标度， 它依靠特征选择和特征抽取， 特征选择选择重要的特征，特征抽取把输入的特征转化为一个新的显著特 征，它们经常被用来获取一个合适的特征集来为避免“维数灾”进行聚类， 数据预处理还包括将孤立点移出数据，孤立点是不依附于一般数据行为或模 型的数据，因此孤立点经常会导致有偏差的聚类结果，因此为了得到正确的 聚类，我们必须将它们剔除。 既然相类似性是定义一个类的基础，那么不同数据之间在同一个特征空间相 似度的衡量对于聚类步骤是很重要的，由于特征类型和特征标度的多样性， 距离度量必须谨慎，它经常依赖于应用，例如，通常通过定义在特征空间的 距离度量来评估不同对象的相异性，很多距离度都应用在一些不同的领域，一个简单的距离度量，如 euclidean 距离，经常被用作反映不同数据间的相 异性，一些有关相似性的度量，例如 pmc 和 smc，能够被用来特征化不同数 据的概念相似性，在图像聚类上，子图图像的误差更正能够被用来衡量两个 图形的相似性。 将数据对象分到不同的类中是一个很重要的步骤，数据基于不同的方法被分 到不同的类中，划分方法和层次方法是聚类分析的两个主要方法，划分方法 一般从初始划分和最优化一个聚类标准开始。crisp clustering，它的每一 个数据都属于单独的类；fuzzy clustering，它的每个数据可能在任何一个 类中，crisp clustering 和 fuzzy clusterin 是划分方法的两个主要技术， 划分方法聚类是基于某个标准产生一个嵌套的划分系列，它可以度量不同类 之间的相似性或一个类的可分离性用来合并和分裂类，其他的聚类方法还包 括基于密度的聚类，基于模型的聚类，基于网格的聚类。 评估聚类结果的质量是另一个重要的阶段，聚类是一个无管理的程序，也没 有客观的标准来评价聚类结果， 它是通过一个类有效索引来评价， 一般来说， 几何性质，包括类间的分离和类内部的耦合，一般都用来评价聚类结果的质 量，类有效索引在决定类的数目时经常扮演了一个重要角色，类有效索引的 最佳值被期望从真实的类数目中获取，一个通常的决定类数目的方法是选择 一个特定的类有效索引的最佳值，这个索引能否真实的得出类的数目是判断 该索引是否有效的标准，很多已经存在的标准对于相互分离的类数据集合都 能得出很好的结果，但是对于复杂的数据集，却通常行不通，例如，对于交 叠类的集合。 聚类分析的计算方法： 四 ） 聚类分析的计算方法 ： 1、 划分法(partitioning methods)： 给定一个有 n 个元组或者纪录的数据集， 分裂法将构造 k 个分组，每一个分组就代表一个聚类，k&n。而且这 k 个分组 满足下列条件：（1）每一个分组至少包含一个数据纪录；（2）每一个数据 纪录属于且仅属于一个分组（注意：这个要求在某些模糊聚类算法中可以放 宽）；对于给定的 k，算法首先给出一个初始的分组方法，以后通过反复迭 代的方法改变分组，使得每一次改进之后的分组方案都较前一次好，而所谓 好的标准就是：同一分组中的记录越近越好，而不同分组中的纪录越远越好。 使用这个基本思想的算法有：k-means 算法、k-medoids 算法、clarans 算法； 2、层次法(hierarchical methods)：这种方法对给定的数据集进行层次似的 分解，直到某种条件满足为止。具体又可分为“自底向上”和“自顶向下” 两种方案。例如在“自底向上”方案中，初始时每一个数据纪录都组成一个 单独的组，在接下来的迭代中，它把那些相互邻近的组合并成一个组，直到 所有的记录组成一个分组或者某个条件满足为止。代表算法有：birch 算法、 cure 算法、chameleon 算法等； 3、 基于密度的方法(density-based methods):基于密度的方法与其它方法的 一个根本区别是：它不是基于各种各样的距离的，而是基于密度的。这样就 能克服基于距离的算法只能发现“类圆形”的聚类的缺点。这个方法的指导 思想就是，只要一个区域中的点的密度大过某个阀值，就把它加到与之相近 的聚类中去。代表算法有：dbscan 算法、optics 算法、denclue 算法等； 4、基于网格的方法(grid-based methods):这种方法首先将数据空间划分成 为有限个单元（cell）的网格结构,所有的处理都是以单个的单元为对象的。 这么处理的一个突出的优点就是处理速度很快，通常这是与目标数据库中记录的个数无关的，它只与把数据空间分为多少个单元有关。代表算法有：st ing 算法、clique 算法、wave-cluster 算法； 5、基于模型的方法(model-based methods):基于模型的方法给每一个聚类假 定一个模型，然后去寻找能个很好的满足这个模型的数据集。这样一个模型 可能是数据点在空间中的密度分布函数或者其它。 它的一个潜在的假定就是： 目标数据集是由一系列的概率分布所决定的。通常有两种尝试方向：统计的 方案和神经网络的方案。 具体的有： 1 、 k-means 算法 k-means 算法接受输入量 k ；然后将 n 个数据对象划分为 k 个聚类以便使 得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象 相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象” （引力中心）来进行计算的。 k-means 算法的工作过程说明如下： 首先从 n 个数据对象任意选择 k 个对象 作为初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的 相似度（距离），分别将它们分配给与其最相似的（聚类中心所代表的）聚 类；然后再计算每个所获新聚类的聚类中心（该聚类中所有对象的均值）； 不断重复这一过程直到标准测度函数开始收敛为止。一般都采用均方差作为 标准测度函数. k 个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚 类之间尽可能的分开。 2 、 k-medoids 算法 k-means 有其缺点：产生类的大小相差不会很大，对于脏数据很敏感。 改进 的算法：k—medoids 方法。这儿选取一个对象叫做 mediod 来代替上面的中 心的作用，这样的一个 medoid 就标识了这个类。步骤： （1）、任意选取 k 个对象作为 medoids（o1,o2,…oi…ok）。 以下是循环的： （2）、将余下的对象分到各个类中去（根据与 medoid 最相近的原则）； （3）、对于每个类（oi）中，顺序选取一个 or，计算用 or 代替 oi 后的消 耗—e（or）。选择 e 最小的那个 or 来代替 oi。这样 k 个 medoids 就改变了， 下面就再转到 2。 （4）、这样循环直到 k 个 medoids 固定下来。 这种算法对于脏数据和异常数据不敏感，但计算量显然要比 k 均值要大，一 般只适合小数据量。 3 、 clara 算法 上面提到 k-medoids 算法不适合于大数据量的计算。现在介绍 clara 算法， 这是一种基于采用的方法，它能够处理大量的数据。 clara 算法的思想就是用实际数据的抽样来代替整个数据，然后再在这些抽 样的数据上利用 k-medoids 算法得到最佳的 medoids。 clara 算法从实际数据 中抽取多个采样，在每个采样上都用 k-medoids 算法得到相应的（o1,o2…o i…ok），然后在这当中选取 e 最小的一个作为最终的结果。 4 、 clarans 算法 clara 算法的效率取决于采样的大小，一般不太可能得到最佳的结果。 在 clara 算法的基础上，又提出了 clarans 的算法，与 clara 算法不同的是： 在 clara 算法寻找最佳的 medoids 的过程中，采样都是不变的。而 clarans算法在每一次循环的过程中所采用的采样都是不一样的。与上次课所讲的寻 找最佳 medoids 的过程不同的是，必须人为地来限定循环的次数。 模糊聚类分析方法 聚类分析方法形成思路 变量的数据预处理 分类前，对原始数据进行预处理，使其所有变量尺度均匀化。方法有以下几种： 变量的标准化 设有 n 个样品， m 个特征变量，设第 i 个样品，第 j 个变量的观测值为 xij (i = 1, 2,l , j = 1, 2,l , m) ，由此可构成一个 n × m 阶矩阵为l x1m
x22 l x2 m
x = ( xij ) n×m （1） m l m
xn 2 l xnm
将式（1）中每个变量 xij 根据以下公式变换，称为标准化。 x12对每个变量的标准化计算公式为 xij
x j (i = 1, 2,l , n) ′ xij = ( j = 1, 2,l , m) sj 式中， x j =1 n 1 n xij s j = [ ∑ ( xij
x j ) 2 ]1/ 2 ∑ n i =1 n i =1 标准化后变量的平均值为 0，标准离差为 1。 x11 x =
xn1（2）变量的正规化 对每个变量施行以下变换，称为正规化。 xij
x j (min) (i = 1, 2,l , n) ′ xij = x j (max)
x j (min) ( j = 1, 2,l , m)（3）′ 式中，x j (max) 和 x j (min) 分别为第 j 个变量的最大值和最小值。 显然，0 ≤ xij ≤ 1 。变量的规格化 对每个变量施行以下变换，称为规格化。 xij (i = 1, 2,l , n) ′ xij = x j (max) ( j = 1, 2,l , m)（4）′ 式中， x j (max) 为第 j 个变量的最大值。显然， 0 ≤ xij ≤ 1 。 ，注：数据的预处理以不丢失原有信息为前提。三种预处理方法的选择应根据现有 数据的特点来考虑。 分类统计量的确定及其聚类方法的选择 分类统计量的确定一般是把相似程度大的并成一类， 把相似程度小的分为不同的类， 因此要定量地表示样品间 的相似程度。设论域 u = {x1 , x2 ,l, xn } ， xi = {xi1 , xi 2 ,l, xim}(i = 1,2,l, n) ，即数据矩阵为a = (xij )n×m ，如果 xi 与 x j 的相似程度为 rij = r ( xi , x j )(i, j = 1,2, l , n) ，则称之为相似系~数，确定相似系数 rij 有多种不同的方法。常用的方法如下：(1) 数量积法 对 于xi = {xi1 , xi2 , l, xim}∈u，令 m m = max ∑ xik
k =1 ，则取i= j 1 , rij + 1
1 m ，显然 rij ∈ [0,1] 。若出现有某些 rij & 0 ，可令 rij′ = ， 2
x jk , i ≠ j
k =1 则有 rij′ ∈ [0,1] 。也可以用平移-极差变换将其压缩到 [0,1] 上，即可以得到模糊相似矩阵 r = (rij )n×m 。夹角余弦法（相似系数统计量） (2) 夹角余弦法（相似系数统计量）: 令∑xrij =k =1 m k =1mikx jkm(i, j = 1,2, l , n)2 jk∑x ∑x2 ikk =1则 r = (rij )n×n 。 相关系数法（相关系数统计量） (3) 相关系数法（相关系数统计量）: 令∑(xmrij =k =1ik x i )(x jk
x j )∑(xm k =1ik xi
x j2 k =1)m()(i, j = 1,2,l, n)2其中 xi =1 m 1 m ∑ xik ， x j = m ∑ x jk ，则 r = (rij )n×n 。 m k =1 k =1注意： xi = {xi1 , xi2 ,l, xim}中的样本 xik 属于同一个样本空间 x i (k =1,2,l, m) 。 指数相似系数法: (4) 指数相似系数法: 令
rij = ∑exp
4 sk&&&&其中 s k =2 1 n 1 n ∑ xik
xk , xk = n ∑ xik (k =1,2,l,m) 。则 r = (rij )n×n 。 n i=1 i =1 注 意 ： xi = {xi1 , xi2 ,l, xim} 中 的 样 本 xik 属 于 不 同 的 样 本 空 间 xk ， 即()xik ∈ xk (k = 1,2,l, m) 。最大最小值法: (5) 最大最小值法: 令rij =∑(xm∑(xk =1k =1 mik∧ x jk ) ∨ x jkik)( xij & 0; i, j = 1,2, l, n)则 r = (rij )n×n 。 算术平均值法: (6) 算术平均值法: 令rij =∑(xm k =1 mik∧ x jk )则 r = (rij )n×n 。(7) 几何平均值法：令1 ∑ xik + x jk 2 k =1()( xij & 0; i, j = 1,2,l, n)rij =∑(xm k =1 mik∧ x jk )∑k =1( xij & 0; i, j = 1,2, l, n)xik
x jk则 r = (rij )n×n 。绝对值倒数法： (8) 绝对值倒数法：令i= j
, i ≠ j&&&&k =1 其中 m 为使得所有 rij ∈ [0,1](i, j = 1,2, l , n) 的确定常数，则 r = (rij )n×n 。绝对值指数法： (9) 绝对值指数法：令
rij = exp ∑ xik
x jk (i, j = 1,2,l, n)
k =1 则 r = (rij )n×n 。海明距离法（距离系数统计量。如果变量的量纲不同， (10) 海明距离法（距离系数统计量。如果变量的量纲不同，原始数据变异 ：令 范围相差悬殊时，建议首先进行数据的标准化处理，然后再计算距离） 范围相差悬殊时，建议首先进行数据的标准化处理，然后再计算距离） ： rij = 1
d ( xi , x j )
m (i, j = 1,2, l, n)
d ( xi , x j ) = ∑ xik
其中 h 为使得所有 rij ∈ [0,1](i, j = 1,2, l , n) 的确定常数。则 r = (rij )n×n 。(11) 欧氏距离法（最常用） ：令rij = 1
d ( xi , x j )
m (i, j = 1,2, l , n)
2 d ( xi , x j ) = ∑ (xik
其中 e 为使得所有 rij ∈ [0,1](i, j = 1,2, l , n) 的确定常数。则 r = (rij )n×n 。 契比雪夫距离法： (12) 契比雪夫距离法：令 rij = 1
d ( xi , x j )
d ( xi , x j ) = ∨ xik
k =1 (i, j = 1,2, l , n)其中 q 为使得所有 rij ∈ [0,1](i, j = 1,2, l , n) 的确定常数。则 r = (rij )n×n 。主观评分法： (13) 主观评分法：设有 n 个专家组成专家组 { p1 , p 2 , l , p n } ，让每一位专家 对所研究的对象 xi 与 x j 相似程度给出评价，并对自己的自信度作出评估。如果 第 k 位专家 p k 关于对象 xi 与 x j 的相似度评价为 rij (k ) ，对自己的自信度评估为a ij (k )(i, j = 1,2, l , n) ，则相关系数定义为rij =∑(an k =1ij(k )
rij (k ))ij∑ak =1n(i, j = 1,2, l, n)(k )则 r = (rij )n×n 。综上所述，以上给出了实际中能够使用的一些方法，具体地选择要根据具体问题 的性质和使用的方便来确定。在实际工作中， 当需要研究样品与样品之间关系时， 一般用距离系数统计量或者相似系数统 计量作为分类计算依据，这种方法又称为 q 型聚类法 型聚类法；当需要研究变量与变量之间的关系 时，常用相关系数统计量作为分类计算依据，这种方法又称 r 型聚类法 型聚类法。选择适当的聚类方法 聚合法 开始把每个样品看成自成一类，计算各类之间的相似程度的统计量，把 最相似的两类合并为一类，再计算各类相似程度统计量，把最相似的两 类合并，照此继续下去，一直到所有样品都聚合成一类为止，最后人为 确定合适的分类数，得到分类结果。 分解法 它的聚类过程恰好和聚合法相反，开始把全体样品看成一类，然后分成 二类，……，一直到每个样品为一类或分到不能再分时为止，通常要设 计一个分类函数（目标函数）来控制整个分类过程。 调优法 开始人为将样品作初始分类，在一定准则下判断这个分类是否最优，如 果不是最优，则对分类进行修改，再判断修改后的分类是否最优，若仍 不是最优，再作修改，不断重复上述步骤，一直到分类方案最优为止。 *动态聚类法 步骤： 1、按照一定的原则选择一批凝聚点（聚核） ， 2、让样品向最近的凝聚点凝聚，这样就由点凝聚成类，得到初始分类。 3、初始分类不一定合理，可按最近距离原则进行修改，直到分类合理得到 最终的分类为止。四、最小二乘法与多项式拟合 最小二乘法的基本原理 一）、最小二乘法的基本原理 从整体上考虑近似函数 p (x ) 同所给数据点 ( xi , y i ) (i=0,1,…,m)误差 ri = p ( xi )
y i (i=0,1,…,m)的大小，常用的方法有以下三种：一是误差 ri = p ( xi )
y i (i=0,1,…,m)绝对值的最大值 max ri ，即误差 向量 0≤i ≤ mr = ( r0 , r1 , l rm ) t 的∞—范数；二是误差绝对值的和 ∑∑m i=0 m i= 0ri，即误差向量 r 的 1—ri2范数；三是误差平方和 的算术平方根，即误差向量 r 的 2—范数；前两种 方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，∑m因此在曲线拟合中常采用误差平方和 体大小。i=0ri 2来 度量误差 ri (i=0，1，…，m)的整数据拟合的具体作法是：对给定数据 ( xi , y i ) (i=0,1,…，m)，在取定的函 数类 φ 中,求 p (x ) ∈ φ ,使误差 ri = p ( xi )
y i (i=0,1,…,m)的平方和最小，即∑ ri2i =0m= i =0∑ [ p( x )
y ]i im2= min从几何意义上讲， 就是寻求与给定点 ( xi , y i ) (i=0,1,…,m)的距离平方和为最 小的曲线 y = p(x) （图 6-1）。函数 p (x ) 称为拟合 函数或最小二乘解，求拟 合函数 p (x ) 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类 φ 可有不同的选取方法.6—1 二）、多项式拟合 ）、多项式拟合 多项式拟合 假设给定数据点 ( xi , y i ) (i=0,1,…,m)，φ 为所有次数不超过 n( n ≤ m) 的多项式构p n ( x) = ∑ a k x k ∈ φn k =0成的函数类，现求一m,使得i = ∑ [ p n ( xi )
y i ]i =02
∑ a k xik
= min i =0
k =0 m n2(1)当拟合函数为多项式时，称为多项式拟合，满足式（1）的 p n (x) 称为最小二乘 拟合多项式。特别地，当 n=1 时，称为线性拟合或直线拟合。 显然i = ∑ (∑ a k x ik
y i ) 2i =0 k =0mn为 a 0 , a1 , l a n 的多元函数，因此上述问题即为求 i = i (a 0 , a1 , l a n ) 的极值 问题。 由多元函数求极值的必要条件，得 m n i = 2∑ (∑ a k xik
y i ) xij = 0, j = 0,1, l , n a j i = 0 k =0 (2) 即 j = 0,1, l , n i =0
k = 0 i =0 （3）是关于 a 0 , a1 , l a n 的线性方程组，用矩阵表示为
x ∑ i i =0
m m ∑ xin
i =0 ∑ (∑ xij + k ) a k = ∑ xij y i ,nmm(3)∑ xi ∑xi =0 i =0 m 2 imm∑xi=0mn +1 i(4) 式（3）或式（4）称为正规方程组或法方程组。 可以证明，方程组（4）的系数矩阵是一个对称正定矩阵，故存在唯一解。 从式（4）中解出 a k (k=0,1,…，n)，从而可得多项式p n ( x) = ∑ a k x kn k =0
n ∑ xin y i
l ∑ xi2 n
i =0 ml(5) 可以证明，式（5）中的 p n (x) 满足式（1），即 p n (x) 为所求的拟合多项式。我 们把 i =0∑ [pmn( xi )
y i ]2称为最小二乘拟合多项式 p n (x) 的平方误差，记作r2 2= ∑ [ p n ( xi )
y i ]i =0 n mm2由式(2)可得r2 2= ∑ y i2
∑ a k (∑ xik y i )i =0 k =0 i =0m(6)多项式拟合的一般方法可归纳为以下几步： (1) 由已知数据画出函数粗略的图形——散点图，确定拟合多项式的次数 n；
(2) 列表计算 i =0 和 i =0 (3) 写出正规方程组，求出 a 0 , a1 , l a n ；p n ( x) = ∑ a k x kn∑ xijm( j = 0,1, l ,2n)∑xmj iyi( j = 0,1, l ,2n)；k =0 。 (4) 写出拟合多项式 n & m 或 n ≤ m ；当 n = m 时所得的拟合多项式就是拉格朗日或牛 在实际应用中，顿插值多项式。
例 1 测得铜导线在温度 ti (℃)时的电阻 ri () 如表 6-1，求电阻 r 与温度 t 的近似函数关系。 i 0 1 2 3 4 5 6 ti (℃) ri () 19.1 25.0 30.1 36.0 40.0 45.1 50.076.30 77.80 79.25 80.80 82.35 83.90 85.10解 画出散点图（图 6-2），可见测得的数据接近一条直线，故取 n=1，拟合函 数为 r = a 0 + a1t 列表如下 i 0 1 2 3 4 5 6 ti 19.1 25.0 30.1 36.0 40.0 45.1 50.0 ri 76.30 77.80 79.25 80.80 82.35 83.90 85.10ti 2ti ri 5.000 8.800 3.890 364.81 625.00 906.01 0.00 0.00∑正规方程组为245.3 565.5 29.445245.3
7 245.3 9325.83
解方程组得 a 0 = 70.572 , a1 = 0.921 故得 r 与 t 的拟合直线为 r = 70.572 + 0.921t 利用上述关系式，可以预测不同温度时铜导线的电阻值。例如，由 r=0 得 t=-242.5，即预测温度 t=-242.5℃时，铜导线无电阻。6-2 例2 已知实验数据如下表i xi0 11 2 3 4 5 6 783 4 5 6 7 8 9 10 4yi10 5 4 2 1 1 2 3试用最小二乘法求它的二次拟合多项式。 解 设拟合曲线方程为 2
y = a 0 + a1 x + a 2 x 列表如下 i 0 1 2 3 4 5 6 7 8 xi yix i2 x i3 x i4 xi2 y ixi y i 10 15 16 10 6 7 16 27 40 1471 10 1 1 1 3 5 9 27 81 4 4 16 64 256 5 2 25 125 625 6 1 36 216
53 32 381 10 45 64 50 36 49 128 243 400 1025∑得正规方程组52 381
52 381 3017
解得 a 0 = 13.4597, a1 = 3.6053 a 2 = 0.2676 故拟合多项式为 y = 13.3 + 0.2676 x 2 *三 最小二乘拟合多项式的存在唯一性 定理 1 设节点 x0 , x1 , l , x n 互异，则法方程组（4）的解存在唯一。 证 由克莱姆法则，只需证明方程组（4）的系数矩阵非奇异即可。 用反证法，设方程组（4）的系数矩阵奇异，则其所对应的齐次方程组
x ∑ i i =0
m m ∑ xin
i =0 n m∑ xi ∑xi =0 i =0 m 2 imm∑xi=0mn +1 i
∑ xin y i
i =0 ml（7）有非零解。式(7)可写为∑ (∑ xij +k )ak = 0,k =0 i =0j = 0,1, l , n（8）将式（8）中第 j 个方程乘以 a j (j=0,1,…，n)，然后将新得到的 n+1 个方程左 n m j+k
a j ∑(∑xi )ak 0 = 0 ∑
右两端分别 相加，得 j =0 k =0 i=0n因为m n n m
m n n 2 a j ∑ (∑ xij + k )a k
=∑ ∑∑ a k a j xij + k =∑ (∑ a j xij )(∑ a k xik ) = ∑ [ p n ( xi )] ∑
k =0 i = 0 j =0 i =0 j = 0 k =0 i =0
i = 0 j =0 k =0 其中 np n ( x) = ∑ a k x kk =0n所以 p n ( xi ) = 0 (i=0,1,…,m) pn (x) 是次数不超过 n 的多项式，它有 m+1＞n 个相异零点，由代数基本定理，必 须有 a 0 = a1 = l a n = 0 ， 与齐次方程组有非零解的假设矛盾。 因此正规方程组 （4） 必有唯一解 。 定理 2 设 a 0 , a1 , l , a n 是正规方程组 （4） 的解， 则 是满足式（1）的最小二乘拟合多项式。 只需证明，对任意一组数 b0 , b1 , l , bn 组成的多项式 p n ( x) = ∑ a k x kk =0 nqn ( x) = ∑ bk x kk =0n证 ，恒有∑ [qi =0mn( xi )
y i ] ≥ ∑ [ p n ( x i )
y i ]2 i =0m2即可。∑ [qn ( xi )
∑ [ pn ( xi )
yi ]2i =0 i =0mm= ∑ [qn ( xi )
p n ( xi )] + 2∑ [qn ( xi )
p n ( xi )]
[ p n ( xi )
yi ]2 i =0 i=0 n
≥ 0 + 2∑∑ (b j
∑ a k xik
= 2∑ (b j
∑ a k xik
i =0 j = 0 j =0
m nmm[]因为 a k (k=0,1,…，n)是正规方程组（4）的解，所以满足式（2），因此有∑ [qn ( xi )
∑ [ p n ( xi )
yi ]2 ≥ 0i =0 i =0mm故 p n ( x) 为最小二乘拟合多项式。 *四 多项式拟合中克服正规方程组的病态 在多项式拟合中，当拟合多项式的次数较高时，其正规方程组往往是病态的。而 且 ①正规方程组系数矩阵的阶数越高，病态越严重； ②拟合节点分布的区间 [x0 , x m ]偏离原点越远，病态越严重； ③ xi (i=0,1,…，m)的数量级相差越大，病态越严重。 为了克服以上缺点，一般采用以下措施： ①尽量少作高次拟合多项式，而作不同的分段低次拟合； ②不使用原始节点作拟合，将节点分布区间作平移，使新的节点 x i 关于原 点对 称，可大大降低正规方程组的条件数，从而减低病态程度。 平移公式为： x + xm xi = xi
0 , i = 0,1,l, m 2 (9) ③对平移后的节点 x i (i=0,1,…，m),再作压缩或扩张处理：xi = p xi ,p = 2 r (m + 1)其中i = 0,1,l, m（10）∑ (x )i =0 i im2r,（r 是拟合次数）（11）经过这样调整可以使 x 的数量级不太大也不太小，特别对于等距节点 xi = x 0 + ih (i = 0,1, l , m) ，作式（10）和式（11）两项变换后，其正规方程 组的系数矩阵设 为 a，则对 1～4 次多项式拟合，条件数都不太大，都可以得到 满意的结果。 变换后的条件数上限表如下： 拟合次数 1 2 3 4 =1 &9.9 &50.3 &435 cond 2 ( a)④在实际应用中还可以利用正交多项式求拟合多项式。 一种方法是构造离散正交 多项式；另一种方法是利用切比雪夫节点求出函数值后再使用正交多项式。这两 种方法都使正规方程 组的系数矩阵为对角矩阵， 从而避免了正规方程组的病态。 我们只介绍第一种，见第三节。 例如 m=19, x 0 =328,h=1, x1 = x 0 +ih， i=0,1,…， 即节点 分布在 19， ［328,347］ ， 作二次多项式拟合时 ① 直接用 xi 构造正规方程组系数矩阵 a0 ，计算可得cond 2 ( a0 ) = 2.25 × 1016严重病态，拟合结果完全不能用。 ② 作平移变换 328 + 347 xi = xi
, i = 0,1, l ,19 2 用 xi 构造正规方程组系数矩阵 a1 ，计算可得 cond 2 ( a1 ) = 4.483868 × 1016 比 cond 2 ( a0 ) 降低了 13 个数量级，病态显著改善，拟合效果较好。 ③ 取压缩因子p=420∑ (x )i =0 i19≈ 0.14984 作压缩变换 xi = p xi , i = 0,1, l,19
用 xi 构造正规方程组系数矩阵 a2 ，计算可得 cond 2 ( a2 ) = 6.839又比 cond 2 ( a1 ) 降低了 3 个数量级，是良态的方程组，拟合效果十分理想。
如有必要，在得到的拟合多项式 p n ( x ) 中使用原来节点所对应的变量 x，可写为 x0 + x m )) 2
仍为一个关于 x 的 n 次多项式，正是我们要求的拟合多项式。 qn ( x ) = p n ( p
( x 五、回归分析（略） 回归分析（ 回归分析六、概率分布方法（略） 概率分布方法（ 七、插值与拟合（略） 插值与拟合（八 、 方差分析法 ）、方差分析的意义 一 ）、 方差分析的意义前述的 t 检验和 u 检验适用于两个样本均数的比较，对于 k 个样本均数的比较，如果仍用 次， 如四个样本均数需比较 次。 假设每次比较所确定的检验水准 =0.05，则每次检验拒绝 h0 不犯第一类错误的概率为 1-0.05=0.95； 那么 6 次检验都不犯第一类错误的概率为(1-0.05)6=0.7351， 而犯第一类错误的 概率为 0.2649，因而 t 检验和 u 检验不适用于多个样本均数的比较。用方差分析比较多个 样本均数,可有效地控制第一类错误。方差分析(analysis of variance,anova)由英国统计学家 r.a.fisher 首先提出，以 f 命名其统计量，故方差分析又称 f 检验。t 检验或 u 检验， 需比较二）、方差分析的基本思想 ）、方差分析的基本思想 下面通过表 5.1 资料介绍方差分析的基本思想。 例如，有 4 组进食高脂饮食的家兔，接受不同处理后，测定其血清肾素血管紧张 素转化酶（ace）浓度（表 5.1），试比较四组家兔的血清 ace 浓度。 表 5.1 对照组及各实验组家兔血清 ace 浓度（u/ml） 实验组 a 降脂药 b 降脂药 c 降脂药 82.35 26.23 25.46 56.47 46.87 38.79 61.57 24.36 13.55 48.79 38.54 19.45 62.54 42.16 34.56 60.87 30.33 10.96 20.68 48.23 372.59 229.17 191.00 1122.68 (对照组 61.24 58.65 46.79 37.43 66.54 59.27329.92)6 54.996 62.107 32.747 27.2926 43.18（n ）（ ）58.12 5.43 56923.11 ()由表 5.1 可见，26 只家兔的血清 ace 浓度各不相同，称为总变异；四组家兔的 血清 ace 浓度均数也各不相同，称为组间变异；即使同一组内部的家兔血清 ace 浓度相互间也不相同，称为组内变异。该例的总变异包括组间变异和组内变异两 部分，或者说可把总变异分解为组间变异和组内变异。组内变异是由于家兔间的 个体差异所致。组间变异可能由两种原因所致，一是抽样误差；二是由于各组家 兔所接受的处理不同。正如第四章所述，在抽样研究中抽样误差是不可避免的， 故导致组间变异的第一种原因肯定存在；第二种原因是否存在，需通过假设检验作出推断。假设检验的方法很多，由于该例为多个样本均数的比较，应选用方差 分析。方差分析的检验假设 h0 为各样本来自均数相等的总体，h1 为各总体均数不等或不全相等。 若不拒绝 h0 时，可认为各样本均数间的差异是由于抽样误差所致，而不是由于处理因素的 作用所致。理论上，此时的组间变异与组内变异应相等，两者的比值即统计量 f 为 1；由于 存在抽样误差，两者往往不恰好相等，但相差不会太大，统计量 f 应接近于 1。若拒绝 h0， 接受 h1 时，可认为各样本均数间的差异，不仅是由抽样误差所致，还有处理因素的作用。 此时的组间变异远大于组内变异，两者的比值即统计量 f 明显大于 1。在实际应用中，当统 计量 f 值远大于 1 且大于某界值时，拒绝 h0，接受 h1，即意味着各样本均数间的差异，不 仅是由抽样误差所致，还有处理因素的作用。（5.1）方差分析的基本思想是根据研究目的和设计类型，将总变异中的离均差平方和 ss 及其自由 度 分别分解成相应的若干部分，然后求各相应部分的变异；再用各部分的变异与组内（或 误差）变异进行比较，得出统计量 f 值；最后根据 f 值的大小确定 p 值，作出统计推断。例如，完全随机设计的方差分析，是将总变异中的离均差平方和 ss 及其自由度 分别分解 成组间和组内两部分，ss 组间/ 组间和 ss 组内/ 组内分别为组间变异（ms 组间）和组内 ，两者之比即为统计量 f（ms 组间/ms 组内） 。 变异（ms 组内） 又如，随机区组设计的方差分析，是将总变异中的离均差平方和 ss 及其自由度 分别分解 成处理间、区组间和误差 3 部分，然后分别求得以上各部分的变异（ms 处理、ms 区组和 ms 误差） ，进而得出统计量 f 值（ms 处理/ms 误差、ms 区组/ms 误差） 。3、方差分析的计算方法下面以完全随机设计资料为例，说明各部分变异的计算方法。将 n 个受试对象随机分为 k 组，分别接受不同的处理。归纳整理数据的格式、符号见下表：处理组（i）123… … …k……… … … …合计……1）总离均差平方和（sum of squares,ss）及自由度（freedom,ν）总变异的离均差平方和为各变量值与总均数（ ）差值的平方和，离均差平方和 和自由度分别为：（5.2）=n-1（5.3）2）组间离均差平方和、自由度和均方组间离均差平方和为各组样本均数()与总均数( )差值的平方和（5.4）（5.5）（5.6） 3）组内离均差平方和、自由度和均方组内离均差平方和为各处理组内部观察值与其均数（）差值的平方和之和，数理统计证明，总离均差平方和等于各部分离均差平方和之和，因此， （5.7）（5.8）（5.9） 4）三种变异的关系：= n-1= (k-1)+(n-k) =可见，完全随机设计的单因素方差分析时，总的离均差平方和（ss 总）可分解为组间离均 差平方和（ss 组间）与组内离均差平方和（ss 组内）两部分；相应的总自由度（ ）也分解为组间自由度（）和组内自由度（）两部分。5）方差分析的统计量：（5.10）4、方差分析的应用条件与用途方差分析的应用条件为①各样本须是相互独立的随机样本； ②各样本来自正态分 布总体；③各总体方差相等，即方差齐。 方差分析的用途①两个或多个样本均数间的比较； ②分析两个或多个因素间的交 互作用；③回归方程的线性假设检验；④多元线性回归分析中偏回归系数的假设 检验；⑤两样本的方差齐性检验等。九、逼近理想点排序法 原理：通过测度各个被测评对象的指标评价值向量与评价的理想解和负理想解 通过测度各个被测评对象的指标评价值向量与评价的理想解和负理想解 的相对距离进行测评排序，同时计算各评价对象的综合评价指数。 的相对距离进行测评排序，同时计算各评价对象的综合评价指数。 确定规范化决策矩阵 无量纲化处理 无量纲化处理bij = aij
amin(i ) amax(i )
amin(i )-----------------→ 规范化决策矩阵 b = (bij )i× j（第 j 个被测评对象的第 i 个指标的无量纲化处理公式） 确定指标的权重系数（以变异系数法为例） 确定指标的权重系数 先求不同指标下指标评价的均值 ai 和标准差 si 再计算各指标的变异系数，取其绝对值为 vi 对作归一化处理，得各指标的权重 wi = vi / ∑ vi 再由规范化决策矩阵 b 和权重构成加权规范阵 r = wb = (rij )确定理想解 x 和负理想解 x+x + = {ri + / i = 1,l , m} = max rij / j = 1,l , njx{ } = {r / i = 1,l , m} = {min r / j = 1,l , n} i j ij + 计算各被测评对象到理想解距离 d 与负理想解的距离 dd+ = j∑ (rij
ri+ )2i =1nd = j∑ (ri =1nij ri
)2(j=1,…,n)计算被测评对象与理想解的相对接近度， 计算被测评对象与理想解的相对接近度，作为其综合评价指数cj =d j d + d+ j j×100 ( j = 1,l , n)c j 值越大，则顾客满意程度越高十、动态加权法 动态加权： 动态加权：关于不同的指标可以取相同的权函数，也可以取不同的权函数。举例：长江水质…… 数据：求解：十一、 十一、灰色关联分析法 灰色关联度是两个系统或两个因素间关联性大小的量度， 它描述系统发展过 程中因素间相对变化的情况，也就是变化大小、方向与速度等的相对性。 如果两因素在发展过程中相对变化态势一致性高，则两者的灰色关联度大； 反之，灰色关联度就小。 所谓灰色关联分析，就是系统的因素分析，是对一个系统发展变化态势的定 量比较和反映。 灰色关联分析是通过灰色关联度来分析和确定系统因素间的影响 程度或因素对系统主行为的贡献测度的一种方法。 灰色关联分析的基本思想是根据序列曲线几何形状的相似程度来判断其联系是 否紧密。曲线越接近,相应序列之间的关联度就越大,反之就越小。灰色关联分析 方法弥补了用数理统计作系统分析所导致的缺憾。 它对样本量的多少和样本有无 规律都同样适用,而且计算量小,十分方便,更不会出现量化结果与定性分析结果 不符的情况。具体步骤：灰色系统关联分析的具体计算步骤如下 ：（1）确定反映系统行为特征的参考数列和影响系统行为的比较数列 反映系统行为特征的数据序列，称为参考数列。影响系统行为的因素组成的数据 序列，称比较数列。 （2）对参考数列和比较数列进行无量纲化处理 由于系统中各因素的物理意义不同， 导致数据的量纲也不一定相同， 不便于比较， 或在比较时难以得到正确的结论。因此在进行灰色关联度分析时，一般都要进行 无量纲化的数据处理。 xi） （3）求参考数列与比较数列的灰色关联系数 ξ（xi） 所谓关联程度，实质上是曲线间几何形状的差别程度。因此曲线间差值大小，可 作为关联程度的衡量尺度。对于一个参考数列 x0 有若干个比较数列 x1, x2,…, xn，各比较数列与参考数列在各个时刻（即曲线中的各点）的关联系数 ξ（xi） 可由下列公式算出：
min min x (0 ) (k )
x (0 ) (k ) + ρ max max x (0 ) (k )
x (0 ) (k )
x (0 ) (k )
x (0 ) (k ) + ρ max max x (0 ) (k )
x (0 ) (k )η (k ) =称为关联系数，其中 ρ 称为分辨系数， ρ ∈ （0，1） ，常取 0.5.实数 第二级最小差，记为 δmin。 两级最大差，记为 δmax。 为各比较数列 xi 曲线上的每一个点与参考数列 x0 曲线上的每一个点的绝对差 值。记为 δoi(k)。所以关联系数 ξ（xi）也可简化如下列公式：r ( xo (k ), xi (k )) = (min min oi (k ) + ρ max max oi (k )) (oi (k ) + ρ max max oi (k ))i k i k i k（4）求关联度 ri 因为关联系数是比较数列与参考数列在各个时刻（即曲线中的各点）的关联程度 值，所以它的数不止一个，而信息过于分散不便于进行整体性比较。因此有必要将各个时刻（即曲线中的各点）的关联系数集中为一个值，即求其平均值，作为 比较数列与参考数列间关联程度的数量表示，关联度 ri 公式如下：r= 1 n
∑η (k ) 称为 x (0 ) (k ) 与 x (0 ) (k ) 的关联度 n k =1（5）排关联序 因素间的关联程度，主要是用关联度的大小次序描述，而不仅是关联度的大小。 将 m 个子序列对同一母序列的关联度按大小顺序排列起来，便组成了关联序，记 为{x}，它反映了对于母序列来说各子序列的“优劣”关系。若 r0i&r0j，则称 {xi}对于同一母序列{x0}优于{xj}，记为{xi}&{xj} ；若 r0i 表 1 代表旗县参 考数列、比较数列特征值。十二、 十二、灰色预测法 灰色预测 注：参考人口预测论文&纪江版&（灰色预测+时间序列的一次平滑指数预测法） 1、灰色预测一般有四种类型： （1） 、数列预测。对某现象随时间的顺延而发生的变化所做的预测定义为数 列预测。例如对消费物价指数的预测，需要确定两个变量，一个是消费物价指数 的水平。另一个是这一水平所发生的时间。 （2） 、灾变预测。对发生灾害或异常突变时间可能发生的时间预测称为灾变 预测。例如对地震时间的预测。 （3） 、系统预测。对系统中众多变量间相互协调关系的发展变化所进行的预 测称为系统预测。例如市场中替代商品、相互关联商品销售量互相制约的预测。 （4） 、拓扑预测。将原始数据作曲线，在曲线上按定值寻找该定值发生的所 有时点，并以该定值为框架构成时点数列，然后建立模型预测未来该定值所发生 的时点。 2、使用方法前一定要在段前作一个引子，连接问题分析和数据特点，以下便是： 通过对已知数据的分析，随着时间的变化，排污量一直呈增长趋势，并且增长的 很快。在这里利用灰色预测模型对（ ）进行预测。 通过对数据的分析，传统的数理统计预测方法往往需要足够多的数据，而本问题 的数据给出的数据偏小，如果采用传统的方法误差太大。根据上述的特点可采用 灰色预测模型。 3、灰色预测具体步骤： （ 1 ） 、 首 先 是 数 据 的 检 验 处 理 ， 要 求 级 比 x ( 0 ) (i
1) σ (i ) = ( 0) ∈ (e n +1 , e n +1（i = 2,3, l , n) ) x (i ) 2 2a、如果不全属于 (e n +1 , e n +1 ) ，则要做必要的变换处理（如取适当的常数 c，作平 移变换） ，使其落入区域中。 b、若 a 不成立，则建立 gm（1，1）模型 （2） 、建立 gm（1，1）模型 步骤一：一次累加生成数列 ago， （目的是弱化原始时间序列的随机性，增加其 稳定程度） x (1) = ( x (1) (1), x (1) (2), l x (1) (n) 步骤二：求均值数列 z (1) (k ) = αz (1) (k ) + (1
α ) z (1) (k
1)(k = 2,3, l , n)22z (1) = ( z (1) (2), z (1) (3), l , z (1) (n) 步骤三：建立 gm（1，1）模型相应的白化微分方程 dx (1) + ax (1) =
dt 其中：α称为发展灰数；μ称为内生控制灰数。步骤四：求的参数估计 a、b（最小二乘法） α = (b t b ) b t yn1步骤五： 给出累加时间数列预测模型
x (1) (k + 1) =
x (0 ) (1)
ak + ， k = 0,1,2..., n a a
步骤六：做差得到原始预测值 b
x ( 0) (k + 1) = x (1) (k + 1)
x (1) (k ) = ( x ( 0 ) (1)
a ( k 1) ) a 4、检验预测值 a、残差检验 x ( 0) (k )
x ( 0) (k ) ξ (k ) = （i = 1,2, l , n) （若 ξ (k ) &0.2,则达到一般要求;若 ξ (k ) &0.1, x ( 0) (k ) 则效果好 b级比偏差值检验 步骤一;首先有参考数据 x ( 0) = ( x ( 0) (1), x ( 0) (2), x ( 0) (3), l , x ( 0) (n)) 计算出级比 λ0( k ) ，再由发展系数 a，求出相 应级比偏差 1
0 .5 a ρk = 1
λ0 (k ) 1 + 0 .5 a 若 ρ (k ) &0.2,则达到一般要求;若 ρ (k ) &0.1,则效果好 程序实现： 采用 excel 的方法实现灰色预测。十三、 十三、模糊综合评价 1. 模糊综合评判的一般提法 设 u = {u1, u2 ,l, un} 为研究对象的 n种因素（或指标） ，称之为因素集 因素集（或指标 因素集 指标 ． 集） v = {v1, v2 ,l, vm} 为诸因素（或指标）的 m种评判所构成的评判集（或称语集、 评价集、决策集等） ，它们的元素个数和名称均可根据实际问题的需要和决策人 主观确定．实际中，很多问题的因素评判集都是模糊的，因此，综合评判应该是v 上的一个模糊子集 b = (b1 , b2 ,l, bm ) ∈ f (v )其中 bk 为评判 vk 对模糊子集 b 的隶属度：
b (vk ) = bk (k = 1,2, , l, m) ，即反映了第 k 种评判 vk 在综合评价中所起的作用．综合评判 b 依赖于各因素的权重，即它应该 是 u 上的模糊子集 a = (a1 , a2 ,l, an ) ∈ f (u ) ，且 ∑ ai = 1 ，其中 a i 表示第 i 种因素i =1 n的权重．于是，当权重 a 给定以后，则相应地就可以给定一个综合评判 b ． 2. 模糊综合评判的一般步骤 (1) 确定因素集 u = {u1, u2 ,l, un} ； (2) 确定评判集 v = {v1, v2 ,l, vm} ； (3) 确定模糊评判矩阵 r = ( rij ) n× m ： 首先，对每一个因素 u i 做一个评判 f (u i )(i = 1,2, l , n) ，则可以得 u 到 v 的 一个模糊映射 f ，即 f : u → f (u )u i a f (u i ) = (r i1 , ri 2 ,l , rim ) ∈ f (v )然后，由模糊映射 f 可以诱导出模糊关系 r f ∈ f (u × v ) ，即r f (u i , v j ) = f (u i )(v j ) = rij (i = 1,2,l , j = 1,2, l , m)因此，可以确定出模糊评判矩阵 r = ( rij ) n× m ．而且称 (u , v , r ) 为模糊综合评判模 型， u , v , r 称为该模型的三要素． (4) 综合评判： 对于权重 a = (a1 , a2 ,l, an ) ∈ f (u ) ， 用模型 m (∧,∨) 取最大－最 小合成运算，可以得到综合评判b = a o r ( b j = ∨ (ai ∧ rij ), j = 1,2, l, m)n i =1注意到： 关于评判集 v 的权重 a = (a1 , a2 , l, an ) 的确定在综合评判中起重要的 作用，通常情况下可以由决策人凭经验给出，但往往带有一定的主观性．要从实 际出发， 或更客观地反映实际情况可采用专家评估法、 加权统计法和频数统计法， 或更一般的模糊协调决策法、模糊关系方法等来确定． 综合评判模型的构成 如果模糊综合评判模型为 (u , v , r ) ,对于权重 a = (a1 , a2 ,l, an ) ∈ f (u ) ，模糊 评 判 矩 阵 为 r = ( rij ) n× m ， 则 用 模 型 m ( ∧, ) 运 算 得 综 合 评 判 为 ∨b = a o r = (b1 , b2 ,l, bm ) ∈ f (v ) ，其中 b j = ∨ (ai ∧ rij ) ( j = 1,2, l, m) ． 事实上，由于 ∑ ai = 1 ，对于某些情况可能会出现 a i ≤ rij ，即 a i ∧ rij = a i ．这i =1 ni =1n样可能导致模糊评判矩阵 r 中的许多信息的丢失， 即人们对某些因素 u i 所作的评 判信息在决策中未得到充分的利用．从而导致综合评判结果失真．为此，实际中 可以对模型 m ( ∧, ) 进行改进． ∨∨ (1) 模型 m ( , ) 法 ： 对于 a = (a1, a2 ,l, an ) ∈f(u) 和 r = ( rij ) n× m ，则用模型m ( , ) 运算得 b = a
r ，即 b j = ∨ (ai
rij ) ( j = 1,2,l, m) ． ∨n(2) 模 型 m ( ∧ ,+ ) 法 ： 对 于 a = (a1, a2 ,l, an ) ∈f(u) 和 r = (rij ) n×m ， 则 用 模 型m ( ∧ ,+ ) 运算得 b = a
r ，即 b j = ∑ (ai ∧ rij ) ( j = 1,2, l, m) ．ni =1(3) 模 型 m ( ,+ ) 法 ： 对 于 a = (a1, a2 ,l, an ) ∈f(u) 和 r = (rij ) n×m ， 则 用 模 型m ( ,+ ) 运算得 b = a
r ，即 b j = ∑ (ai
rij ) ( j = 1,2, l, m) ． i =1 在实际应用时，主因素（即权重最大的因素）在综合中起主导作用时，则可 首选“主因素决定型”模型 m ( ∧ , ) ；当模型 m ( ∧ , ) 失效时，再来选用“主因 ∨ ∨ 素突出型”模型 m ( , ) 和 m ( ∧ ,+ ) ；当需要对所有因素的权重均衡时，可选用 ∨ 加权平均模型 m ( ,+ ) ．在模型的选择时，还要特别注意实际问题的需求．ni =1多层次模糊综合评判 对于实际中的许多问题往往都是涉及因素多，各因素的权重分配较为均衡的 情况，此时，可采用将诸因素分为若干个层次进行研究．即首先分别对单层次的 各因素进行评判，然后再对所有的各层次因素作综合评判．这里仅就两个层次的 情况进行说明，具体方法如下： 将因素集 u = {u1, u2 ,l, un} 分成若干个组 u1 ,u 2 ,l, u k (1 ≤ k ≤ n) 使得 u = uu i ， 且 u i i u j = φ (i ≠ j ) ，称 u = {u1 ,u 2 , l, u k } 为一级因素集。( ( ( 不妨设 u i = {u1 i ) , u 2i ) , l, u nii ) }(i = 1,2,l, i =1 k∑ni =1ki= n) ，称之为二级因素集．( ( 设评判集 v = {v1, v2 ,l, vm} ， 对二级因素集 u i = {u1(i ) , u2i ) ,l, unii ) } 的 ni 个因素进行单因素评判，即建立模糊映射 f i : u i → f (v )i (i u (ji ) a f i (u (ji ) ) = ( r j(1i ) , r j(2) , l , r jm) )( j = 1,2, l , ni )于是得到评判矩阵为( r11i )
(i ) r21 ri =
(i ) rni 1
( r12i ) ( r22i ) i l r1(m)
l) rn(ii2( ( ( ( 则可以求得综合评 不妨设 u i = {u1(i ) , u2i ) ,l, unii ) } 的权重为 ai = (a1(i) , a2i ) ,l, anii ) } ，判为( ( bi = ai o ri = (b1(i ) , b2i) ,l, bmi ) )(i = 1,2, l, k )其中 b (i ) 由模型 m ( ∧, ) ，或 m ( , ) 、 m ( ∧,+ ) 、 m ( ,+ ) 确定． ∨ ∨ j 对 于 一 级 因 素 集 u = {u1 ,u 2 , l, u k } 作 综 合 评 判 ， 不 妨 设 其 权 重 a = (a1 , a2 ,l, ak ) ， 总 评 判 矩 阵 为 r = [b1 , b2 , l, bk ]t ． 按 模 型 m ( ∧, ) ， 或 ∨ m ( , ) 、 m ( ∧,+ ) ， 、 m ( ,+ ) 运 算 得 到 综 合 评 判 ∨ b = a o r = (b1 , b2 ,l, bm ) ∈ f (v ) ． 十四、隶属函数的刻画（ 十四、隶属函数的刻画（略）十五、 十五、时间序列分析法 arima(autoregressive integrated moving average models)时间序列模型 一般概念; 一般概念 系统中某一变量的观测值按时间序列（时间间隔相同）排列成一个数值序列，展 示研究对象在一定时期内的变动过程，从中寻找和分析事物的变化特征、发展趋 势和规律。他是系统中某一变量受其他各种因素影响的总结果。 变动特点： 变动特点 趋势性：某个变量随时间进展或自变量变化，呈现一种比较缓慢而长期的持续上 升、下降、停留的同性质变动趋势，但变动幅度可能不等。 周期性：某因素由于外部影响随着自然季节的交替出现高峰与低谷的规律。 随机性：个别为随机变动，整体呈统计规律 综合性：实际变化情况一般是几种变动的叠加或组合。预测时一般设法过滤去不 规则变动，突出反映趋势性和周期性变动。 特征识别：认识时间序列所具有的变动特征，以便在系统预测时选择采用不同的 特征识别 方法 随机性：均匀分布、无规则分布，可能符合某统计分布（用因变量的散点图和直 方图及其包含的正态分布检验随机性，大多服从正态分布） 平稳性：样本序列的自相关函数在某一固定水平线附近摆动，即方差和数学期望 稳定为常数 特征识别利用自相关函数 acf: ρ k = γ k / γ 0 ，其中 γ k 是 yt 的 k 阶自协方差，且ρ0 = 1 ，-1& ρ k &1平稳过程的自相关系数和偏自相关系数都会以某种方式衰减趋于 0，前者测 度当前序列与先前序列之间简单和常规的相关程度， 后者是在控制其它先前序列 的影响后，测度当前序列与某一先前序列之间的相关程度。 实际上，预测模型大都难以满足这些条件，现实的经济、金融、商业等序列都 是非稳定的，但通过数据处理可以变换为平稳的。 基本步骤： 基本步骤 分析数据序列的变化特征 选择模型形式和参数检验 利用模型进行趋势预测 评估预测结果并修正模型自回归 ar(p)模型 （自己影响自己， 但可能存在误差， 误差即没有考虑到的因素）模型意义 仅通过时间序列变量的自身历史观测值来反映有关因素对预测目标的影响 和作用，不受模型变量互相独立的假设条件约束，所构成的模型可以消除普通回 归预测方法中由于自变量选择、多重共线性的比你更造成的困难 用 pacf 函数判别（从 p 阶开始的所有偏自相关系数均为 0） 移动平均 ma(q)模型模型含义 用过去各个时期的随机干扰或预测误差的线性组合来表达当前预测值。ar(q) 的假设条件不满足时可以考虑用此形式。 用 acf 函数判别（从 q 阶开始的所有自相关系数均为 0） 自回归移动平均 arma(p,q)模型识别条件 平稳时间序列的偏相关系数 φk 和自相关系数 rk 均不截尾，但较快收敛到 0，则该时间序列可能是 arma(p,q)模型。实际问题中，多数要用此模型。因此建模 解模的主要工作时求解 p,q 和 φ 、 θ 的值，检验 ε t 和 yt 的值。 模型阶数实际应用中 p,q 一般不超过 2. 自回归综合移动平均 arima(p,d,q)模型 模型含义 模型形式类似 arma(p,q)模型，但数据必须经过特殊处理。特别当线性时间 序列非平稳时，不能直接利用 arma(p,q)模型，但可以利用有限阶差分使非平稳 时间序列平稳化，实际应用中 d（差分次数）一般不超过 2. 模型识别 平稳时间序列的偏相关系数 φk 和自相关系数 rk 均不截尾，且缓慢衰减收敛， 则该时间序列可能是 arima(p,d,q)模型。若时间序列存在周期性波动， 则可按时间周期进行差分， 目的是将随机误差有长久影响的时 间序列变成仅有暂时影响的时间序列。即差分处理后新序列符合 arma(p,q)模型，元序列 符合 arima(p,d,q)模型。一个平稳的随机过程有以下要求：均数不随时间变化，方差不随时间变化，自相 关系数只与时间间隔有关，而与所处的时间无关。 偏自相关函数（pacf）解决如下问题： 高阶的自相关是否真的非常重要 是他的确有意义，还是因为低阶自相关系数较大才引起高阶自相关系数也大 如果建立一个以前值预测现在值的回归模型，需要包括多少个以前值 指数平滑法用序列过去值的加权均数来预测将来的值， 并且给序列中近期的数据 以较大的权重，远期的数据给以较小的权重。理由是随着时间流逝，过去值的影 响逐渐减小。 指数平滑法应用时存在以下问题：指数平滑法只适合于影响时间的消逝呈指数下降的数据、 指数平滑法的每次预测都是根据上一个数来的，一般来说，用序列的第一个数作 为初始值。如果数据点较多，那么经过指数衰减后，初始值的影响就不明显了。 但是如果数据点少，则初始值的影响会很大，甚至大于近期的数据点，这就违背 指数平滑影响呈指数衰减的假设了。所以，如果数据点少时应该考虑初始值的问 题，一般来说，数据点大于 40 初始值的影响就不太明显。 需要指出的是，时间序列模型的预测一般不能太超前，对过于遥远的时间预测结 果大多是不准确的。十六、蒙特卡罗(mc) (mc)仿真模型 十六、蒙特卡罗(mc)仿真模型 模型介绍： 蒙特卡罗（monte carlo）方法，又称随机抽样或统计试验方法，属于计算数学 的一个分支， 它是在本世纪四十年代中期为了适应当时原子能事业的发展而发展 起来的。传统的经验方法由于不能逼近真实的物理过程，很难得到满意的结果， 而蒙特卡罗方法由于能够真实地模拟实际物理过程，故解决问题实际非常符合， 可以得到很圆满的结果。这也是我们采用该方的原因。蒙特卡罗的基本原理及思想： 当所要求解的问题是某种事件出现的概率， 或者是某个随机变量的期望值时， 它们可以通过 某种“试验”的方法，得到这种事件出现的频率，或者这个随机变数的平均值，并用它们作为 问题的解。 这就是蒙特卡罗方法的基本思想。 蒙特卡罗方法通过抓住事物运动的几何数量和 几何特征，利用数学方法来加以模拟，即进行一种数字模拟实验。它是以一个概率模型为基 础，按照这个模型所描绘的过程，通过模拟实验的结果，作为问题的近似解。可以把蒙特卡 罗解题归结为三个主要步骤：构造或描述概率过程；实现从已知概率分布抽样；建立各种估 计量。 蒙特卡罗解题的三个主要步骤：（1） 、构造或描述概率过程： 对于本身就具有随机性质的问题，如粒子输运问题，主要是正确描述和模拟这个 概率过程，对于本来不是随机性质的确定性问题，比如计算定积分，就必须事先 构造一个人为的概率过程，它的某些参量正好是所要求问题的解。即要将不具有 随机性质的问题转化为随机性质的问题。 （2） 、实现从已知概率分布抽样： 构造了概率模型以后， 由于各种概率模型都可以看作是由各种各样的概率分布构 成的，因此产生已知概率分布的随机变量（或随机向量） ，就成为实现蒙特卡罗 方法模拟实验的基本手段， 这也是蒙特卡罗方法被称为随机抽样的原因。 最简单、 最基本、最重要的一个概率分布是(0,1)上的均匀分布（或称矩形分布） 。随机数 就是具有这种均匀分布的随机变量。 随机数序列就是具有这种分布的总体的一个 简单子样，也就是一个具有这种分布的相互独立的随机变数序列。产生随机数的 问题，就是从这个分布的抽样问题。在计算机上，可以用物理方法产生随机数， 但价格昂贵，不能重复，使用不便。另一种方法是用数学递推公式产生。这样产 生的序列，与真正的随机数序列不同，所以称为伪随机数，或伪随机数序列。不 过， 经过多种统计检验表明， 它与真正的随机数， 或随机数序列具有相近的性质， 因此可把它作为真正的随机数来使用。由已知分布随机抽样有各种方法，与从 (0,1)上均匀分布抽样不同，这些方法都是借助于随机序列来实现的，也就是说， 都是以产生随机数为前提的。由此可见，随机数是我们实现蒙特卡罗模拟的基本 工具。 （3） 、建立各种估计量： 一般说来，构造了概率模型并能从中抽样后，即实现模拟实验后，我们就要确定 一个随机变量， 作为所要求的问题的解， 我们称它为无偏估计。 建立各种估计量， 相当于对模拟实验的结果进行考察和登记，从中得到问题的解。 蒙特卡罗的特点及优缺点： 蒙特卡罗方法与一般计算方法有很大区别， 一般计算方法对于解决多维或因素复 杂的问题非常困难，而蒙特卡罗方法对于解决这方面的问题却比较简单。其特点 如下：· 直接追踪粒子，物理思路清晰，易于理解。 · 采用随机抽样的方法，较真切的模拟粒子输运的过程，反映了统计涨落的规 律。 · 不受系统多维、多因素等复杂性的限制，是解决复杂系统粒子输运问题的好 方法。 · mc 程序结构清晰简单。 · 研究人员采用 mc 方法编写程序来解决粒子输运问题， 比较容易得到自己想得 到的任意中间结果，应用灵活性强。十七、 十七、bp 神经网络方法 摘 要 人工神经网络是一种新的数学建模方式，它具有通过学习逼近任意非线 性映射的能力。本文提出了一种基于动态 bp 神经网络的预测方法，阐述了其基 本原理，并以典型实例验证。 关键字 神经网络，bp 模型，预测 1 引言 在系统建模、辨识和预测中，对于线性系统，在频域，传递函数矩阵可以很 好地表达系统的黑箱式输入输出模型；在时域，box-jenkins 方法、回归分析方 法、arma 模型等，通过各种参数估计方法也可以给出描述。对于非线性时间序 列预测系统，双线性模型、门限自回归模型、arch 模型都需要在对数据的内在 规律知道不多的情况下对序列间关系进行假定。可以说传统的非线性系统预测， 在理论研究和实际应用方面，都存在极大的困难。相比之下，神经网络可以在不 了解输入或输出变量间关系的前提下完成非线性建模[4，6]。神经元、神经网络都 有非线性、非局域性、非定常性、非凸性和混沌等特性，与各种预测方法有机结 合具有很好的发展前景，也给预测系统带来了新的方向与突破。建模算法和预测 系统的稳定性、动态性等研究成为当今热点问题。目前在系统建模与预测中，应 用最多的是静态的多层前向神经网络， 这主要是因为这种网络具有通过学习逼近 任意非线性映射的能力。利用静态的多层前向神经网络建立系统的输入/输出模 型， 本质上就是基于网络逼近能力， 通过学习获知系统差分方程中的非线性函数。 但在实际应用中，需要建模和预测的多为非线性动态系统，利用静态的多层前向 神经网络必须事先给定模型的阶次， 即预先确定系统的模型， 这一点非常难做到。 近来，有关基于动态网络的建模和预测的研究，代表了神经网络建模和预测新的 发展方向。 2 bp 神经网络模型 bp 网络是采用 widrow-hoff 学习算法和非线性可微转移函数的多层网络。 典型的 bp 算法采用梯度下降法，也就是 widrow-hoff 算法。现在有许多基本的 优化算法，例如变尺度算法和牛顿算法。如图 1 所示，bp 神经网络包括以下单 元：①处理单元(神经元)（图中用圆圈表示），即神经网络的基本组成部分。输 入层的处理单元只是将输入值转入相邻的联接权重， 隐层和输出层的处理单元将 它们的输入值求和并根据转移函数计算输出值。②联接权重(图中如 v,w)。它将 神经网络中的处理单元联系起来，其值随各处理单元的联接程度而变化。③层。 神经网络一般具有输入层 x、隐层 y 和输出层 o。④阈值。其值可为恒值或可变 值，它可使网络能更自由地获取所要描述的函数关系。⑤转移函数 f。它是将输 入的数据转化为输出的处理单元，通常为非线性函数。图 1 bp 神经网络结构 2.1 基本算法 bp 算法主要包含 4 步，分为向前传播和向后传播两个阶段： 1）向前传播阶段 （1）从样本集中取一个样本（xp，yp），将 xp 输入网络； （2）计算相应的实际输出 op 在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网 络在完成训练后正常运行时的执行过程。 2）向后传播阶段 （1）计算实际输出 op 与相应的理想输出 yp 的差； （2）按极小化误差的方式调整权矩阵。 这两个阶段的工作受到精度要求的控制， 在这里取 作 为网络关于第 p 个样本的误差测度， 而将网络关于整个样本集的误差测度定义为 。图 2 是基本 bp 算法的流程图。图 2 bp 基本算法流程2.2 动态 bp 神经网络预测算法 在经典的 bp 算法以及其他的训练算法中都有很多变量，这些训练算法可以 确定一个 ann 结构，它们只训练固定结构的 ann 权值（包括联接权值和结点转换 函数）。在自动设计 ann 结构方面，也已有较多的尝试，比如构造性算法和剪枝 算法。前一种是先随机化网络，然后在训练过程中有必要地增加新的层和结点； 而剪枝法则正好相反。文献[2]中提出了演化神经网络的理念，并把 ep 算法与 bp 进行了组合演化；也有很多学者把遗传算法和 bp 进行结合，但这些算法都以 时间复杂度以及空间复杂度的增加为代价。 根据 kolmogorov 定理,对于任意给定 的 l2 型连续函数 f: [ 0, 1 ]n →rm , f 可以精确地用一个三层前向神经网络 来实现，因而可以只考虑演化网络的权值和结点数而不影响演化结果。基于此， 在 bp 原有算法的基础上，增加结点数演化因子，然后记录每层因子各异时演化 出的结构，最后选取最优的因子及其网络结构，这样就可以避免由于增加或剪枝 得到的局部最优。 根据实验得知， 不同的预测精度也影响网络层神经元的结点数， 所以可根据要求动态地建立预测系统。具体步骤如下： （1）将输入向量和目标向量进行归一化处理。（2）读取输入向量、目标向量，记录输入维数 m、输出层结点数 n。 （3）当训练集确定之后，输入层结点数和输出层结点数随之而确定，首先 遇到的一个十分重要而又困难的问题是如何优化隐层结点数和隐层数。实验表 明， 如果隐层结点数过少， 网络不能具有必要的学习能力和信息处理能力。 反之， 若过多，不仅会大大增加网络结构的复杂性（这一点对硬件实现的网络尤其重 要），网络}