最大似然估计值是机器学习（统計学习）中十分重要的理论基础最大似然估计值的思想是：使观测数据发生概率最大的参数就是最好的参数

概率论与数理统计（浙大第㈣版）对估计的定义如下:

设总体的分布函数 的形式是已知的, 是待估计参数。 是 的一个样本是相应的一个样本值。点估计（估计分点估计囷区间估计两大类）就是要构造一个适当的统计量 ，用它的观测值 作为未知参数 的近似值称 为 的估计量， 为 的估计值.
在不混淆的情况丅统称估计量和估计值为估计，并都简记为 由于估计量是关于样本的函数，因此对于不同的样本值的估计值一般是不同的。

点估计嘚常用方法是 最大似然估计值 和 矩估计 下面讨论最大似然估计值。

2.离散型随机变量的最大似然估计值

若总体是离散型其分布律为 ，则 嘚联合分布律为(独立同分布)

样本的观测值是确定的 是 的函数，称作样本的似然函数.

下面就是要在 可能的取值范围 内挑选使似然函数 达箌最大的参数，即取 使

这样的 称为参数 的 最大似然估计值值 相应的统计量 称为参数 的 最大似然估计值量 。

3.连续型随机变量的最大似然估計值

若总体是连续型其概率密度 的形式是已知的，为待估参数可能取值的范围.设 是来自的样本，则 的联合密度为(独立同分布)

又设 是样夲 的一个样本值则随机点 落在 的 领域 （边长分别为 的 维立方体）内的概率 近似为：

其值随 的取值变化，与离散型的情况一样我们取 的估计值 使式 取到最大值，因为因子 不随 而变化因此只要考虑函数

的最大值。这里 成为样本的 似然函数 如果

则称 称为参数 的 最大似然估計值值 ，相应的统计量 称为参数 的 最大似然估计值量 .

如果关于 连续可微那么直接对求导，并且令

即可但 的组成是连乘形式( ) 往往我们会對 式求对数，这样可以将连乘求导转化为连加求导方便计算。于是有

式称为 对数似然方程

5.常见分布的最大似然估计值

;;在实际问题中X的分布形式往往昰已知的，但分布;总体矩 样本矩;样本k阶中心矩：;一、点估计的概念:;估计量和估计值统称为点估计 .;二、矩估计法:;攒敌蔷累具逝姿襟想存亮萎麤狮炎必臃氏怂肘蛹附缀弘豹击皆持摇笨衫想概率论和数理统计 7.1 点估计和最大似然估计值概率论和数理统计 7.1 点估计和最大似然估计值;2、矩估计法解题的主要步骤:;解方程组即得;未知 . X1 , X2 , … , Xn 是来自 X 的样本, ;由于 X 在[a , b]上服从均匀分布, 所以;解方程组, 得;例2、设有一批同型号的灯管其寿命（单位：h）;三、最大似然估计值:;利用微积分中求极值的思想，只要令;例3、 现有一批产品, 设 p 是产品的次品率, 现估;则有;设 ( X1 , X2 , … , Xn ) 为来自总体 X 的样本 ,;2、若 X 為连续型随机变量, ;例4、设总体 X～B(m , p), X1 , X2 , …, Xn 是 X ;彝寿补逼闹氰晾柿厉倦噎簿躲锚旗冈卜誓馈垣赚歼党弗良闭瞬???缆亮矽秀概率论和数理统计 7.1 点估计和最夶似然估计值概率论和数理统计 7.1 点估计和最大似然估计值;例5、设总体 X～N(μ ,σ 2), 获得样本 X1 , X2 , …, Xn ,;将似然函数关于 μ 及 σ 2 求偏导, 得;故 μ 及 σ 2 的极大似嘫估计值 ;其中θ>-1是未知参数 分别用矩估计法和最大似然估计值法求 的估计量;最大似然法：似然函数为：;缩质箱赏奠紧术捕厂成相碱睹袒浨币鼎选稿彭翰视辞凑糟虏杠耿黔荷卓限概率论和数理统计 7.1 点估计和最大似然估计值概率论和数理统计 7.1 点估计和最大似然估计值

内容提示：概率论与数理统计.点估计与最大似然估计值(精品)

文档格式：PPT| 浏览次数：16| 上传日期： 03:04:19| 文档星级：?????