极大似然估计与据估计

《极大似然估计与据估计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、矩估计与极大似然估计1、概论：统计推断:从观测数据推断未知变量或未知模型的有关信息的过程.（1）统计学中两种重要方法：贝叶斯统计推断和经典统计推断（2）统计推断的主要内容：参数估计，假设检验和显著性检验（3）统计学中最重要的方法：最大后验概率准则，最小均方估计，最大似然估计，回归，似然比检验，等等2、点估计设总体X的分布函数中的参数未知，是来自总体的样本。我们用一个统计量的取值作为θ的估计值，统计量称为θ的点估计（量），简称估计。如何构造统计量没有明确的规定，只要满足一定的合理性即可。问题一：如何给出估计，即估计方法问题。问题二：对不同的估计进

2、行评价，即估计好坏的判断标准极大似然估计例：设有外形完全相同的两个箱子，甲箱中有3个白球，1个黑球，乙箱中有3个黑球1个白球。现随机的抽取一箱，并从中取出一球，结果取得白球。问这球是从那一箱子中取出的？解：设A表示“取出白球”，则：即：如果取出的是甲箱，A发生的概率为0.75即：如果取出的是乙箱，A发生的概率为0.25于是我们判断：此球最像是从甲箱中取出的。这里“最像”就是“极大似然”的意思。若抽取次数增加为3次(有放回),白球和黑球的比例未知的情况（下例）：p01/42/43/41p(X=2)09/6412/6427/640于是判断：p=3/

3、4例：设一个箱子中装有白球和黑球，共4个，但不知道白球所占的比例。现有放回的取三个球，结果有两个白球。估计白球所占的比例是多少。解：设白球所占的比例为p，则p的取值为:0，1/4，2/4，3/4，1根据二项分布，得：如果箱子中的球的个数未知，且比较大，则p的范围：此时我们应该选择p，使得尽可能大令当p=2/3时，L(p)取最大值，于是估计p=2/3更一般的情况：有放回的n次取球：如果箱子中的白球的比例为p，有放回的n次取球，结果为：其中于是：令根据极大似然原理，应选择p，使L(p)尽可能大。由于：求导得方程：解得：定义：设总体的概率函数为其中θ

4、是未知参数，是参数θ的可能取值空间，是来自该总体的样本，其联合概率函数看作是关于θ的函数：称为样本的似然函数。如果统计量满足：则称是θ的极大似然估计量。由于lnx单调上升，故与有相同的极大值点。于是是θ的极大似然估计量的必要条件是：此方程称为似然方程，它的解为极大似然估计量例2：已知总体X服从参数为λ的泊松分布，概率函数为求参数λ的极大似然估计量。解：参数λ的似然函数为：取对数：似然方程：解得：连续型随机变量的极大似然估计若总体X是连续型随机变量，密度函数为θ为未知参数又设为样本的一个观测值，那么样本落在点的邻域里的概率为极大似然原理就是选取使

5、达到最大的数值作为参数θ的估计值。此时，似然函数为：对数似然方程仍为：例设总体X服从参数为λ的指数分布，密度函数为λ>0,x>0,试求参数λ的极大似然估计量。解：似然函数为取对数：似然方程为：解得：多参数情形：例:设总体X服从正态分布：试求μ及σ的极大似然估计解：似然函数为似然方程：解得取对数：均匀分布求θ的极大似然估计量例设X~U[0,q]，密度函数为解似然函数为由似然方程：无解由于故因而是θ的极大似然估计量例设总体X~U[a,b]，密度函数为求a,b的最大似然估计量。解似然函数为由于故于是a，b的极大似然估计量分别是：矩估计1.样本k阶原点

6、矩2.样本k阶中心矩样本矩总体矩1.总体X的k阶原点矩mk=E(Xk)，k=1,2,…k=1时，m1=EX2.总体X的k阶中心矩sk=E(X-EX)k，k=1,2,…k=2时，s2=E(X-EX)2=DX矩估计的方法用样本矩去估计相应的总体矩，进而求出参数的估计量。称为参数的矩估计量。例如：用样本1阶原点矩估计总体1阶原点矩即例1.设总体X服从参数为l的指数分布，求l的矩估计量解由于EX=1/l=m，又即例2.设总体X~U[0,q]，求q的矩估计量解由即例3.设总体X~U[a,b]，求a,b的矩估计量解由即解出