极大似然估计

《极大似然估计》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、专题五极大似然估计专题内容似然函数与参数估计有效估计：极大似然函数原理极大似然估计量的性质检验程序极大似然估计的运用似然函数与参数估计似然函数以一组参数θ为条件，一个随机变量y的概率密度函数或pdf记为f(y

2、θ)这个函数确定了支撑所观测数据样本的数据生成机制，同时对该过程生成的数据提供了一个数理描述。该过程中n个独立同分布观测的联合密度为单个密度函数之乘积：似然函数与参数估计似然函数我们定义上述联合密度即似然函数，定了为未知参数向量θ的一个函数，其中y表示样本数据集合。注意，把联合密度写成数据以参

3、数为条件的函数，而在构造似然函数时，则把这个函数反过来写为参数以数据为条件的函数。这主要是为了突出对于未知参数的兴趣以及包含在样本数据中未知参数的信息似然函数与参数估计对数似然函数考虑到通常似然函数的对数形式更加容易处理比如，经典线性回归回归模型的对数似然函数为似然函数与参数估计模型的识别问题识别问题是指模型中的参数是否可以识别。识别是模型表述有关的问题，在估计模型之前就必须解决识别问题。具体的定义：似然函数与参数估计模型的识别问题案例：对于经典的线性回归模型，假设有一个非零向量α,使得对每个xi，

4、都有xiα=0，便有另一个“参数向量”λ=β+α≠β，使得对于每个xi都有xiβ=xiλ。如果这样那么极大似然函数无论在β还是λ处，取值都是一样的。由此，这个模型无法考虑β的估计，因为β无法区别于λ。这就是回归模型中的完全共线性问题。极大似然函数原理极大似然原理极大似然原理提供了为一个或者一组参数选择一个渐进有效估计量的工具。通过一组离散数据来说明该原理。考虑从一个柏松分布中得到如下10个观测构成的一个随机样本：5、0、1、1、0、3、2、3、4、1。每个观测的密度函数为柏松分布。极大似然函数原理极

5、大似然原理则似然函数假定含一个暂时未知参数λ的柏松分布生成了数据，上述最后结论便给出了观测到这个特定样本的概率。那么，λ取什么值最有可能得到这个样本呢？极大似然函数原理极大似然原理考虑到相对λ最大化L(y

6、λ)。由于对数函数单调递增的，而且又容易计算，因此可以最大化lnL(y

7、λ)。极大似然函数原理极大似然原理在一个连续分布中，由于一个特定样本的概率为零，所以观测到给定样本概率的提法不够准确。不过其原理仍然相同。以正态分布为例。从一个正态分布（均值为μ，方差为σ2）的总体中抽取一个样本。现在根据样本

8、采用极大似然函数原理估计均值和方差。极大似然函数原理极大似然原理极大似然估计量的性质正则条件假定(y1,y2,……,yn)是密度函数f(yi

9、θ0)的总体中的一个随机样本，而且满足如下正则条件：条件一：lnf(yi

10、θ)对θ的前三阶导数都是连续的，而且对几乎所有yi和所有θ都是有限的。这个条件保证了lnL的导数存在一个泰勒展开近似和有限方差；条件二：满足求lnf(yi

11、θ)的一阶和二阶导数所需要的条件；条件三：对于θ的所有值，

12、ə3lnf(f(yi

13、θ)/əθjəθkəθl

14、都小于一个具有有限期望的

15、函数。保证能截断泰勒展开。极大似然估计量的性质正则密度的性质极大似然估计量的性质正则密度的性质极大似然估计量的性质对数似然函数的矩极大似然估计量的性质似然方程极大似然估计量的性质信息矩阵等式极大似然估计量的性质极大似然估计量的渐进性质极大似然估计量的性质极大似然估计量的渐进性质极大似然估计量的性质极大似然估计量的渐进性质极大似然估计量的性质极大似然估计量的渐进性质极大似然估计量的性质极大似然估计量的渐进性质极大似然估计量的性质极大似然估计量的渐进性质极大似然估计量的性质极大似然估计量的渐进性质极大似

16、然估计量的性质极大似然估计量的检验三个渐进等价的检验程序考虑对一个参数θ和对假设H0:c(θ)=0的一个检验。主要检验程序包括：似然比、瓦尔德和拉格朗日检验等。似然比检验：若约束c(θ)=0成立，则施加这个约束不应该导致对数似然函数的大幅下降，因此，该检验基于差lnLU-lnLR。其中lnLU为似然函数在θ的无约束估计值处的取值，lnLR为似然函数在约束估计值处的取值；瓦尔德检验。若约束恰当，则c(θML)因为MLE的一致性而应该接近于0。因此该检验基于c(θML)。若这个值显著异于0，则便拒绝假设

17、。极大似然估计量的检验三个渐进等价的检验程序考虑对一个参数θ和对假设H0:c(θ)=0的一个检验。主要检验程序包括：似然比、瓦尔德和拉格朗日检验等。若约束成立，则约束估计值应该接近最大化对数似然函数的点。因此，对数似然函数在约束估计量处的斜率应该接近于0。这个检验基于对数似然函数在约束条件下达到最大化的那一点的斜率。极大似然估计量的检验lnLUlnLRc(θ)-q瓦尔德拉格朗日似然比极大似然估计量的检验极大似然估计量的检验极大似然估计量的检验极大似然估计量的运用极大似