有限混合正态分布的em算法

《有限混合正态分布的em算法》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、有限混合正态分布的EM算法摘要本文主要介绍了有限混合正态分布基本内容，并用极大似然估计的EM算法对其进行参数估计和分解,最后举了一个例子并以Mathematica程序实现EM算法的具体应用。关键字混合正态分布极大似然估计EM算法Mathematica一、算法介绍有限混合正态分布自19世纪被提出后，人们试图用矩法，图形技术对其进行分解，随着计算机的出现和发展，对混合正态分布研究转向分布参数的极大似然估计上来，1977年Dempster等提出了EM算法并得以发展。1．数量性状表型值的有限混合正态分布假定数量性状在某分离世代的表型值为一随机变量，其概率密度为（1）其中，为混合正态分布中第t个成分分

2、布的密度函数，为其权重，，则称所服从的分布为一有限混合正态分布。设混合分布的密度函数的参数向量为（2）则式（1）的参数形式为：（3）2．有限混合正态分布参数的极大似然估计（MLE）从所研究的数量性状群体中抽取样本为n的简单随机样本，其样本似然函数为：（4）相应对数似然函数为：（5）用极大似然法估计的参数为，称为极大似然估计（MLE），它满足或。3．有限混合正态分布参数极大似然估计的EM算法EM算法分E（期望）步和M（极大化）步两个步骤迭代运算。①E步给定参数向量初值（6）则在初值条件下样本中的后验概率为（7）这就实现了在初值条件下用把样本分配给k个成分的分离算法。显然有（8）对任一组，可令（

3、9）亦满足，其中包括。用上述基于的分离法，可用期望算法得到各成分分布的参数，形式上可表示为(10)由、和构成只是在已知时的一个估计，并不表明和是混合分布的极大似然估计。因为仅是样本在条件下的第一次分离，是第一次分离的期望结果。①M步在的条件下，什么样的和才能使最大，这个条件必须在关于和的极大化中寻找。=同理可得=其中，为的后验概率，而，，在条件下，使最大的和所满足的方程组为（11）解之得在条件下的和：（12）其中。一般来讲有m轮EM迭代结果，和可得m+1轮EM迭代结果：在混合模型参数极大似然估计的EM迭代算法中，似然函数是单调递增的，即，表明EM迭代过程中总能得到一个的一个极大值点。一般在给

4、定准确度之下，当时迭代停止，即得到极大似然估计的。4．.极大似然估计EM算法中成分分布数k的确定EM迭代由确定k开始并完成，对对么一个确定的k来讲，EM迭代除了给出所估计的参数外，还给出相应的对数似然函数值。1977年，Akaike根据最大熵原理得出了极大似然函数与熵之间的关系。根据这个关系，有限混合正态分布参数的极大似然估计中，确定k的最佳方案应使AIC准则最小。二、应用举例有下列一组实验数据x={26,27,26,28,29,30,30,28,29,31,31,31,31,31,31,31,31,31,31,32,32,32,32,33,33,33,33,33,33,33,33,33,3

5、3,34,34,34,34,35,36,37,38,39,34,35,35,36,36,36,36,36,36,37,37,37,37,37,38,38,38,38,38,38,38,38,38,38,38,38,38,38,38,38,38,38,38,39,39,39,39,39,39,39,39,39,39,39,39,39,39,39,39,39,39,39,39,39,42,47,45,42,47,40,47,47,44,45,45,40,47,44,43,46,40,40,46,44,46,41,42,42,41,43,43,47,43,46,44,43,42,45,40,46,

6、46,42,47,46,43,43,43,43,45,41,47,45,41,47,40,44,45,41,46,46,42,47,47,42,40,41}，样本容量为n=158，资料的折线图如下用混合正态分布分离做分析。模型为，根据上面介绍的EM迭代算法，用Mathematica实现结果如下k12345N(k)357911AIC值972.71969.409971.409978.711974.879据确定k的AIC值最小原则，k=2，即资料是两个同方差的正态分布的混合。k=2时的分布参数的极大似然估计下表所示成分（j）10.67789641.132313.959920.32210433.34

7、6613.9599由此亦可得出混合分布的密度曲线如下所示三、结束语在许多包括统计数据建模的场合，混合模型的使用已得到广泛认可，针对传统的极大似然估计解决问题的不足，人们提出了EM算法，并且这种算法应用越来越受到重视。参考文献【1】谢勤岚基于EM算法的混合模型的参数估计计算机与数字工程2006年【2】袁志发数量遗传学与QTL定位2011年【3】JimHosteMathematicaDemystified2009