资源描述：
《一、非参数经验贝叶斯估计.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、一、非参数经验贝叶斯估计二、参数经验贝叶斯估计第3.4节 经验贝叶斯估计0、背景与意义贝叶斯估计存在的问题：先验分布的确定如何客观地确定先验分布？根据历史资料数据（即经验）确定该问题的先验分布，其对应的贝叶斯估计称为经验贝叶斯估计.该方法是由Robbins在1955年提出的.经验贝叶斯估计分类（共两类）非参数经验贝叶斯估计参数经验贝叶斯估计一、非参数经验贝叶斯估计例1（p109例3.20)1、问题引入如果先验分布G(x)未知，该如何计算？2、经验贝叶斯决策函数当先验分布未知时，如何利用历史资料（经验资料）定义3.11的信息得
2、到最优贝叶斯估计？使得上式达到最小的决策函数为经验贝叶斯决策函数定义渐近最优贝叶斯决策函数例2(续例p109例3.20)例3(p110例3.21)由这两个例子可以看到，经验贝叶斯估计一方面依赖贝叶斯估计理论，同时也依赖于非参数估计方法。定理4.1则是共轭先验分布族，其中二、参数经验贝叶斯估计例4(p126例4.10)解其似然函数为显然此共轭分布族为分布的子族，因而，两点分布的共轭先验分布族为分布.常见共轭先验分布倒分布方差²正态分布（均值已知）正态分布N(,²)均值正态分布（方差已知）分布()均值的倒数
3、指数分布分布()均值泊松分布分布(,)成功概率p二项分布共轭先验分布参数总体分布二、参数经验贝叶斯估计由第一小节内容可知，给定损失函数以后，风险函数定义为此积分仍为的函数，在给定的先验分布()时，定义为决策函数d在给定先验分布()下的贝叶斯风险，简称为d的贝叶斯风险.1、贝叶斯风险的定义2、贝叶斯风险的计算当X与都是连续性随机变量时，贝叶斯风险为当X与都是离散型随机变量时，贝叶斯风险为注由上述计算可以看出，贝叶斯风险为计算两次期望值得到,即此风险大小只与决策函数d有关，而不再依赖参数.因
4、此以此来衡量决策函数优良性更合理1、贝叶斯点估计定义4.6若总体X的分布函数F(x,)中参数为随机变量，()为的先验分布，若决策函数类D中存在一个决策函数使得对决策函数类中的任一决策函数均有注1、贝叶斯估计是使贝叶斯风险达到最小的决策函数.2、不同的先验分布，对应不同的贝叶斯估计2、贝叶斯点估计的计算平方损失下的贝叶斯估计定理4.2设的先验分布为()和损失函数为则的贝叶斯估计为证首先对贝叶斯风险做变换又因为又因为则因而定理4.3设的先验分布为()和损失函数为加权平方损失则的贝叶斯估计为证明略，此证明
5、定理4.2的证明类似.定理4.4设参数为随机向量，先验分布为()和损失函数为二次损失函数注其中Q为正定矩阵，则的贝叶斯估计为后验分布h(
6、x)的均值向量，即定理表明，正定二次损失下，的贝叶斯估计不受正定矩阵Q的选取干扰，表现出其稳健性.证在二次损失下，任一个决策函数向量d(x)=其中第二项为常数，而第一项非负，因而只需当定义4.7设d=d(x)为决策函数类D中任一决策函数，损失函数为L(,d(x)),则L(,d(x)),对后验分布h(
7、x)的数学期望称为后验风险，记为注如果存在一个决策函数，使得则称此决策为
8、后验风险准则下的最优决策函数，或称为贝叶斯（后验型）决策函数。定理4.5对给定的统计决策问题(包含先验分布给定的情形）和决策函数类D,当贝叶斯风险满足如下条件：定理表明：如果决策函数使得贝叶斯风险最小，此决策函数也使得后验风险最小，反之，也成立.证明从略定理4.6设的先验分布为()和损失函数为证则的贝叶斯估计为设m为h(
9、x)的中位数，又设d=d(x)为的另一估计，为确定期间，先设d>m,由绝对损失函数的定义可得又由于则由于m是中位数，因而则有于是，当d>m时同理可证，当d10、)和损失函数为则的贝叶斯估计为证首先计算任一决策函数d(x)的后验风险为了得到R(d
11、x)的极小值，关于等式两边求导：即则例5(p131例4.11)设总体X服从两点分布B(1,p),其中参数p未知，而p在[0,1]上服从均匀分布，样本试求参数p的贝叶斯估计与贝叶斯风险?解平方损失下的贝叶斯估计为：而其贝叶斯风险为又因为则所以例6(p133例4.12)设总体X服从正态分布N(,1),其中参数未知，而服从标准正态布在N(0,1)，样本试求参数的贝叶斯估计?解平方损失下的贝叶斯估计为：而化简得例7(p134例4.13)
12、设总体X服从均匀分布U(0,),其中参数未知，而服从pareto分布，其分布函数与密度函数分别为试求参数的贝叶斯估计?解根据定理4.6可知，绝对值损失对应的贝叶斯估计为后验分布的中位数,即则根据定理4.4可知，平方损失对应的贝叶斯估计为后验分布的均值,即例8(p135例4.14)设
