最新判别分析(3)贝叶斯判别教学讲义ppt.ppt

《最新判别分析(3)贝叶斯判别教学讲义ppt.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、判别分析(3)贝叶斯判别距离判别只要求知道总体的特征量(即参数)---均值和协差阵,不涉及总体的分布类型.当参数未知时,就用样本均值和样本协差阵来估计.距离判别方法简单,结论明确,是很实用的方法.但该方法也有缺点:1.该判别法与各总体出现的机会大小(先验概率)完全无关;2.判别方法没有考虑错判造成的损失,这是不合理的.Bayes判别法正是为解决这两方面问题而提出的判别方法.贝叶斯（Bayes）判别Bayes的统计思想总是假定对所研究的对象已有一定的认识,常用先验概率分布来描述这种认识.然后我们抽取一个样本,用样本来修正已有的认识(先验概率分布)，得到后验概率分布.各种统计推断都通过后验概率分

2、布来进行.将贝叶斯思想用于判别分析就得到贝叶斯判别法.§4.3.1贝叶斯准则问题：待判样品X属于哪一类？？判别方法是，先由贝叶斯准则计算待判样品　来自个总体的条件概率（也称后验概率）为（4.18）式中，　——归入第总体的先验概率，　　时为　。未知§4.3.1贝叶斯准则问题：待判样品X属于哪一类？？对于诸总体，显然分母（全概率）都是相同的，因此只要比较式分子的大小，即可判断条件概率的大小，进而对待判样品作出归类。则X属于第t个总体。§4.3.1贝叶斯准则不妨设，则待判样品　就归入第　类总体　。因此式（4.19）称为判别函数，按照条件概率最大进行归类的准则，称为贝叶斯判别准则。在式（4.19）

3、中，为了给出判别函数的具体表达式，下面以　服从多元正态分布情况来讨论。设　是第　类总体第个样品第个变量的观测值，且各总体样品都是相互独立的正态随机向量，即§4.3.1判别函数在该假设条件下，由于　　　均未知，为此我们可根据第　总体的样品数据，计算出总体的样本均值　及总体样本的协方差矩阵　　，用　　　作为总体　　　的估计。由统计理论知，式中，——第类总体样品均值向量。——总体第个变量均值（）§4.3.1判别函数——称为总体组内方差—协方差矩阵，式中，此时，均为已知，总体的密度函数可表为§4.3.1判别函数这里，为矩阵的逆矩阵的行列式。上式表明是一个具体已确定的函数。下面的问题是要确定式（4.1

4、9）中的先验概率，对于的确定，实际应用中常用其频率来估计，即。由此式（4.19）完全确定，于是可以进行判别归类，为了计算方便，我们对式（4.19）进行化简，即对式（4.19）取对数，§4.3.1判别函数对式中的同类项合并，去掉与分组无关的项。并令故上式可写成（4.20）令§4.3.1判别函数式中，这里为矩阵中的元素。于是最终得化简后的类总体的判别函数为（）（4.21）§4.3.1判别函数§4.3.2判别效果的检验建立个总体的判别函数后，这些判别函数的判别效果如何需要检验。在实际应用中，可将已知类别的样品代入判别函数进行回判。如果判对率在75％以上，则认为判别函数有效，其常用的公式为此外，还可

5、采用统计方法对判别函数效果进行检验。对于判别函数的显著检验，我们可用马氏距离来检验总体间差异是否显著。若总体间差异不显著，显然建立在各总体基础之上的判别函数用于归类其结果就不可靠。马氏距离的计算公式如下：（4.22）应用统计量对于给定水平查分布表得其临界值。如果求得的，则说明总体与总体间差异显著，两总体的判别函数效果明显，否则为不显著。§4.3.3待判样品的归类在建立了总体的判别函数且通过对各总体的判别函数显著性检验后，若判别函数效果明显，我们就可用其进行归类识别，其方法是将待判样品代入判别函数式（4.21），计算它归入每个类的判别函数值（），然后选出则将就归入第类。实际应用中，常常还需要知

6、道待判样品归入第几类的概率，可以用下式计算：（4.23）对式（4.23）两边取对数，并注意到：在式（4.23）中的分子、分母用它的反对数代替，并不影响归类效果，故式（4.23）可表为计算时为避免产生计算“溢出”现象，上式可改为（4.24）用计算出的概率大小判别样品的归属，只要选中的最大的那个相应的类即可。§4.3.4线性判别分析计算程序程序说明1．ff1data——Matlabdatafile（Mat文件），存放原始数据矩阵trainingm×n、向量group1×n和待检测矩阵sample；2．class=classify（sample,training,group）——线性判别分析函数(

7、1)class＝classify（sample，training，group）指定sample数据的每的每一行到训练集training指定的一个类中。sample和training必须具有相同的列数。（2）group向量包含从1到组数的正整数，它指明训练集中的每一行属于哪一个类。group和training必须具有相同的行数。（3）返回class，它是一个与sample具有相同行数的向量。class的每一个元