贝叶斯核近邻分类方法研究

《贝叶斯核近邻分类方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：密级：UDC：编号：硕士学位论文贝叶斯核近邻分类方法研究论文作者：李潇潇学生类别：全日制学科门类：工学学科专业：通信与信息系统指导教师：周亚同职称：教授资助基金项目：河北自然科学基金(F2013202254)、教育部人文社会科学研究规划基金（15YJA630108）ThesisSubmittedtoHebeiUniversityofTechnologyforTheMasterDegreeofCommunicationandInformationSystemBayesiankernelneare

2、stneighborclassificationmethodbyLiXiaoxiaoSupervisor:Prof.ZhouYatongFebruary2016ThisworksupportedbyHebeiProvinceNaturalScienceFoundation(F2013202254)andMinistryofEducationofHumanityandSocialScienceResearchPlanningFoundation(15YJA630108).摘要分类方法设计是模式识别技术的

3、核心。在模式识别领域的众多分类方法中，近邻法是最基本最直观的分类方法之一。贝叶斯核近邻法（BKNN）是近邻法的一种改进，通过将贝叶斯推理与核方法同时作用于近邻法，不仅为分类结果赋予了概率意义，而且在实现参数自动选择的同时提高了分类性能。但是BKNN在计算效率和分类准确率等方面仍存在着不足。为了进一步改善BKNN的性能，本文对之展开深入研究，主要工作概述如下：(1)剪辑贝叶斯核近邻分类方法（E-BKNN）研究虽然BKNN具有诸多优势，但这种方法是以牺牲效率为代价来提升分类准确率的。为了提升计算效率，本文

4、深入分析了wilson提出的的剪辑法，并将其与贝叶斯核近邻法结合，进而构建了剪辑贝叶斯核近邻法（E-BKNN），对BKNN进行加速。E-BKNN首先使用剪辑法对样本集中类边界的混叠样本及噪声样本进行清理，以获得高质量的样本集。然后，再使用处理后的训练样本集，通过传统BKNN进行最终分类。理论分析及实验结果表明：E-BKNN与BKNN相比有两个优势：第一，由于剪辑后获得了更有利于分类的高质量训练样本集，而提高了分类准确率；第二，由于在剪辑的过程中去掉了一些样本，因此减少了分类时间与存储量，提升了计算效率

5、，增强了实用性。(2)基于最优核距离的贝叶斯核近邻分类方法（opt-BKNN）研究传统BKNN在核空间中仍然采用欧氏距离作为距离度量。但是在高维核空间中，类后验概率恒定这一假设并不成立，此外在一些实际应用场合，有效样本数量较少，使用欧式距离作为度量会导致分类性能不佳。为了解决上述问题，本文将short提出的最优距离推广至核空间，提出“最优核距离”的概念，并以此构建了基于最优核距离的贝叶斯核近邻分类（opt-BKNN）方法。opt-BKNN首先使用欧式距离确定待分类样本的一个小邻域，并在此邻域内计算最优

6、核距离，最后采用该距离度量对样本进行分类。理论分析及实验结果表明：由于opt-BKNN中使用了最优核距离度量，有效提升了分类准确率。另外opt-BKNN引入了一个待定的小邻域参数m。本文也探讨了参数m的取值规律。关键词：核近邻法；贝叶斯推理；剪辑法；最优核距离；分类方法IABSTRACTThedesignoftheclassifieristhecorepartofpatternrecognition.Therearemanyclassificationmethodofpatternrecognitio

7、n.Amongthem,nearestneighbormethodisthemostfundamentalandintuitiveclassificationmethod.Bayesiankernelnearestneighbormethod(BKNN),whichappliedbayesianinferenceandkernelmethodtonearestneighbormethodmeanwhile,isanimprovedmethodbasedonnearestneighbormethod.B

8、KNNalgorithmgavetheresultsofprobabilisticsense,completedtheautomaticselectionoftheparameters,andimprovedclassificationperformance.InordertoMakeupthedefectsofBayesiankernelnearestneighbormethodandenhancetheclassificationaccuracyof