基于粒子群优化的增量贝叶斯分类的研究与应用

《基于粒子群优化的增量贝叶斯分类的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第一章绪论搜索、决策树法、Relief方法和贪心算法。常用的随机方法有：LVF(LasVegasFilter)、模拟退火算法、遗传算法及其变体等【l引。增量学习越来越成为数据挖掘算法一种很重要的能力。目前有关增量学习的研究主要集中在人工智能、人脸识别和图像分类上。从20世纪80年代起，一些学者就致力于决策树算法增量学习能力的研究【14】。研究者们相继提出了ID4算法、ID5R算法、CART的增量式变体以及MSC算法。这些算法都从不同角度出发，通过更新非最佳划分因子的方法来实现决策树在新增训练集上的增量学习能力。而神经网络的增量学习，则主要是通过节点的增删和样本点的选择来实现的。因为

2、神经网络的增量学习方法的实现空间很大，很多学者都对其进行了研究。由于对贝叶斯分类器的增量学习的实现主要是，根据贝叶斯定理递归地计算两个统计量参数。因此，专门进行贝叶斯增量学习算法的研究较少。在2002年，宫秀军等人提出了一种增量式贝叶斯分类算法，在文章中提出了增量贝叶斯学习公式和修正文本序列的选择策略。此后的很多学者都基于此增量贝叶斯学习公式进行贝叶斯分类算法的增量学习能力的研究。并根据不同的研究问题特点，针对其中的修正文本选择策略存在的问题，对增量修正文本选择选择范围和序列方法进行了改进。此外，还有一些学者借助模糊集【15】、滑动窗口[16】等知识和属性加权【l7J等方法来实现贝

3、叶斯分类算法的增量学习能力。1．3存在问题分类器的构造一般包括两方面的内容：在给定的样本数据上进行模型训练；使用训练得到的模型进行分类。目前国内外有许多学者都致力于提高分类器分类精度的研究。影响分类精度的因素有很多，除分类过程所用算法本身的各性能因素外，数据的质量也是一个很重要的影响因素。数据的质量主要是指数据的完备性和是否有冗余和噪声，分类问题的挑战就在于噪音数据、动态数据和高维数据上。噪声数据会干扰训练得到正确的分类器；而数据冗余则会造成维度灾难，去除冗余数据可以降低问题的维度，快速地训练得到简明、准确的问题模型。数据的完备性是指数据反应问题的全面性程度，如果训练数据的完备性很

4、差，那么在其上训练得到的分类器就不能准确地反应数据的问题的真实模型，得到的分类器势必会有偏差。故而，如果数据的质量很差，分类规则再好，也训练不出正确的分类器。由于从自然界中得到的数据有大量的冗余和噪声，且一次获得的数据集完备性不是很好，所以训练得到具有高分类精确度的分类器的关键在于属性选择天津工业大学硕士学位论文和增量学习方法的研究上。根据属性子集的评价标准不同，可以将属性选择方法分为Filter和Wrapper两种【18】。Filter方法有较高的效率，但由于子集评价过程中没有结合学习算法，所以在其上得到的分类器难免会有偏差。Wrapper方法结合学习算法对子集进行评价，得到的分

5、类器更精确。但由于需要在子集上重复构建分类器，导致算法的时间和空间复杂度都很高【l91。如何有效地结合两者的优点是众多学者考虑搜索算法的关键所在。粒子群优化算法在这方面有很好的优势，目前主要应用在人脸识别、图像分类和光谱分析中【2⋯，在数据分类中的应用很少，尤其是直接应用于使用贝叶斯分类算法对数据进行分类的属性选择过程中。引入增量学习的目的主要是为了让学习得到的分类器更加真实的反应随时间变化的问题模型，使用新增数据样本价值较高的样本来修正当前分类器。而目前的存在的增量贝叶斯分类算法在修正样本选择范围上，多数只考虑样本在初始分类器分类预测结果的对错，而没有深入到数据质量的层面对导致分

6、类器性能提高的影响因素进行分析。1．4研究内容和研究目标本文的主要研究工作是基于贝叶斯分类方法的属性选择过程、增量学习能力的实现及其在辅助决策领域的应用进行的。因为数据的质量对贝叶斯分类算法分类性能的影响巨大，所以，一个好的属性选择策略对训练得到准确的分类器至关重要【2lJ。本文深入研究分析了属性选择过程的重要性的使用目的，并将粒子群优化算法在搜索上的优势应用到属性选择的子集搜索过程中去。通过对属性子集选择过程的抽象得到了属性选择的离散模型，并使用离散粒子群优化算法实现其最优子集的搜索。增量学习越来越成为机器学习性能优劣的重要评价参考之一。使用增量学习模型可以高效、智能地根据分批数

7、据训练得到更好、更准确的分类器【2引。本文通过对增量贝叶斯分类方法的研究，在综合已有增量修正策略的前提下，对新增训练样本数据质量对增量学习结果产生的影响进行深入全面的分析，并在此基础上提出了基于样本分类贡献度的增量修正样本选择策略。贝叶斯分类器作为一种高效的分类器广泛应用于文本分类、语言建模和web挖掘等领域【231，而其潜在的应用领域还有很多。本文对增量贝叶斯分类算法在辅助决策领域的应用进行了研究，以找到增量贝叶斯分类方法在医疗和商业分析等领域进行辅助决策的方法。本