基于边界支持向量的自适应增量支持向量机.pdf

《基于边界支持向量的自适应增量支持向量机.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第３９卷第５期西南师范大学学报（自然科学版）２０１４年５月Vol畅３９No畅５JournalofSouthwestChinaNormalUniversity（NaturalScienceEdition）May畅２０１４文章编号：１０００５４７１（２０１４）５００９５０５①基于边界支持向量的自适应增量支持向量机廖文婧贵州财经大学信息学院，贵阳５５０００４摘要：该文提出一种基于边界支持向量的自适应增量支持向量机，对每轮训练的样本集提取其边界支持向量，从而减少训练向量数目，提高训练效率．通过自适应调整参数，可以更好地适应新增样本．采用UCI（UniversityofCaliforni

2、aIrvine）机器学习数据库和Statlog数据库对本文方法进行验证，实验结果表明本文方法的训练时间优于标准支持向量机和一般增量支持向量机．其分类精度也明显优于一般增量支持向量机，在训练数据较少时，其分类精度与标准支持向量机相差不大，但随着训练数据的增加，分类精度逐渐超越标准支持向量机．该文的方法更适合大规模数据集的增量学习．关键词：数据挖掘；支持向量机；边界支持向量；自适应；增量学习中图分类号：TP181文献标志码：A数据挖掘（DataMining，DM）是从大量不完全、有噪声、模糊、随机数据库中抽取隐含的、未知的、具［１－４］有潜在应用价值的信息和知识的过程．数据挖掘作为

3、知识发现（KnowledgeDevelopmentinData，KDD）的核心内容，已成为一种重要的数据处理手段．常用的数据挖掘方法有统计分析方法、决策树法、人［５－６］工神经网络、遗传算法、粗糙集法、支持向量机等．其中，支持向量机方法是基于统计学习理论和结构风险最小原理的一种机器学习方法．根据有限样本提供的信息，在模型的复杂性和学习能力之间寻找最佳折中，获得较好的推广能力，且不存在维数灾难，泛化能力较强．对于传统的支持向量机，当出现新的样本时，需要将新样本加入原有的训练样本，对所有样本重新进行训练，不具备对以前学习结果的保持能力．而增量学习可以保留原有的学习结果，仅对新增数据

4、进行再学习，从而形成一个连续的学习过程．因此，将增量学习技术应用于支持向量机作为一种新型数据挖掘方法已经成为一个新的研究热点．但传统的增量学习方法由于迭代计算的引入，对大量新增样本的训练效率较低，且惩罚因子为固定值，不能适应所有的新增样本．本文针对传统增量学习的不足，提出边界支持向量自适应增量支持向量机，仅选取边界支持向量作为新增样本的训练样本，通过可变参数υ的自动调节以适应不同的新增样本集，减少训练时间，同时增强对新增样本的鲁棒性．1支持向量机与增量学习方法1畅1支持向量机支持向量机（SupportVectorMachine，SVM）是统计学理论中的一个核心内容，它建立在统计

5、学习理论的VC维理论和结构风险最小原理基础上，可以很好地解决模式分类问题和非线性回归问题，根据有限［７］的样本信息在模型的复杂性和学习能力之间寻求最佳的折中，以期获得最好的推广能力．n设线性可分样本集为（x１，y１），（x２，y２），⋯，xi＝R，即x是n维特征向量，yi∈｛－１，１｝为类别标①收稿日期：２０１３０７０４作者简介：廖文婧（１９８２），女，贵州贵阳人，硕士，讲师，主要从事计算机软件与理论及数据库研究．９６西南师范大学学报（自然科学版）http：／／xbbjb畅swu畅cn第３９卷号，n维空间线性判别函数的一般形式为g（x）＝·ωx＋b，分类面方程为·xω＋b＝０（

6、１）式（１）中为权向ω量，b为分类阈值．要求分类面对所有样本正确分类，就是要求它满足yi［（·xi）＋ωb］－１≥０，i＝１，２，⋯，n（２）２满足上述条件且使‖‖最小ω的分类面就成为最优分类面，使式（２）成立的样本点成为支持向量．解这个最优化问题后得到的最优分类函数为n倡倡f（x）＝sgn∑aiyi（xi·x）＋b（３）i＝１当学习样本线性不可分，但非线性可分时，可以通过非线性变换把学习样本变换到高维空间，使其在高维空间线性可分．采用核函数K（x，y）取代线性SVM中的点积（x·y）．Mercer定理指出，核函数K（x，y）通过与其相联系的非线性变换隐含地把特征向φ量映射到高

7、维特征空间，使得学习样本成为线性可分的．常用的核函数有２－‖x－xi‖径向基核函数K（x，xi）＝exp（２）２σd多项式核函数K（x，xi）＝［（x·xi）＋１］Sigmoid函数K（x，xi）＝tanh（（x·xi）＋c）α选定核函数后，最优分类函数为：n倡倡f（x）＝sgn∑aiyiK（xi·x）＋b（４）i＝１1畅2增量学习方法支持向量机的增量学习方法具体步骤如下：Step１训练初始样本集S０，得到分类器SVM０和支持向量集SV０．Step２对增量训练数据集S１，构造新的样本集S＝S