资源描述：
《模式识别结课论文》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、学号2010482026专业计算机科学与技术姓名张大鹏成绩—支持向量机在模式识别中的应用摘要：在VladimirN.VaPnik的统计学习理论基础上发展起来的支持向量机(SupporVectorMachine,SVM)是目前模式识别领域屮最先进的机器学习算法。本文对支持向量机及其在模式识别屮应用的若干问题作了研究，关键词：支持向量机；模式识别；应用一引言机器学习是现代智能技术屮的重耍方而，对样本进行训练并寻找规律，利用这些规律对未来数据或无法观测的数据进行预测是基于数据的机器学习的基本思想。统计学理论是我们而对数据而又缺乏理论模型时最基本的也是唯一的分析手段[1,2]•传
2、统统计学研究的是渐进理论，即假设样本数目无穷大，但在实际应用屮样本数目总是冇限的，一些好的基于渐进理论的学习算法在实际应用当中往往表现得并不理想，因此研究小样本的机器学习问题就具冇非常重要的实际意义。VladimirN•Vapnik等人从20世纪60年代开始就致力于研究有限样本的机器学习问题，经过几十年的研究，终于到90年代中期形成了一个较完整的理论体系,即统计学习理论(StatistiealL,earningTheory)[3].由于神经网络等学习方法在理论上难以冇实质性的进展，因此统计学习理论受到人们广泛的重视•近几年来，在统计学习理论的基础上乂发展出一种新的学习机器
3、一支持向量机(SupportveetorMaehine),它在解决小样本、非线性及高维模式识别问题屮表现出许多特有的优势•支持向量机是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据冇限的样本信息在模型的复杂性和学习能力Z间寻求最佳折衷，以获得最好的推广能力[3,4]o目前，统计学习理论和支持向量机己被越来越多地应用到模式识别领威，如手写体文字识别、人脸识别、生物识别、三维对象识别等，并取得了良好的识别效果。本文着重介绍支持向量机的基本原理、关键问题、研究状况及其在模式识别领域屮的应用，希槊今后能有更多的人研究和应用这一优秀的学习机器。二支持向量机基本方法假
4、定大小为2的训练样本集{(x,,yj,心1,2,・・・,/},由二类别组成，如果x,eRA属于第1类,则标记为正(yi=l),如果属于第2类,则标记为负(yi=-l).学习的目标是构造一判别函数，将测试数据尽可能正确地分类.针对训练样木集为线性、非线性两种情况分别讨论.线性情况如果存在分类超平面w•x+/?=0使得w・Xj+bnl，x=1,W-X.=-1,/=1,2,•••,/,⑵则称训练集是线性可分的，英屮wf表示向量weRA与xwR"的内积。式⑴和式(2)中的weRv,beR都进行了规范化,使每类样木集中与分类超平面距离最近的数据点满足式(2)的等式要求•对于式(2)
5、,可写成如下形式：yj(w-xi+b)>l,z=1,2,•••,/.(3)由统计学习理论知，如果训练样本集没冇被超平而错误分开，并月•距超平而最近的样本数据与超平面之间的距离最大，则该超平面为最优超平面(如图1所示)，由此得到的判别函数y(x)=s'初(w•X,+b)(4)其泛化能力最优，其中Cg“(・)为符号函数.最优超平面的求解需要最大化2/IIwII,即最小化-llwll2,这样可转换成如卜•的二次规划问题：2s.t.X(w•兀+b)>l,i=1,2,…丿训练样本集为线性不可分时，需引入非负松驰变量&,曰,2,...,1,分类超平面的最优化问题为1Imin?iiwi
6、i2+c&w-h/i=ls.t.y/vv-x,.+/?)>1-<^.(6)纟,>0,21,2,…,/其屮C为惩罚参数，C越大表示对错误分类的惩罚越大。采用拉格朗日乘子法求解这个具有线性约束的二次规划问题，即1IIImaxmin{L/?=-llwll2+C工&—工e[x(wx,+/?)—1+纟]一丫0丘},2心1z=ii=i$.f.05q,(7)其中e,0j为拉格朗日乘子,由此得到:dw=Otw=丫&牙兀,/=1db=OtC_%_0「=0,⑻⑼(10)将式(8)〜(10)代入式(7),得到对偶最优化问题:(11)max{"=工匕一牙工工匕女屛)”"},i=iL/=i/=iS
7、J.0<(7.
