基于kernel的数据学习算法研究

《基于kernel的数据学习算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号UDC密级编号浙江大学博士后研究报告基于Kernel的数据学习算法研究刘仰光合作导师何钦铭教授工作完成日期2004年7月一2006年5月报告提交日期2006年5月浙江大学(杭州)2006年5月摘要学习算法的目标是寻找最小化风险泛函的最优函数及其参数集合。通常选择最小化训练集合上的误差的经验风险最小化原则。统计学习理论给出了另外一种学习原则：结构化风险最小化原则。支持向量机实现了结构风险最小化原则，而其主要特点就是使用Kernel技巧，本报告从以下几个方面研究了基’T-Kernel的学习算法：首先，我们研究构造正定核函数的方

2、法及基于Kernel的马氏距离判别分析。给出了用正定核函数的已有的性质构造连续论域上的正定核函数的方法。提出了一种基于正定核函数的马氏距离判别实现方法。通过使用Kernel技巧实现存高维的Kernel特征空间中有效地计算马氏距离。对二元分类问题而言，组内方差相等时，马氏距离确定的判别轨迹与基于Kernel的费舍尔判别函数平行，并且通过特征空间中两类均值之间的中点。大景的模拟实验显示了该方法的有效性。其次，提出一种新的支持向量机的更新算法并讨论其性质，给出了相应的实验结果。该过程是使用标准的支持向量算法得到初始的概念，然后利用文中

3、提出的概念更新方法，即求解一个类似标准支持向虽机算法的凸二次规划问题。更新模型具有与标准支持向量机类似的数学形式，能够得到解的稀疏表示；无需额外的计算就可以返回上一步：还能用于估计表达问题所需的样本的数量。然后，我们提出了基于极小极大概率机的多类别分类算法。我们利用最小最大概率机的概率信息和样本间隔信息构造各个分类器在结果合成阶段的权重，克服了以往绝大多数算法在合成阶段仅仅依靠投票数量来进行决策和分类器权重均等的不足。扩展了弱分类器的概念，利用弱化的分类器来减少迭代次数，这样在类别数量较大时可以大量减少迭代次数；而在结果合成阶段

4、利用非线性映射提升整体分类性能。最后，我们研究了函数型数据的表达以及函数型主成分分析方法，然后利用支持向量机实现了曲线的分类。关键词：统训学习理论，支持向量机，马氏距离，概念更新，极小极大概率机函数型数据分析AbstractThegoalforlearningalgorithmistofindthefunctionanditsparametersml’nn‘nl—zmgtherisk．UsuallythetrainingerroriSminimizedviatheempiricalriskminimizationprincipl

5、e．Alternatively，thestructuralriskminimizationisproposedinstatisticallearningtheory．Supportvectormachineapproximatelyimplementstructuralriskminimizationprinciple．Themainideaisthatkerneltrickisusedtoprojecttheinputdataintoanimplicitfeaturespace．Wediscusskernel-basedlea

6、rningalgorithmasfollowing：Firstly，wediscussthemethodstoconstructpositivefunctionalkernelandproposedkernel—basedMahalanobisdistancediscriminant．ThemainingredientisthekerneltrickwhichallowstheeffieientcomputationofMahalanobis’Sdistanceinkernelfeaturespace．Fortwogroupdi

7、scriminant，thelocusofpointsspecifiedbyMahalanobis’SmethodisthesetofallpointsperpendiculartokernelFisher’8discriminantflmctioncoefficients，crossingthediscriminantfunctionaxisatthemidpointbetweenthetwogroupmeanscoreswhenwithin—groupvariancesareequal．Secondly,weapplySup

8、portVectorMachine(SVM)totheconceptupdatingprocedure．Ifinitialconceptwouldbebuiltupbyinductivealgorithm．thencon—ceptupdatedisthenorm