多核学习算法的误差分析

《多核学习算法的误差分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、湖北大学硕士学位论文多核学习算法的误差分析姓名：宋必芹申请学位级别：硕士专业：应用数学指导教师：李落清20100401中文摘要摘要常用的单核学习算法不仅无法自动实现最优核的选取，而且只能处理同～种类型数据输入的学习问题。然而，多核学习算法能够自动实现核选择的过程，对于不同的学习问题，都可以从给定核函数集里自动选择出对应的最优核进行学习，从而能提高学习算法的有效性和推广能力。并且多核学习可以用不同的核函数来分别度量各种类型数据的相似性，进而可以处理来自于不同数据源的样本学习问题。因此，近年来多核学习在理论和实践上都引起了人

2、们极大的兴趣。本文对多核学习问题的研究意义、学习模型和相依数据学习的相关背景知识和已有的理论结果进行了较为系统的论述；介绍了样本独立同分布时估计样本误差的几种常用方法。但在实际应用中，数据独立的假设是非常强或是不满足的，尤其很多数据并非是独立的观测值。所以，研究非独立(或相依)数据下的学习算法及学习机器的推广能力是非常有必要的。它不但可以丰富、完善已有的理论，而且可以为解决实际问题提供更加坚实的理论基础和合理的方法。数据从独立到非独立一个很自然的推广就是平稳混合序列，因为它具有较好的性质和应用前景：B．Yu证明了混合序列

3、被可测函数作用后，仍具有混合序列的性质；H．Kesten和G．L．Obrien给出了如何构造混合序列的例子，这使算法实现变成了可能。关于理论分析学习机器的推广能力，VC维、覆盖数和基于算法稳定性分析等方法能较容易的平行推广到混合序列样本情形。然而，基于Rademacher复杂度的方法中，McDiarmid不等式和Rademacher对称化技巧这两个关键步骤只对样本独立同分布时适用，故难以推广到样本非独立的情形。本文借用样本分块技巧和Rademacherchaos复杂度克服了上述困难，推导出了p．混合序列样本下多核正则化回

4、归算法的推广误差界。第一章介绍多核学习问题的提出、研究意义和学习模型。第二章对相依数据学习的相关背景知识和已有的理论结果进行了较为系统的论述，介绍了样本分块技巧和关于p．混合序列的重要不等式。第三章讨论样本独立同分布时，估计推广误差界的一般方法。其中，样本误差的估计转化到：界定给定函数集里任意一个函数关于样本的期望和经验均值间的偏差，这涉及到度量函数集容量的问题。本章给出了三种常用的度量方法：VC维、覆盖数和Rademacher复杂度，及相应的误差界。最后引入积分算子理论介绍了估计最小二乘回归问题的正则化误差的一般过程。

5、第四章研究p．混合序列样本下多核正则化回归算法的误差分析。基于经验风险最小化正则化算法的Rademacher-复杂度界的思想，并借用样本分块技巧，湖北大学硕士学位论文引入成熟的U-过程理论和Rademacherchaos复杂度，推导出了基于核函数集伪维的推广界，并应用迭代技巧提高了收敛速率。最后给出了一个学习的例子。第五章是对本文工作的总结和展望。关键词：多核学习：∥一混合序列；Rademacherchaos复杂度；伪维；推广误差．Ⅱ．英文摘要AbstractComparedtothetraditionalsingle—

6、kernellearningalgorithms，themulti—kernellearningalgorithmscallintegratetheprocessofselectingkernelsintothelearningalgo—rithms，namely,itcanautomaticallyselecttheoptimalkernelfromthegivencandidatekernelsetsfordifferentlearningproblems．Thereby,itCanimproveboththeval

7、id-ityandthegeneralizationofthelearning．Moreover,theintegrationofdiverseformsofinformativeinputdatabymulti—kemellearningcanprovideenhancedperformancewhencomparedtothatobtainedfromanysingledatasourcg，whichcorrespondstothesingle-kernellearning．Thus，multi—kernellear

8、ningisofgreatinterestbothintheoryandinpracticelately．Inthisthesis，wereviewthemodelofmulti—kernellearningandtherelevantback-groundoflearninginthenon—i。i．d．scena