基于稳健性改进的极限学习机回归算法研究

《基于稳健性改进的极限学习机回归算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码10530学号201510171807分类号TP391密级公开硕士学位论文基于稳健性改进的极限学习机回归算法研究学位申请人蔡伟彪指导教师李枚毅教授学院名称信息工程学院学科专业计算机科学与技术研究方向机器学习与人工智能二〇一八年五月ResearchonRegressionAlgorithmofExtremeLearningMachineBasedonRobustImprovementCandidateCaiweibiaoSupervisorProf.LiMeiyiCollegeInstituteofInformationEngineeringProgramComputerScienc

2、eandTechnologySpecializationMachinelearningandartificialintelligenceDegreeMasterofEngineeringUniversityXiangtanUniversityDateMay,2018湘潭大学硕士毕业论文摘要摘要标准极限学习机是一种具有拟合能力强、模型结构简单、泛化性能好和学习速度快等优点的神经网络。这使得它近年来得到了国内外诸多研究者的重点研究和应用。但标准极限学习机也仍然存在着一些缺点，例如在对ELM模型进行训练的过程中，当隐含层设计阵列与列之间存在多重共线性关系时，即隐含层设计阵呈现病态，会导致ELM模

3、型泛化性能和稳健性变差。针对这一情况，许多学者提出一些改进算法，如岭回归极限学习机，基于主成分估计的极限学习机。本文在岭回归ELM算法的基础上，对ELM模型的网络结构和算法进行了分析和研究，提出了一种基于条件指数和方差分解比的极限学习机回归算法(CV-ELM)。本文主要从下列几个方向开展了研究工作：(1)对极限学习机的发展背景、现实意义和国内外研究现状进行了简要的介绍，对标准极限学习机和多种基于稳健性改进的极限学习机，如岭回归极限学习(RELM)和基于主成分估计的极限学习机(PC-ELM)的理论进行了介绍和分析，重点分析了标准ELM、RELM和PC-ELM等算法的缺点与不足。(2)通过对标

4、准ELM和基于稳健性改进的极限学习机的算法流程的分析，本文提出了一种基于条件指数和方差分解比的极限学习机回归算法。该算法首先利用条件指数和方差分解比对模型的隐含层设计阵进行了预处理，分离出了设计矩阵中的干扰项，再利用岭参数对干扰项进行加权，最后通过最小二乘估计方法计算获得输出权重的值。实验结果表明，该方法靶向针对干扰项进行处理，避免了岭回归方法对设计矩阵中的非干扰项造成影响，并且保证CV-ELM与岭回归极限学习机稳健性相当的情况下，CV-ELM的训练精度有了一定的提升。为了验证CV-ELM算法稳健性和泛化性能，本文在不同规模的回归数据集上进行了多次较充分的比较实验。(3)ELM算法获得广泛

5、运用的部分原因在于其输入权重和隐层偏置是随机生成的，CV-ELM算法也继承了标准极限学习机的这个特点，但这样会导致CV-ELM算法的稳健性变差。为了克服CV-ELM的这一缺点，本文引进集成学习方法，提出了一种基于集成学习的CV-ELM回归算法(ECV-ELM)。该方法先利用集成学习方法产生多个子CV-ELM学习器，再通过平均法对最优的一组子学习器进行集成，从而获得好的网络模型。实验结果表明，ECV-ELM算法可以使若干个子CV-ELM学习器之间产生互补，从而使得模型的泛化性能和稳健性得到了提升，并且集成的子学习器的数目并不是越多越好。关键字：极限学习机；主成分估计；岭回归估计；条件指数；方

6、差分解比；集成学习I湘潭大学硕士毕业论文摘要湘潭大学硕士毕业论文AbstractAbstractThestandardextremelearningmachineisaneuralnetworkwithstrongfittingability,simplemodelstructure,goodgeneralizationperformance,andfastlearningspeed.Ithasbeenwidelystudiedandappliedbymanydomesticandforeignscholarsinrecentyears.HoweverthestandardELMalgor

7、ithmalsohassomeshortcomings.IntheprocessoftrainingtheELMmodel,whenthereismulticollinearitybetweenthecolumnandthecolumnofthehiddenlayerdesignmatrix,thehiddenlayerdesignmatrixwillpresentamorbidcondition,whichleadst