bp神经网络训练算法及其应用研究

《bp神经网络训练算法及其应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、工学博士学位论文BP神经网络训练算法及其应用研究杨博哈尔滨工业大学2006年10月图书分类号：TP183U.D.C.:681.39工学博士学位论文BP神经网络训练算法及其应用研究博士研究生：杨博导师：唐降龙教授副导师：王亚东教授申请学位级别：工学博士学科、专业：计算机应用技术所在单位：计算机科学与技术学院答辩日期：2006年10月授予学位单位：哈尔滨工业大学ClassifiedIndex：TP183U.D.C.:681.39ADissertationfortheDoctoralDegreeinEngineer

2、ingResearchontheBPNeuralNetworkandItsApplicationsCandidate：YangBoSupervisor：Prof.TangXianglongAssociateSupervisor：Prof.WangYadongAcademicDegreeAppliedfor：DoctorofEngineeringSpecialty：ComputerApplicationDateofOralExamination：October,2006University：HarbinInst

3、ituteofTechnology摘要摘要基于BP学习算法（Back-PropagationAlgorithm）的多层前馈型人工神经网络（BP神经网络）及其变形，是当前应用十分广泛的神经网络模型，在诸如模式分类，预测以及模式识别等实际问题方面显示出了强大的求解能力。然而，BP神经网络训练方法在实际应用过程中还存在着学习收敛速度慢，易陷入局部最优，训练失败率高和大规模数据训练耗时的问题。一方面，本文通过分析传统BP算法的优缺点，结合其它领域的技术和理论，提出各种改进算法。另一方面，通过对应用问题的特征分析，结合

4、BP神经网络的特点，提出新的解决基因调控网络重构的方法。并重点研究了BP神经网络训练方法对大规模生物信息数据处理的问题，最后将研究成果应用于蛋白质二级结构预测问题和基因调控网络重构的问题求解上。本论文的主要研究内容如下所述：提出了基于反馈误差放大的神经网络学习算法，该算法能够使神经网络在训练过程中尽量少的受饱和区域的影响，快速向期望精度方向收敛。同时，通过引入口袋算法，保证了该算法的收敛性。实验结果显示，该算法可使结构简单的神经网络快速向尽可能高的精度收敛，在提高收敛速度的同时，避免了通过增加网络复杂性来提高

5、收敛精度所引起的网络泛化能力下降的问题。在误差放大学习算法的研究基础上，通过结合改进的遗传算法，提出了基于注意力模型的混合学习算法来提高神经网络的训练成功率。其中，为了更好的利用遗传算法的寻优特性，我们结合自然界中的进化稳定策略改进了传统的遗传算法，以提高遗传算法向全局最优解收敛的性能，有效改善了遗传算法易陷入局部最优区域的问题。建立了神经网络分布式训练平台，并提出了基于切片思想的分布式学习算法。借助数据分布与阶段式训练来解决BP神经网络处理大数据集时训练耗时过长的问题。在引入了基于切片思想的分布式学习算法之

6、后，这种分布式训练策略能有效提高神经网络的训练效率和成功率，使之更适于解决具有大规模训练数据的实际应用问题。针对基因表达数据噪声多，样本少和高度多维的特性，提出了数据片断-I-哈尔滨工业大学工学博士学位论文模式分析的基因调控网络建模方法。通过提取时序数据片断中的模式来降低噪声对基因间调控关系分析的影响，并使用秩相关分析来进一步提高对噪声的鲁棒性。在此基础上，我们借助对神经网络混合学习算法的研究，针对基因调控时延和联合调控的特性，提出了基于片断模式的基因网络建模方法。在真实的酵母基因时序表达数据，Cdc28数据

7、集上的实验分析结果表明，由于该方法能较好的保持原始数据的信息，屏蔽了部分噪声的影响，从而在基因网络的重构上具有良好的鲁棒性。更重要的是，该方法能有效提取出基因间的调控时延信息，且更有利于多基因联合调控关系的分析。关键词多层人工神经网络；遗传算法；分布式学习算法；基因调控网络；蛋白质结构预测-II-AbstractAbstractMultilayerartificialneuralnetworkbasedonback-propagationalgorithm(back-propagationneuralnetw

8、ork,BPNN)isaveryusefulcomputingmodel.ManyversionsofBPNNhavebeenintroducedandappliedtovariousapplications,suchasclassification,predictionandpatternrecognition.However,therearesomelimitationsofBPNNneeded