资源描述：
《bp算法改进应用》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、BP算法及其改进应用0引肯神经网络(NeuralNetworks,简称NN)是由大量的、简单的处理单元(简称为神经元)广泛的相互连接而成的复杂网络系统，它反映了人脑功能的许多基本特性，是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、光计算、分子生物学等有关，是一
2、门新兴的边缘交叉学科。1986Rumelhart和McCelland等人提出并行分布处理(PDP)的理论，同时提出了多层网络的误差反向传播学习算法，简称BP算法。这种算法根据学习的误差大小，把学习的结果反馈到中间层次的隐单元，改变它的权系数矩阵，从而达到预期的学习目的，解决了多层网络的学习问题。BP算法从实践上证明神经网络的运算能力很强，可以完成许多学习任务，解决许多具体问题。BP网络是迄今为止最常用、最普通的网络。1基于BP算法的多层前馈模型1.1数学模型其网络结构如图1所示yQ22Q、、二-二
3、9直三图1BP网络结构模型的数学表达如下：输入向量：X=(“,兀2,…，石，…，勺)隐层输出向量：Y=⑶，力,…,片,…,ym)T输出层输出向量:O=(o,O2，・・・,Ok，・・・,o"T期望输出向量：d=(〃i，〃2,…,心,•••,〃/)丁输入层到隐层之间的权值矩阵：V=(V1,V2,...,VJ,...,VW)隐层到输出层Z间的权值矩阵：W=(W1,W9,...,VK,...,W/)mneh=E^/^/j"k=1,2,...,/(1-2)对于隐层：yj=f（netj）j=l,2,...,
4、fn(1-3)nnetJ=DijXii=0j=1,2,...,加(1-4)其中，/（•）为单极性Sigmoid函数f(x)=-1或双极性Sigmoid函数k=1,2,…」(1-1)1+w1.2各层计算对于输出层：ok=f（netk）/w=2BP学习算法2.1网络误差与权值调整输出误差E定义:E=-（d-o）2=~Y（dk-ok）222k=［将以上误差定义式展开至隐层：1/1/mE=-^lk-f（netk）］2=工［如-2k=l2k=y=01zm进一步展开至输入层：£=工｛心-/［工耳汀（呦/）］
5、｝22k=lj=0]Imn=-/[工Wj汀(为叫产•)1}22k={j=0i=0j=1,2,...,/d£(1-5)(1-6)(1-7)(1-8)i=0」,…屮;j=12・・・N(1-9)式中负号表示梯度下降，常数ne（o,i）表示比例系数。在全部推导过程中，对输出层有)=0,1,・・・,加;k=1,2,・・・,Z对隐层有z=0,1,...,/?;j=1,2,...,m2.2算法推导对于输出层式（1-8）,可以写成：△⑷孙-异E~n叫3wjk(MO)对于隐层式（1-9）,可以写成：△切二-“uVy
6、dnetjdv^"ij对输岀层和隐层各定义一个误差信号，令综合利用上式可得权值调整为：Awjk=7]^yj(1-11)(1-12)(1-13)(1-14)(1-15)可以看出，只要计算出式（1-14）.式（1・15）中的误差信号》。和/〉'，权值调整量的计算推导即可完成。下面继续推导如何求误差信号^和莎丫。(1-16)对于输岀层，尸可展开为：殒=-且二二-竺单丄二-竺广（必以）dnctdoidncti，doi，(1-17)对于隐层，歹可展开为：叭=-=-学学二=-学广（呦•）7dnetjdyjdn
7、et；dyj对式（1・5）求各阶偏导数可得：#=-（如-仪）°。k(1-18)1/m对于隐层有：£=工[心-/(2＞伙*)]22kmj=odF/故可得：-—=-工9丘-oJf叫)wjkdyjk=(1-19)(1-20)将上式代入（1・16）,并利用单极性Sigmoid函数=-可得:说=(蘇-ok)ok(l-ok)(1-21)II必=[工⑷:-乞）fgtk）Wjk]f（netj）=（为说WjkQj（ly）k=k=将式（1・21）、（1-22）代入式（1・14）、（1-15）可得三层前馈网的BP
8、学习算法权值调整的计算公式为：=曲yj=〃（办一ok）ok（1-ok）yj(1-22)(1-23)Zj=码Xi=〃(工风wQj(1-yj)Xi(1-24)k=i3基于BP的多层前馈网的主要能力、局限性及改进3.1主要能力(1)非线性映射能力多层前馈网能学习和存贮大量输入■输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。(2)泛化能力当向网络输入训练时未曾见过的非样本数
