基于局部权值阈值调整的bp 算法的研究

《基于局部权值阈值调整的bp 算法的研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于局部权值阈值调整的BP算法的研究刘彩红作者简介：刘彩红(1980-)，女，陕西人，硕士研究生，研究方向为人工神经网络及其应用。Email:rainbow_dd@sohu.com手机：13609250662；(西安工业大学北方信息工程学院，西安)摘要：（目的）本文针对BP算法收敛速度慢的问题，提出一种基于局部权值阈值调整的BP算法。（方法）该算法结合生物神经元学习与记忆形成的特点，针对特定的训练样本，只激发网络中的部分神经元以产生相应的输出，而未被激发的神经元产生的输出则与目标输出相差较大，那么我们

2、就需要对未被激发的神经元权值阈值进行调整。所以本论文提出的算法是对局部神经元权值阈值的调整，而不是传统的BP算法需要对所有神经元权值阈值进行调整，（结果）通过实验表明这样有助于加快网络的学习速度。关键词：BP神经网络，学习算法，距离，权值阈值调整TheStudyofBPAlgorithmBasedonaPartialAdjustmentofWeightandThresholdValueLIUCai-hong(Xi’anTechnologicalUniversityNorthInstituteofInf

3、ormationEngineering，Xi’anChina)Abstract:ThepaperproposedaBPalgorithmbasedonapartialadjustmentoftheweightandthresholdvalue.Accordingtothecharacteristicsofbiologicalneuroninlearningandmemoryformation,onlysomeneuronswerestimulatedtoproducetheoutputforthesp

4、ecifictrainingsamples,whiletheotherpartoftheneuronsweren’tstimulated.Therearelargedifferencebetweenthispartoftheneuron’soutputandtarget,andthenweneedthispartneuronsweightandthresholdvaluetoadjust.Thereforethealgorithmproposedinthispaperonlyadjusttheweig

5、htandthethresholdvalueofthelocalneurons,andthiscanacceleratethelearningspeedofthenetwork.Keywords:BPNeuralNetwork,LearningAlgorithm,,Distance,WeightandThresholdAdjustment1引言传统BP（BackPropagation）算法的性能依赖于初始条件，学习速度慢，学习过程易陷入局部极小。近年来，人们根据实际应用的需要对传统BP算法做了许多改进

6、，主要有采用自适应学习率、与遗传算法结合[1-2]和可调隐层结构[3-4]等，这些方法在一定程度上优化了BP算法。但以往大多改进算法，在误差的反向传播阶段也就是训练的第二阶段，是对所有神经元的权值阈值都进行修改的。针对不同的输入，神经网络激发不同的神经元，所以可以在训练的第二阶段修改部分神经元的权值阈值。2基于局部权值阈值调整算法的改进思想本文提出的算法结合生物神经元学习与记忆形成的特点[5]，针对特定的训练样本，只激发网络中的部分神经元以产生相应的输出，而未被激发的神经元产生的输出则与目标输出相差较

7、大，那么我们就需要对未被激发的神经元的权值阈值进行调整。所以本文提出的算法中对隐层神经元权值阈值的调整就只是对未被激发的隐层神经元，而不是传统的BP算法需要对所有隐层神经元进行调整。神经网络学习的过程，实际上是根据一定的学习算法调节网络中各连接权值的过程。这是因为，神经网络是通过神经元之间的连接，来存储信息或知识的[6]。也就是说，神经网络学习得到的知识是存储在连接权上的。那么，可以通过训练样本和神经元权值之间的关系，来确定该神经元是否被这些特定的训练样本所激发，从而可以得知网络每次学习过程中需要调节

8、哪一部分神经元。3提出的改进BP算法3.1提出的算法描述本文提出的改进BP算法具体描述如下：（1）所有的输入层神经元无条件为获胜神经元。（2）隐层的神经元之间进行竞争。考察输入向量和隐层神经元与输入层的权值即之间的关系，关系较远的隐层神经元未被激发。因为关系较远，说明神经元记忆的内容与输入向量之间的差距较大，则它的输出值就会和目标值有所偏离，所以需要调整与它相连的权值阈值，那么该神经元就是竞争获胜的隐层神经元。（3）所有的输出层神经元无条件为获胜神经元。