4第四章 无约束优化方法new

《4第四章 无约束优化方法new》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第四章无约束优化方法最速下降法牛顿型方法共轭方向及共轭方向法共轭梯度法变尺度法坐标轮换法Powell法无约束优化方法是优化技术中基本的也是非常重要的内容。无约束优化问题的数学模型求上述问题最优解（x*,F*）的方法，称为无约束优化方法使用无约束优化方法，不仅可以直接求无约束优化设计问题的最优解，而且通过对无约束优化方法的研究给约束优化方法建立明确的概念、提供良好的基础·某些优化设计方法就是先把约束优化设计问题转化为无约束问题后，再直接用无约束优化方法求解。无约束优化理论研究开展得较早，构成的优化方法

2、巳很多，也比较成熟，新的方法仍在陆续出现。本章的内容与目的是讨论儿个常用无约束优化方法的基本思想、方法构成、迭代步骤以及终止准则等方面问题。在n维无约束优化方法的算法中，用函数的一阶、二价导数进行求解的算法，称为解析法，如最速下降法、共轭梯度法、牛顿法及变尺度法等;无约束优化方法总体分成两大类型:解析法或称间接法、直接搜索法或简称直接法；对于n维优化问题，如果只利用函数值求最优值的解法，称为直接搜索法，如坐标轮换法、单形替换法及Powell法等；解析法的收敛速率较高，直接法的可靠性较高。无约束优化方

3、法算法的基本过程是:从选定的某初始点x(k)出发，沿着以一定规律产生的搜索方向d(k),取适当的步长a(k),逐次搜寻函数值下降的新迭代点x(k+1),使之逐步通近最优点x*。可以把初始点x(k)、搜索方向d(k)、迭代步长a(k)称为优化方法算法的三要素。其中以搜索方向d(k)更为突出和重要，它从根本上决定若一个算法的成败、收敛速率的快慢等。所以·一个算法的搜索方向成为该优化方法的基本标志，分析、确定搜索方向d(k)是研究优化方法的最根本的任务之一。各种无约束优化方法的区别就在于确定其搜索方向d(

4、k)的方法不同。4.2最速下降法函数最速下降方向，在优化设计理论中占有重要地位。函数负梯度方向f(x)必为函数最速下降方向。按此规律，可以形成以下的迭代算法xk+1=xkkf(xk)(k=0,1,2,)由于最速下降法是以负梯度方向作为搜索方向，所以又称为梯度法。步长k应取一维搜索的最佳步长。即有求极值，得因此，最速下降法中，相邻两个迭代点上的函数梯度互相垂直。而搜索方向就是负梯度方向，因此相邻两个搜索方向互相垂直。例4-1求目标函数f(x)=x12+25x22的极小点。解：取初始点x0

5、=[2,2]T则初始点处函数值及梯度分别为沿负梯度方向进行一维搜索，有0为一维搜索最佳步长，应满足极值必要条件从而0=0.02003072并得到第一次迭代设计点位置和函数值到此完成最速下降法的第一次迭代。如是经过10次迭代，可得到最优解目标函数的等值线为一族椭圆，迭代点从x0走到最优点经过的是一段锯齿形路线。见图4-3.将目标函数f(x)=x12+25x22引入变换y1=x1,y2=5x2则函数f(x1,x2)成为(y1,y2)=y12+y22,其等值线变为一族同心圆,见图4-4。仍从x0=[

6、2,2]T即y0=[2,10]T出发进行最速下降法寻优，此时有沿负梯度方向进行一维搜索，有0为一维搜索最佳步长，可由极值条件算出0=26/52=0.5从而算得第一次走步后设/计点的位置及其相应的目标函数值为仅一次迭代即获得最优解,可见上面两个二次型中间的对角形矩阵不同。即两个二次型函数的对角形矩阵刻画了椭圆的长短轴，它们是表示度量的矩阵或者是表示尺度的矩阵。而最速下降法的收敛速度和变量尺度关系很大。在适当条件下，有M为目标函数的海赛矩阵最大特征值上界，m为最小特征值下界。对于f(x)=x12

7、+25x22，m=2,M=50可见等值线为椭圆的长短轴相差越大，收敛就越慢。对于(y1,y2)=y12+y22，m=M=2即经过一次迭代可到达极值点4.3牛顿型方法一维情况的牛顿迭代公式k+1=kf(k)/f(k)k=0,1,2,对于多元函数f(x),设xk为f(x)极小点x*的一个近似点，在xk处将f(x)进行泰勒展开，保留到二次项，得到式中---2f(xk)为函数在xk点处的海赛矩阵。设xk+1为（x）的极小点，它作为f(x)极小点x*的下一个近似点，根据极值必要条件此即

8、多元函数求极值的牛顿法迭代公式。对于二次函数f(x),上述泰勒展开式是精确的，海赛矩阵为常矩阵，从任何点出发，只需一次迭代就可找到极小点，因此本方法是二次收敛的。例4-2用牛顿法求f(x)=x12+25x22的极小点。解：取初始点x0=[2,2]T则初始点处函数梯度、海赛矩阵及其逆阵分别为代入牛顿法迭代公式，得从而经过一次迭代求得极小点x*=[00]T及函数极小值f(x*)=0.同学们可以把初始点换成x0=[4,5]T计算一下看看结果。阻尼牛顿法从牛顿法迭代公式可以看