第四章 无约束优化方法.ppt

《第四章 无约束优化方法.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章无约束优化方法§4-1概述§4-2最速下降法（梯度法）§4-3牛顿类方法§4-4坐标轮换法§4-5鲍威尔方法§4-6共轭梯度法§4-1概述第一章所列举的机械优化设计问题，都是在一定的限制条件下追求某一指标为最小，它们都属于约束优化问题。工程问题大都如此。为什么要研究无约束优化问题?（1）有些实际问题，其数学模型本身就是一个无约束优化问题。（2）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。（3）约束优化问题的求解可以通过一系列无约束优化方法来达到。所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。（4）对于多维无约束问

2、题来说，古典极值理论中令一阶导数为零，但要求二阶可微，且要判断海赛矩阵为正定才能求得极小点，这种方法有理论意义，但无实用价值。和一维问题一样，若多元函数F(X)不可微，亦无法求解。重点介绍求解无约束优化问题常用的数值解法。目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。无约束优化问题：求n维设计变量使目标函数在本章中，我们将重点介绍求解无约束优化问题常用的数值解法。搜索类方法的基本思想是从某一给定的初始点x0开始，沿给定的搜索方向s0进行搜索，确定步长a0使函数值沿s0下降最大（或达到给定的值）。此类方法的迭代格式如下：可见，给

3、定方向sk后，多维无约束的优化设计问题，就变成了一维优化设计问题，用前面所讲的一维优化设计方法进行步长寻优，可求出其最优点。不同搜索类无约束优化方法的区别就是在于确定其搜索方向sk的方法不同，搜索方向的构成问题是该类无约束优化方法的关键。(1)间接法——要使用导数信息，如梯度法、牛顿类方法、共轭梯度法等。间接法除要计算目标函数值外，还要计算目标函数的梯度，有的还要计算其Hessian矩阵。（2）直接法——不使用导数信息，如坐标轮换法、鲍威尔法等。直接法寻找极小点，不必求函数的导数，只要计算目标函数值。这类方法较适用于解决变量个数较少的（n≤20）问题，一般

4、情况下比间接法效率低。根据构成搜索方向使用信息性质不同，无约束优化方法分两类：§4-2最速下降法（梯度法）基本思想：目标函数负梯度向量方向代表最速下降方向，因此选择负梯度向量方向作为搜索方向，期望很快找到最优点。利用负梯度作为搜索方向，故称最速下降法或梯度法。搜索方向将n维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题。则为了使目标函数值沿搜索方向能够获得最大的下降值，其步长因子应取一维搜索的最佳步长。即有根据一元函数极值的必要条件和复合函数求导公式，得在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。而搜索方向就是负梯度方向，因此相邻两个搜索方向

5、互相垂直。这就是说在迭代点向函数极小点靠近的过程，走的是曲折的路线。形成“之”字形的锯齿现象，而且越接近极小点锯齿越细。从整体上看则走了许多弯路，因此函数的下降速度并不算快。图4-1最速下降法的搜索路径图4-2最速下降法的迭代过程沿负梯度方向进行一维搜索，有为一维搜索最佳步长，应满足极值必要条件例4-1求目标函数的极小点。取初始点解:初始点处函数值及梯度分别为（最速下降法）算出一维搜索最佳步长第一次迭代设计点位置和函数值继续作下去，经10次迭代后，得到最优解这个问题的目标函数的等值线为一簇椭圆,迭代点从走的是一段锯齿形路线，见图4-3。11图4-3等值线为

6、一簇椭圆将上例中目标函数引入变换其等值线由椭圆变成一簇同心圆。变换出发最速下降法寻优。此时：沿负梯度方向进行一维搜索：则函数变为：y1=x1,y2=5x2为一维搜索最佳步长，可由极值条件算出从而得出第一次搜索后设计点的位置及相应的目标函数值为：可见经过坐标变换后，只需经过一次迭代，就可找到最优解，。比较以上两种函数形式我们可以发现，其等值线越接近于同心圆族，用梯度法收敛的速度也就越快。如果其等值线不是圆族，则：在远离极值点时，梯度法的收敛速度较快，在靠近极值点时，梯度法的收敛速度较慢。图4-3最速下降法的程序框图最速下降法的特点:1迭代过程简单，对初始点的

7、选择要求不高。2梯度方向目标函数值下降迅速只是个局部性质，从整体来看，不一定是收敛最快的方向。3以二维二次函数为例，相邻两次的搜索方向是正交的，所以搜索路径是曲折的锯齿形的；4对于高维的非线性函数，接近极值点处，容易陷入稳定的锯齿形搜索路径；5在远离极小点时逼近速度较快，而在接近极小点时逼近速度较慢。§4-3牛顿类方法基本思想：最速下降法只使用了函数一阶导数的信息，在极值点附近收敛较慢，如果利用二次导数的信息，在极值点附近进行寻优，应该有更快的收敛速度。一.牛顿法（二阶梯度法）：将f(x)在x(k)点作Taylor展开，取二次函数式Φ(x)作为近似函数,以

8、Φ(x)的极小值点作为f(x)的近似极小值点。说明：这就是多元函数