02无约束最优化方法的基本结构
02无约束最优化方法的基本结构
1. 收敛性和收敛速度
2. 线搜索准则
2.1 精确线搜索准则
证明
令注意到由链式法则即得
2.2 非精确线搜索准则
3. 线搜索求步长
3.1 0.618方法
设是区间上的单峰函数,,选择两个点,使得其中。此时若,则,取,反之取另一区间。
此时我们需要使用相同比例缩小区间,并且使得和是重合的。此时有因此即得到。
3.2 多项式插值法
4. 信赖域方法
4.1 定义
其中定义比值
- 若接近1(),则增大()。
- 若接近0(),则缩小()。
- 若,则)。
- 若,则令,缩小,重新求解。