05无约束优化-最小二乘法

Lingfeng2024-11-09

05无约束优化-最小二乘法

1. 定义

Definition (最小二乘法)

Definition (Jacobin矩阵)

Theorem (剩余函数梯度)

一阶梯度

Hesse矩阵为

其中。

证明
使用链式法则

同时考虑

2. Gauss-Newton方法

Definition (Gauss-Newton方法)

Theorem (基本Gauss-Newton的收敛性)

Definition (阻尼Gauss-Newton方法)

基本Guass-Newton确定后，使用线搜索确定步长。

3. LMF方法

Definition (LM方法)

Theorem (LM方法与信赖域方法的关系)

是信赖域子问题

的全局极小解的充分必要条件为，存在使得

Definition (LMF方法)

计算

根据调整。

4. 大剩余量问题

注意到

定义，则的近似矩阵满足

仿照BFGS方法和DFP方法即可解出

ON THIS PAGE