03无约束优化-一阶方法

Lingfeng2024-09-25

1. 最速下降方法

Definition (最速下降法)

以负梯度为迭代方向，即

同时采用精确线搜索的步长的方法，满足

Theorem (最速下降法的收敛速度)

Definition (坐标下降法)

对于维目标函数，每次只对一个坐标方向进行优化，其他坐标方向保持不变

即

Definition (批量梯度下降法 Batch Gradiant Descent, BGD)

Definition (随机梯度下降 Stochastic Gradient Descent, SGD)

Definition (小批量梯度下降 Mini-Batch Gradient Descent, MBGD)

Definition (动量法 Momentum)

在更新时，不仅参考当前点的梯度方向，还参考之前累计的梯度方向。每步迭代方向为两者矢量和的方向

Definition (Nesterov 加速梯度法 Nesterov Accelerated Gradient, NAG)

先沿着之前累计方向进行更新，通过下一位置的梯度更新当前位置的方向

Definition (自适应梯度法 Adagrad)

根据参数调整步长，使累计梯度大的参数更新步长小，累计梯度小的参数更新步长大

Definition (RMSProp)

从累计梯度平方和转换为对梯度平方进行指数加权移动平均

Definition (Adam, Adaptive Moment Estimation)

同时计算动量并且调整步长

并同时进行偏差修正

最后进行更新