07罚函数法

Lingfeng 2024-11-21

07罚函数法

1. 外点罚函数法

Theorem (等式约束优化的外点罚函数法)

仅考虑等式约束的最优化问题 $P(x,\sigma)=f(x)+\frac{1}{2}\sigma \sum_{i \in \epsilon}c_{i}^{2}(x)$

Definition (一般约束优化问题的罚函数方法)

$P(x,\sigma)=f(x)+\frac{1}{2}\sigma\left( \sum_{i = \epsilon}c_{i}^{2}(x)+\tilde{c}_{i}(x)^{2} \right)$ 其中 $\tilde{c}_{i}(x)=\min\{ c_{i}(x),0 \}$ 。

2. 障碍函数方法

Definition (障碍函数)

倒数障碍函数 $B_{I}(x,\mu)=f(x)+\mu \sum_{i \in \tau}c_{i}(x)^{-1}$ 对数障碍函数 $B*{L}(x,\mu)=f(x)-\mu \sum*{i \in \tau}\log c\_{i}(x)$

3. 增广 Lagrange 函数

Definition (增广 Lagrange 函数)

\Phi(x,\lambda,\sigma)=f(x)-\lambda ^{T}c(x)+\frac{1}{2}\sigma \sum_{i = \varepsilon} c_{i}^{2}(x)

Theorem (增广 Lagrange 迭代公式)

\lambda_i^{k+1}=\lambda_{i}^{k}-\sigma _{k}c_{i}(x_{k})

证明
考虑 $\nabla \Phi(x_{k})=\nabla f(x_{k})-\sum_{i \in \varepsilon}(\lambda_{i}^{k}-\sigma_{k} c_{i}(x_{k}))\nabla c_{i}(x_{k})=0$ 由KKT条件 $\nabla f(x^{*})=\sum_{i \in \varepsilon}\lambda_{i}^{*}\nabla c_{i}(x^{*})$ 因此 $\lambda^{*}\approx\lambda_{i}^{k}-\sigma _{k}c_{i}(x_{k})$ 即得到 $\lambda_i^{k+1}=\lambda_{i}^{k}-\sigma _{k}c_{i}(x_{k})$