Definition (起作用约束)
若点，若，则称该约束为起作用约束。若，则称该约束为不起作用约束。
Definition (LICQ条件)
给定最优解和其对应的起作用集，若线性无关，则称线性独立约束规范成立。
Theorem (一阶必要条件)
若是问题的局部最优解，且处LICQ成立，则存在Lagrange乘子向量，满足称为Katush-Kuhn-Tucker条件，简称KKT条件。
Theorem (Lagrange乘子的含义)
证明 考虑故证毕。
Definition (线性可行方向)
设为问题的可行点，，称为处的线性可行方向集合。
Theorem (一阶优化充分条件)
设在可行域内，若，则是该问题的严格局部最优解。
Theorem (二阶必要条件)
设是局部最优解，在处LICQ条件成立，从而存在使得KKT条件成立，则有其中
Theorem (二阶充分条件)
← 05无约束优化-最小二乘法07罚函数法 →