Definition (方向导数)
设可微函数，其在点任意单位向量方向上的一阶方向导数定义一阶方向导数表示函数在给定方向上的变化率。当时，一阶方向导数即一阶导数。同理可定义二阶方向导数。
Definition (梯度)
设可微函数，在点处的梯度是一个向量，记为或，其每个分量是函数在该点关于各个坐标轴的偏导数，即
Theorem (方向导数与梯度向量关系)
如果在点处可微，则在单位向量上的一阶方向导数可表示为单位向量与梯度的点积，即二阶方向导数可表示为其中为Hessian矩阵，定义为
证明
注意到有以下引理：
设，由多元函数链式法则即故引理证毕。此时设，由引理有因此此时继续求导由链式法则因此故
Corollary (梯度性质)
梯度指向函数增长最快的方向，其大小为函数变化率的最大值。
Theorem (向量函数的Lagrange中值定理)
设函数在闭球上连续，开球内可微，则存在在和之间的连线上，使得
证明
定义，有显然在区间上连续，内可微。由一元中值定理，存在使得注意到由链式法则因此有其中。
Theorem (向量函数的Taylor展开)
在这里我们只给出二阶的形式。设可微函数，则在处的二阶泰勒展开式为
证明
设，下面对进行泰勒展开，有而已证故证毕。
Corollary (最优化条件)
（一阶必要条件）设，为的一个局部极小点，则
（二阶必要条件）设，为的一个局部极小点，则半正定。
（二阶充分条件）设，在点有，且正定时，为的严格局部极小点。
证明
考虑反证法。若，则取，有由连续性知，也是连续的。由保号性知，存在，当时有此时由中值定理，对于任意的，存在，使得与为局部极小点矛盾，因而得到。
二阶必要条件类似的使用 Taylor 展开式 Lagrange 余项。假设存在，使得，同样由连续性知，存在，对任意有此时对于任意，存在，有因此与为局部极小值矛盾。
Definition (凸函数)
设集合为非空凸集，函数。若对任意，，有则称为上凸函数。若不等式对于严格成立，则称为严格凸函数。
Theorem (凸函数的判定条件)
（一阶判定条件）为凸函数当且仅当对于任意，，有
（二阶判断条件）为凸函数当且仅当对于任意，Hessian矩阵半正定。
Theorem (凸函数与凸集的关系)
设集合为非空凸集，函数是凸函数当且仅当它的上图是凸集。