「瑞利商」与「广义瑞利商」

Lingfeng 2024-04-14

「瑞利商」与「广义瑞利商」

1. 瑞利商

设 $\boldsymbol{x}$ 为 $n\times 1$ 的非零向量, $A$ 为 $n\times n$ 的对称矩阵, 定义瑞利商为 $R(A,\boldsymbol{x})= \frac{\boldsymbol{x}^{T}A\boldsymbol{x}}{\boldsymbol{x}^{T}\boldsymbol{x}}$ 其满足性质 $\lambda_{min} \leq R(A,\boldsymbol{x}) \leq \lambda_{max}$ 其中 $\lambda_{min}$ 为矩阵 $A$ 最小的特征值, $\lambda_{max}$ 为矩阵 $A$ 最大的特征值. 该性质也称瑞利定理(Rayleigh's principle).

证明

显然对于任意非零实数 $k$ , 有 $R(A, k\boldsymbol{x})=R(A,\boldsymbol{x})$ 故不妨设 $\boldsymbol{x}^{T}\boldsymbol{x}=1$ . 在此约束下, 瑞利商变为 $R(A,\boldsymbol{x})=\boldsymbol{x}^{T}A\boldsymbol{x}$ 此时构造拉格朗日乘子函数 $L(\boldsymbol{x}, \lambda)=\boldsymbol{x}^{T}A\boldsymbol{x}-\lambda(\boldsymbol{x}^{T}\boldsymbol{x}-1)$ 考虑 $\begin{align*} \frac{ \partial L(\boldsymbol{x}, \lambda) }{ \partial \boldsymbol{x} } &= 2A\boldsymbol{x} - 2\lambda \boldsymbol{x}=0 \end{align*}$ 即 $A\boldsymbol{x}=\lambda \boldsymbol{x}$ 设 $\lambda_{i}$ 为 $A$ 的第 $i$ 个特征值, $\boldsymbol{x}_{i}$ 为其对应的特征向量, 代入瑞利商有 $R(A, \boldsymbol{x}_{i})=\lambda_{i}$ 因此在最大的特征值对应的特征向量处, 瑞利商有最大值; 同理, 在最小的特征值对应的特征向量处, 瑞利商有最小值.

也可考虑直接证明. 由于 $A$ 为对称矩阵, 存在正交矩阵 $Q$ , 使得 $A=Q\Lambda Q^{T}$ 其中 $\Lambda = \mathrm{diag}(\lambda_{1}, \lambda_{2}, \dots,\lambda_{n})$ , 为特征值组成的对角阵.

故瑞利商可转换为 $\begin{align*} R(A, \boldsymbol{x}) &= \frac{\boldsymbol{x}^{T}A\boldsymbol{x}}{\boldsymbol{x}^{T}\boldsymbol{x}} \\ &= \frac{\boldsymbol{x}^{T}(Q\Lambda Q^{T})\boldsymbol{x}}{\boldsymbol{x}^{T}\boldsymbol{x}} \\ &= \frac{(Q^{T}\boldsymbol{x})^{T}\Lambda(Q^{T}\boldsymbol{x})}{(Q^{T}\boldsymbol{x})^{T}(Q^{T}\boldsymbol{x})} \\ &= \frac{\boldsymbol{y}^{T}\Lambda\boldsymbol{y}}{\boldsymbol{y^{T}\boldsymbol{y}}} \end{align*}$ 其中 $\boldsymbol{y}=Q^{T}\boldsymbol{x}$ . 此时 $R(A, \boldsymbol{x})=R\left( \Lambda,\boldsymbol{y} \right)=\frac{\sum_{i=1}^{n}\lambda_{i}y_{i}^{2}}{\sum_{i=1}^{n}y_{i}^{2}}$ 注意到显然有 $\lambda_{min}\sum_{i=1}^{n}y_{i}^{2}\leq \sum_{i=1}^{n}\lambda_{i}y_{i}^{2}\leq\lambda_{max}\sum_{i=1}^{n}y_{i}^{2}$ 故代入原式有 $\lambda_{min}\leq R(A,\boldsymbol{x})\leq\lambda_{max}$

2. 广义瑞利商

设 $\boldsymbol{x}$ 为 $n\times 1$ 的非零向量, $A$ , $B$ 均为为 $n\times n$ 的对称矩阵, 且 $B$ 是正定的. 定义广义瑞利商为 $R(A, B, \boldsymbol{x})= \frac{\boldsymbol{x}^{T}A\boldsymbol{x}}{\boldsymbol{x}^{T}B\boldsymbol{x}}$ 其仍满足性质 $\lambda_{min} \leq R(A,B,\boldsymbol{x}) \leq \lambda_{max}$ 其中 $\lambda_{min}$ , $\lambda_{max}$ 为 $B^{-1}A$ 的最小和最大特征值.

证明

由于 $B$ 正定, 则根据 Cholesky 分解, 存在下三角矩阵 $C$ , 使得 $B=CC^{T}$ 代入广义瑞利商有 $\begin{align*} R(A, B,\boldsymbol{x}) &= \frac{\boldsymbol{x}^{T}A\boldsymbol{x}}{\boldsymbol{x}^{T}B\boldsymbol{x}} \\ &= \frac{\boldsymbol{x}^{T}A\boldsymbol{x}}{\boldsymbol{x}^{T}(C C^{T})\boldsymbol{x}} \end{align*}$ 此时令 $\boldsymbol{y}=C^{T}\boldsymbol{x}$ , 故 $R(A, B,\boldsymbol{x})= \frac{((C^{T})^{-1}\boldsymbol{y})^{T}A((C^{T})^{-1}\boldsymbol{y})}{\boldsymbol{y}^{T}\boldsymbol{y}}=\frac{\boldsymbol{y}^{T}C^{-1}A(C^{-1})^{T}\boldsymbol{y}}{\boldsymbol{y}^{T}\boldsymbol{y}}=R(C^{-1}A(C^{-1})^{T}, \boldsymbol{y})$ 因此最值在 $C^{-1}A(C^{-1})^{T}\boldsymbol{y}=\lambda \boldsymbol{y}$ 取得, 即 $A\boldsymbol{y}=\lambda B\boldsymbol{y}$ 故为 $B^{-1}A$ 的特征值.