「瑞利商」与「广义瑞利商」

Lingfeng2024-04-14

「瑞利商」与「广义瑞利商」

1. 瑞利商

设 $\boldsymbol{x}$ 为 $n\times 1$ 的非零向量, $A$ 为 $n\times n$ 的对称矩阵, 定义瑞利商为

R(A,\boldsymbol{x})= \frac{\boldsymbol{x}^{T}A\boldsymbol{x}}{\boldsymbol{x}^{T}\boldsymbol{x}}

其满足性质

\lambda_{min} \leq R(A,\boldsymbol{x}) \leq \lambda_{max}

其中

\lambda_{min}

为矩阵

A

最小的特征值,

\lambda_{max}

为矩阵

A

最大的特征值. 该性质也称瑞利定理(Rayleigh's principle).

证明

显然对于任意非零实数 $k$ , 有

R(A, k\boldsymbol{x})=R(A,\boldsymbol{x})

故不妨设

\boldsymbol{x}^{T}\boldsymbol{x}=1

. 在此约束下, 瑞利商变为

R(A,\boldsymbol{x})=\boldsymbol{x}^{T}A\boldsymbol{x}

此时构造拉格朗日乘子函数

L(\boldsymbol{x}, \lambda)=\boldsymbol{x}^{T}A\boldsymbol{x}-\lambda(\boldsymbol{x}^{T}\boldsymbol{x}-1)

考虑

\begin{align*} \frac{ \partial L(\boldsymbol{x}, \lambda) }{ \partial \boldsymbol{x} } &= 2A\boldsymbol{x} - 2\lambda \boldsymbol{x}=0 \end{align*}

即

A\boldsymbol{x}=\lambda \boldsymbol{x}

设

\lambda_{i}

为

A

的第

i

个特征值,

\boldsymbol{x}_{i}

为其对应的特征向量, 代入瑞利商有

R(A, \boldsymbol{x}_{i})=\lambda_{i}

因此在最大的特征值对应的特征向量处, 瑞利商有最大值; 同理, 在最小的特征值对应的特征向量处, 瑞利商有最小值.

也可考虑直接证明. 由于 $A$ 为对称矩阵, 存在正交矩阵 $Q$ , 使得

A=Q\Lambda Q^{T}

其中

\Lambda = \mathrm{diag}(\lambda_{1}, \lambda_{2}, \dots,\lambda_{n})

, 为特征值组成的对角阵.

故瑞利商可转换为

\begin{align*} R(A, \boldsymbol{x}) &= \frac{\boldsymbol{x}^{T}A\boldsymbol{x}}{\boldsymbol{x}^{T}\boldsymbol{x}} \\ &= \frac{\boldsymbol{x}^{T}(Q\Lambda Q^{T})\boldsymbol{x}}{\boldsymbol{x}^{T}\boldsymbol{x}} \\ &= \frac{(Q^{T}\boldsymbol{x})^{T}\Lambda(Q^{T}\boldsymbol{x})}{(Q^{T}\boldsymbol{x})^{T}(Q^{T}\boldsymbol{x})} \\ &= \frac{\boldsymbol{y}^{T}\Lambda\boldsymbol{y}}{\boldsymbol{y^{T}\boldsymbol{y}}} \end{align*}

其中

\boldsymbol{y}=Q^{T}\boldsymbol{x}

. 此时

R(A, \boldsymbol{x})=R\left( \Lambda,\boldsymbol{y} \right)=\frac{\sum_{i=1}^{n}\lambda_{i}y_{i}^{2}}{\sum_{i=1}^{n}y_{i}^{2}}

注意到显然有

\lambda_{min}\sum_{i=1}^{n}y_{i}^{2}\leq \sum_{i=1}^{n}\lambda_{i}y_{i}^{2}\leq\lambda_{max}\sum_{i=1}^{n}y_{i}^{2}

故代入原式有

\lambda_{min}\leq R(A,\boldsymbol{x})\leq\lambda_{max}

2. 广义瑞利商

设 $\boldsymbol{x}$ 为 $n\times 1$ 的非零向量, $A$ , $B$ 均为为 $n\times n$ 的对称矩阵, 且 $B$ 是正定的. 定义广义瑞利商为

R(A, B, \boldsymbol{x})= \frac{\boldsymbol{x}^{T}A\boldsymbol{x}}{\boldsymbol{x}^{T}B\boldsymbol{x}}

其仍满足性质

\lambda_{min} \leq R(A,B,\boldsymbol{x}) \leq \lambda_{max}

其中

\lambda_{min}

\lambda_{max}

为

B^{-1}A

的最小和最大特征值.

证明

由于 $B$ 正定, 则根据 Cholesky 分解, 存在下三角矩阵 $C$ , 使得

B=CC^{T}

代入广义瑞利商有

\begin{align*} R(A, B,\boldsymbol{x}) &= \frac{\boldsymbol{x}^{T}A\boldsymbol{x}}{\boldsymbol{x}^{T}B\boldsymbol{x}} \\ &= \frac{\boldsymbol{x}^{T}A\boldsymbol{x}}{\boldsymbol{x}^{T}(C C^{T})\boldsymbol{x}} \end{align*}

此时令

\boldsymbol{y}=C^{T}\boldsymbol{x}

, 故

R(A, B,\boldsymbol{x})= \frac{((C^{T})^{-1}\boldsymbol{y})^{T}A((C^{T})^{-1}\boldsymbol{y})}{\boldsymbol{y}^{T}\boldsymbol{y}}=\frac{\boldsymbol{y}^{T}C^{-1}A(C^{-1})^{T}\boldsymbol{y}}{\boldsymbol{y}^{T}\boldsymbol{y}}=R(C^{-1}A(C^{-1})^{T}, \boldsymbol{y})

因此最值在

C^{-1}A(C^{-1})^{T}\boldsymbol{y}=\lambda \boldsymbol{y}

取得, 即

A\boldsymbol{y}=\lambda B\boldsymbol{y}

故为

B^{-1}A

的特征值.

「瑞利商」与「广义瑞利商」

「瑞利商」与「广义瑞利商」

1. 瑞利商

2. 广义瑞利商

ON THIS PAGE