04多重共线性

Lingfeng 2024-11-26

04多重共线性

1. 多重共线性

Theorem (多重共线性性质)

$X$ 存在多重共线性 $\iff$ $X^{T}X$ 存在零特征值。

证明
考虑 $X^{T}X$ 特征向量 $\xi$ ，不妨设其为单位向量，此时 $X^{T}X\xi=\lambda \xi$ 故 $\xi ^{T}X^{T}X\xi=\lambda \xi ^{T}\xi=\lambda$ 若 $\lambda = 0$ ，则 $\xi ^{T}X^{T}X\xi= 0$ 故 $X\xi = 0$ 即 $X$ 存在多重共线性。

反过来 $X\xi=0$ 显然也有 $X^{T}X\xi=0$ 这里用到了 $X$ 与 $X^{T}X$ 同零空间的性质。

2. 诊断方法

2.1 方差膨胀因子诊断法

Definition (方差膨胀因子)

$\hat{\beta}_{i}$ 的方差膨胀因子为 $VIF_{i}=\frac{1}{1-R_{i}^{2}}$ 其中 $R_{i}^{2}$ 表示自变量 $X_{i}$ 对其余 $i-1$ 各自变量的复决定系数。

Theorem (方差膨胀因子的性质)

对 $X$ 进行中心化得到 $X^{*}$ ，令 $L=(X^{*T}X^{*})^{-1}$ 此时 $Var(\hat{\beta} _{i})=l_{ii}\sigma^{2}$ 而 $l_{ii}$ 即方差膨胀因子

证明
假设 $X$ 已经经过了标准化，此时建立回归模型为 $X_{i}=X_{-i}\gamma_{i}+\epsilon_{i}$ 此时 $H_{-i}=X_{-i}(X_{-i}^{T}X_{-i})^{-1}X_{-i}^{T}$ 因此 $R_{i}^{2}=\frac{X_{i}^{T}H_{-i}X_{i}}{X_{i}^{T}X_{i}}=X_{i}^{T}H_{-i}X_{i}$ 此时 $\frac{1}{1-R^{2}_{i}}= \frac{1}{1-X_{i}^{T}H_{-i}X_{i}}$

下面考虑求 $l_{ii}=((X^{*T}X^{*})^{-1})_{ii}$ 。由于对称性，这里不妨设 $X_{i}$ 正好在最后一个，此时 $\begin{align*} X & =\begin{pmatrix} X_{-i} & X_{i} \end{pmatrix} \\ L_{X} &= \mathrm{diag}(X^{T}X) \end{align*}$ 因此 $\begin{align*} (X^{T}X )^{-1} & =\begin{pmatrix} X_{-i}^{T}X_{-i} & X_{-i}^{T}X_{i} \\ X_{i}^{T}X_{-i} & X_{i}^{T}X_{i} \end{pmatrix}^{-1} \\ & = \begin{pmatrix} 1 & -(X_{-i}^{T}X_{-i})^{-1}X_{-i}^{T}X_{i} \\ 0 & I \end{pmatrix}\begin{pmatrix} (X_{-i}^{T}X_{-i})^{-1} & 0\\ 0 & S^{-1} \end{pmatrix}\begin{pmatrix} 1 & 0 \\ -X_{i}^{T}X_{-i}(X_{-i}^{T}X_{-i})^{-1} & I \end{pmatrix} \end{align*}$ 其中 $S=X_{i}^{T}X_{i}-X_{i}^{T}X_{-i}(X_{-i}X_{-i})^{-1}X_{-i}^{T}X_{i}=1-X_{i}^{T}H_{-i}X_{i}$ 因此 $l_{ii}=S^{-1}=\frac{1}{1-X_{i}^{T}H_{-i}X_{i}}$ 故证毕。

2.2 特征根诊断法

Definition (特征根诊断法)

设 $k_{i}=\frac{\lambda_{m}}{\lambda_{i}}$ 为特征值 $\lambda_{i}$ 的条件数。

3. 岭估计

Definition (岭估计)

\hat{\beta}(k)=(X^{T}X+kI)^{-1}X^{T}Y

Theorem (岭估计等价性)

岭回归是最小二乘问题 $Q(\boldsymbol{\beta})=\left\lVert Y-X\boldsymbol{\beta} \right\rVert ^{2}+k\left\lVert \boldsymbol{\beta} \right\rVert ^{2}$ 的解。

证明
令 $\begin{align*} \frac{ \partial Q }{ \partial \boldsymbol{\beta} } & = -2X^{T}(Y-X\boldsymbol{\beta} )+ 2k\boldsymbol{\beta} \\ & = 2((X^{T}X+kI)\boldsymbol{\beta}-X^{T}Y)=0 \end{align*}$ 故证毕。

3.1 一元岭回归表达式

参数估计：
对于模型 $Y = X\beta + \varepsilon$ ，一元情况下：
$\hat{\beta}(k) = \frac{X^TY}{X^TX + k} = \frac{\sum_{i=1}^n X_iY_i}{\sum_{i=1}^n X_i^2 + k}$
偏差：
$Bias(\hat{\beta}(k)) = -k\beta(X^TX + k)^{-1} = -\frac{k\beta}{\sum_{i=1}^n X_i^2 + k}$
方差：
$Var(\hat{\beta}(k)) = \sigma^2(X^TX + k)^{-2}X^TX = \frac{\sigma^2\sum_{i=1}^n X_i^2}{(\sum_{i=1}^n X_i^2 + k)^2}$
均方误差：
$MSE(\hat{\beta}(k)) = \frac{\sigma^2\sum_{i=1}^n X_i^2}{(\sum_{i=1}^n X_i^2 + k)^2} + \frac{k^2\beta^2}{(\sum_{i=1}^n X_i^2 + k)^2}$
t 统计量：
$t = \frac{\hat{\beta}(k)}{\sqrt{Var(\hat{\beta}(k))}} = \frac{\sum_{i=1}^n X_iY_i}{\sigma\sqrt{\sum_{i=1}^n X_i^2}} \cdot \frac{\sqrt{\sum_{i=1}^n X_i^2 + k}}{\sum_{i=1}^n X_i^2 + k}$
$(1-\alpha)$ 置信区间：
$\hat{\beta}(k) \pm t_{\alpha/2}\sqrt{Var(\hat{\beta}(k))}$
$= \frac{\sum_{i=1}^n X_iY_i}{\sum_{i=1}^n X_i^2 + k} \pm t_{\alpha/2}\frac{\sigma\sqrt{\sum_{i=1}^n X_i^2}}{\sum_{i=1}^n X_i^2 + k}$