04多重共线性

Lingfeng2024-11-26

04多重共线性

1. 多重共线性

Theorem (多重共线性性质)

$X$ 存在多重共线性 $\iff$ $X^{T}X$ 存在零特征值。

证明
考虑 $X^{T}X$ 特征向量 $\xi$ ，不妨设其为单位向量，此时

X^{T}X\xi=\lambda \xi

故

\xi ^{T}X^{T}X\xi=\lambda \xi ^{T}\xi=\lambda

若

\lambda = 0

，则

\xi ^{T}X^{T}X\xi= 0

故

X\xi = 0

即

X

存在多重共线性。

反过来

X\xi=0

显然也有

X^{T}X\xi=0

这里用到了

X

与

X^{T}X

同零空间的性质。

2. 诊断方法

2.1 方差膨胀因子诊断法

Definition (方差膨胀因子)

$\hat{\beta}_{i}$ 的方差膨胀因子为

VIF_{i}=\frac{1}{1-R_{i}^{2}}

其中

R_{i}^{2}

表示自变量

X_{i}

对其余

i-1

各自变量的复决定系数。

Theorem (方差膨胀因子的性质)

对 $X$ 进行中心化得到 $X^{*}$ ，令

L=(X^{*T}X^{*})^{-1}

此时

Var(\hat{\beta} _{i})=l_{ii}\sigma^{2}

而

l_{ii}

即方差膨胀因子

证明
假设 $X$ 已经经过了标准化，此时建立回归模型为

X_{i}=X_{-i}\gamma_{i}+\epsilon_{i}

此时

H_{-i}=X_{-i}(X_{-i}^{T}X_{-i})^{-1}X_{-i}^{T}

因此

R_{i}^{2}=\frac{X_{i}^{T}H_{-i}X_{i}}{X_{i}^{T}X_{i}}=X_{i}^{T}H_{-i}X_{i}

此时

\frac{1}{1-R^{2}_{i}}= \frac{1}{1-X_{i}^{T}H_{-i}X_{i}}

下面考虑求 $l_{ii}=((X^{*T}X^{*})^{-1})_{ii}$ 。由于对称性，这里不妨设 $X_{i}$ 正好在最后一个，此时

\begin{align*} X & =\begin{pmatrix} X_{-i} & X_{i} \end{pmatrix} \\ L_{X} &= \mathrm{diag}(X^{T}X) \end{align*}

因此

\begin{align*} (X^{T}X )^{-1} & =\begin{pmatrix} X_{-i}^{T}X_{-i} & X_{-i}^{T}X_{i} \\ X_{i}^{T}X_{-i} & X_{i}^{T}X_{i} \end{pmatrix}^{-1} \\ & = \begin{pmatrix} 1 & -(X_{-i}^{T}X_{-i})^{-1}X_{-i}^{T}X_{i} \\ 0 & I \end{pmatrix}\begin{pmatrix} (X_{-i}^{T}X_{-i})^{-1} & 0\\ 0 & S^{-1} \end{pmatrix}\begin{pmatrix} 1 & 0 \\ -X_{i}^{T}X_{-i}(X_{-i}^{T}X_{-i})^{-1} & I \end{pmatrix} \end{align*}

其中

S=X_{i}^{T}X_{i}-X_{i}^{T}X_{-i}(X_{-i}X_{-i})^{-1}X_{-i}^{T}X_{i}=1-X_{i}^{T}H_{-i}X_{i}

因此

l_{ii}=S^{-1}=\frac{1}{1-X_{i}^{T}H_{-i}X_{i}}

故证毕。

2.2 特征根诊断法

Definition (特征根诊断法)

设

k_{i}=\frac{\lambda_{m}}{\lambda_{i}}

为特征值

\lambda_{i}

的条件数。

3. 岭估计

Definition (岭估计)

\hat{\beta}(k)=(X^{T}X+kI)^{-1}X^{T}Y

Theorem (岭估计等价性)

岭回归是最小二乘问题

Q(\boldsymbol{\beta})=\left\lVert Y-X\boldsymbol{\beta} \right\rVert ^{2}+k\left\lVert \boldsymbol{\beta} \right\rVert ^{2}

的解。

证明
令

\begin{align*} \frac{ \partial Q }{ \partial \boldsymbol{\beta} } & = -2X^{T}(Y-X\boldsymbol{\beta} )+ 2k\boldsymbol{\beta} \\ & = 2((X^{T}X+kI)\boldsymbol{\beta}-X^{T}Y)=0 \end{align*}

故证毕。

3.1 一元岭回归表达式

参数估计：
对于模型 $Y = X\beta + \varepsilon$ ，一元情况下：
$\hat{\beta}(k) = \frac{X^TY}{X^TX + k} = \frac{\sum_{i=1}^n X_iY_i}{\sum_{i=1}^n X_i^2 + k}$
偏差：
$Bias(\hat{\beta}(k)) = -k\beta(X^TX + k)^{-1} = -\frac{k\beta}{\sum_{i=1}^n X_i^2 + k}$
方差：
$Var(\hat{\beta}(k)) = \sigma^2(X^TX + k)^{-2}X^TX = \frac{\sigma^2\sum_{i=1}^n X_i^2}{(\sum_{i=1}^n X_i^2 + k)^2}$
均方误差：
$MSE(\hat{\beta}(k)) = \frac{\sigma^2\sum_{i=1}^n X_i^2}{(\sum_{i=1}^n X_i^2 + k)^2} + \frac{k^2\beta^2}{(\sum_{i=1}^n X_i^2 + k)^2}$
t 统计量：
$t = \frac{\hat{\beta}(k)}{\sqrt{Var(\hat{\beta}(k))}} = \frac{\sum_{i=1}^n X_iY_i}{\sigma\sqrt{\sum_{i=1}^n X_i^2}} \cdot \frac{\sqrt{\sum_{i=1}^n X_i^2 + k}}{\sum_{i=1}^n X_i^2 + k}$
$(1-\alpha)$ 置信区间：
$\hat{\beta}(k) \pm t_{\alpha/2}\sqrt{Var(\hat{\beta}(k))}$
$= \frac{\sum_{i=1}^n X_iY_i}{\sum_{i=1}^n X_i^2 + k} \pm t_{\alpha/2}\frac{\sigma\sqrt{\sum_{i=1}^n X_i^2}}{\sum_{i=1}^n X_i^2 + k}$

04多重共线性

04多重共线性

1. 多重共线性

2. 诊断方法

2.1 方差膨胀因子诊断法

2.2 特征根诊断法

3. 岭估计

3.1 一元岭回归表达式

ON THIS PAGE