02-3多元线性回归-中心化和标准化

Lingfeng2024-11-03

1. 中心化和标准化

Definition (中心化)

X_{ij}'=X_{ij}-\bar{X}_{j},\quad Y_{i}'=Y_{i}-\bar{Y}

Theorem (中心化性质)

中心化后 $\hat{\beta}'_{0}=0$ ， $\hat{\beta}'_{i}=\hat{\beta}_{i}$ ， $i=1,\dots,p$ 。

证明

Lemma (分块矩阵的逆)

设分块矩阵

M=\begin{pmatrix} A & B \\ C & D\end{pmatrix}

则

\begin{align*}M^{-1} &= \begin{pmatrix} I & -A^{-1}B \\ 0 & I \end{pmatrix}\begin{pmatrix} A^{-1} & 0 \\ I & S^{-1} \end{pmatrix}\begin{pmatrix} I & 0\\ -CA^{-1} & I \end{pmatrix}\\& =\begin{pmatrix} A^{-1}+A^{-1}BS^{-1}CA^{-1} & -A^{-1}BS^{-1}\\ -S^{-1}CA^{-1} & S^{-1} \end{pmatrix}\end{align*}

其中

S=D-CA^{-1}B

为

M

关于

A

的舒尔补。

考虑

\begin{align*} \tilde{X} = \begin{pmatrix} \boldsymbol{1} & X \end{pmatrix} \end{align*}

其中

X

为没有添加常数项的自变量。此时

\begin{align*} \\ \tilde{X}^{T}\tilde{X} & = \begin{pmatrix} \boldsymbol{1}^{T} \\ X^{T} \end{pmatrix}\begin{pmatrix} \boldsymbol{1} & X \end{pmatrix} \\ & = \begin{pmatrix} n & n\bar{X}^{T} \\ n\bar{X} & X^{T}X \end{pmatrix} \end{align*}

注意到

\tilde{X}^{T}Y=\begin{pmatrix} \boldsymbol{1}^{T} \\ X^{T} \end{pmatrix}Y=\begin{pmatrix} n\bar{Y} \\ X^{T}Y \end{pmatrix}

因此

\begin{align*} \tilde{\boldsymbol{\beta}} & =(\tilde{X}^{T}\tilde{X})^{-1}(\tilde{X}^{T}Y) \\ & =\begin{pmatrix} n & n\bar{X}^{T} \\ n\bar{X} & X^{T}X \end{pmatrix}^{-1}\begin{pmatrix} n\bar{Y} \\ X^{T}Y \end{pmatrix} \end{align*}

由引理

\begin{align*} \tilde{\boldsymbol{\beta}} & =\begin{pmatrix} I & -\bar{X}^{T} \\ 0& I \end{pmatrix}\begin{pmatrix} \frac{1}{n} &0 \\ 0 & (X^{T}X-n\bar{X}\bar{X}^{T})^{-1} \end{pmatrix} \begin{pmatrix} I & 0 \\ -\bar{X} & I \end{pmatrix}\begin{pmatrix} n\bar{Y} \\ X^{T}Y \end{pmatrix} \\ & = \begin{pmatrix} I & -\bar{X}^{T} \\ 0& I \end{pmatrix}\begin{pmatrix} \frac{1}{n} &0 \\ 0 & (X^{T}X-n\bar{X}\bar{X}^{T})^{-1} \end{pmatrix}\begin{pmatrix} n\bar{Y} \\ X^{T}Y-n\bar{X}\bar{Y} \end{pmatrix} \\ & = \begin{pmatrix} I & -\bar{X}^{T} \\ 0& I \end{pmatrix} \begin{pmatrix} \bar{Y} \\ (X^{T}X-n\bar{X}\bar{X}^{T})^{-1}(X^{T}Y-n\bar{X}\bar{Y}) \end{pmatrix} \\ & =\begin{pmatrix} \bar{Y}-\bar{X}^{T}\boldsymbol{\beta} \\ (X^{T}(I-A)X)^{-1}(X^{T}(I-A)Y) \end{pmatrix} \end{align*}

注意到

\begin{align*} X' & =(I-A)X \\ Y' & =(I-A)Y \end{align*}

由幂等性证毕。

Definition (标准化)

\begin{align*} X_{ij}^{*}=\frac{X_{ij}-\bar{X}_{j}}{\sqrt{ L_{jj} } } \\ Y_{i}^{* }=\frac{Y_{i}-\bar{Y}}{\sqrt{ L_{yy} }} \end{align*}

Theorem (标准化性质)

标准化后 $\hat{\beta}_{0}^{*}=0$ ， $\hat{\beta}_{i}^{*}= \frac{\sqrt{ L_{jj} }}{\sqrt{ L_{yy} }}\hat{\beta}_{j}$ ， $j=1,\dots,p$ 。

证明
已证中心化情况，故不妨设 $\bar{X}=\bar{Y}=0$ 。此时设

L_{x}=\mathrm{diag}( L_{11} ,\dots, L_{pp} )

因此

X^{*}=XL_{x}^{-1/2}

此时

\begin{align*} \boldsymbol{\hat{\beta} }^{*} & = \frac{1}{\sqrt{ L_{yy} }} ((X^{*})^{T}(X^{*}))^{-1}(X^{*})^{T}Y \\ & = \frac{1}{\sqrt{ L_{yy} }} (L_{x}^{-1/2}X^{T}XL_{x}^{-1/2})^{-1}L_{x}^{-1/2}X^{T}Y \\ & = \frac{1}{L_{yy}} L_{x}^{1/2} (X^{T}X)^{-1}X^{T}Y \\ &= \sqrt{ \frac{L_{x}}{L_{yy}} }\boldsymbol{\hat{\beta} } \end{align*}

故证毕。

Definition (相关性矩阵)

设 $\tilde{X} = (Y,X)$ 为包含因变量的增广矩阵，则相关性矩阵为：

r=\left(\begin{matrix} 1 & r_{Y1} & r_{Y2} & \dots & r_{Yp} \\ r_{1Y} & 1 & r_{12} & \dots & r_{1p} \\ \vdots & \vdots & \vdots& \ddots & \vdots \\ r_{pY} & r_{p1} & r_{p 2} & \dots & 1 \end{matrix}\right)=\tilde{X}^{*T}\tilde{X}^*=L^{-1/2}\tilde{X}^T(I-A)\tilde{X}L^{-1/2}

Y与X的相关性系数可以表示为：

r_{Yj} = \frac{L_{Yj}}{\sqrt{L_{YY}L_{jj}}} = \frac{\sum_{i=1}^n (Y_i-\bar{Y})(X_{ij}-\bar{X}_j)}{\sqrt{\sum_{i=1}^n (Y_i-\bar{Y})^2\sum_{i=1}^n (X_{ij}-\bar{X}_j)^2}}

X之间的相关性系数为：

r_{jk} = \frac{L_{jk}}{\sqrt{L_{jj}L_{kk}}} = \frac{\sum_{i=1}^n (X_{ij}-\bar{X}_j)(X_{ik}-\bar{X}_k)}{\sqrt{\sum_{i=1}^n (X_{ij}-\bar{X}_j)^2\sum_{i=1}^n (X_{ik}-\bar{X}_k)^2}}

Definition (偏决定系数)

\begin{align*} R^{2}_{Yj} & =\frac{SSE_{1,\dots,j-1,j+1,\dots,p}-SSE_{1,\dots,p}}{SSE_{1,\dots,j-1,j+1,\dots,p}} \\ & = \frac{Y^{T}(H-H_{-j})Y}{Y^{T}(I-H_{-j})Y}\end{align*}

Definition (偏相关系数)

r_{Yj} = \frac{X_j^T(I-H_{-j})Y}{\sqrt{X_j^T(I-H_{-j})X_j \cdot Y^T(I-H_{-j})Y}}

符号与回归系数符号相同。

Theorem (偏相关系数与偏决定系数的关系)

证明
类似于t检验和偏F检验

\begin{align*} r_{Y_{j}}^{2} & =\frac{Y^{T}r_{j}r_{j}^{T}Y}{r_{j}^{T}r_{j}} \frac{1}{Y^{T}(I-H_{-j})Y} \\ & =\frac{Y^{T}(H-H_{-j})Y}{Y^{T}(I-H_{-j})Y} \\ & = R_{Y_{j}}^{2} \end{align*}