02-2多元线性回归-模型推断

Lingfeng2024-11-16

02-2多元线性回归-模型推断

1. 模型推断

1.1 SSR性质

Theorem (SST分解)

SST=SSR+SSE

证明
注意到

\begin{align*} \sum_{i = 1}^{n} (Y_{i}-\bar{Y})^{2} & =\sum_{i = 1}^{n} (Y_{i}-\hat{Y}_{i}+\hat{Y}_{i}-\bar{Y})^{2} \\ & = \sum_{i = 1}^{n} (\hat{Y}_{i}-\bar{Y})^{2}+\sum_{i = 1}^{n} (Y_{i}-\hat{Y}_{i})^{2}+2\sum_{i = 1}^{n} (\hat{Y}_{i}-\bar{Y})(Y_{i}-\hat{Y}_{i}) \end{align*}

只需证交叉项为0。注意到

\begin{align*} \sum_{i = 1}^{n} (\hat{Y}_{i}-\bar{Y})(Y_{i}-\hat{Y}_{i}) &= \sum_{i = 1}^{n} e_{i}\hat{Y}_{i}-\bar{Y}\sum_{i = 1}^{n} e_{i} \\ & = \boldsymbol{e}^{T}\hat{Y}-\boldsymbol{e}^{T}AY \\ & = Y^{T}(I-H)X\boldsymbol{\hat{\beta} }- Y^{T}(I-H)AY \\ & = 0 \end{align*}

Theorem (SSR性质)

\frac{SSR}{\sigma^{2}}\sim \chi^{2}(p)

证明
由定义

\begin{align*} SSR & =\sum_{i = 1}^{n} (\hat{Y}_{i}-\bar{Y})^{2} \\ & = \left\lVert \hat{Y}- \bar{Y} \right\rVert _{2}^{2} \\ & = Y^{T}\left( H-A \right)^{T}\left( H-A \right)Y \end{align*}

其中

A

为全为

\frac{1}{n}

的矩阵，显然有

A^{2}=A

，且

HA=A

，故显然有

H-A

对称幂等，故

\begin{align*} SSR&=Y^{T}(H-A)Y \\ & = (X\boldsymbol{\beta}+\varepsilon )^{T}(H-A)(X\boldsymbol{\beta}+\varepsilon) \\ & = \varepsilon ^{T}(H-A)\varepsilon \end{align*}

下面只需证

r(H-A)=p

法一
由于

(I-H)A=A-A=0

因此

A

与

I-H

正交。而

\begin{align*} (A,I-H)(H-A)=(A(H-A),(I-H)(H-A))=0 \end{align*}

因此

r(H-A)\leq \dim N((A,I-H)) = n-1-(n-p-1)=p

对于

\forall \xi \in N(A,I-H)

，有

A\xi=0

，

(I-H)\xi=0

。此时

(H-A)\xi=H\xi=\xi-(I-H)\xi=\xi

因此

r(H-A) \geq\dim N((A,I-A))=p

故证毕。

法二

Lemma (矩阵同时对角化)

若矩阵 $A$ ， $B$ 可对角化，则 $AB=BA$ 的充要条件为 $A$ ， $B$ 可同时对角化。

此时

H-A=Q(\Lambda_{1}-\Lambda_{2})Q^{T}

注意到秩为1或0，显然有

r(H-A)=r(H)-r(A)=p

法三
注意到

H-A

幂等，因此

r(H-A)=tr(H-A)=tr(H)-tr(A)=p

Theorem (SSR与SSE关系)

SSR与SSE独立，当 $\boldsymbol{\beta}=0$ 。

注意到

\begin{align*} SSE & =\varepsilon ^{T}(I-H)\varepsilon \\ SSR & =\varepsilon ^{T}(H-A)\varepsilon \end{align*}

欲证

SSE

与

SSR

独立，只需证

(I-H)\varepsilon

与

(H-A)\varepsilon

独立。而其均满足正态分布，故只需考虑

Cov((I-H)\varepsilon ,(H-A)\varepsilon)=\sigma^{2}(I-H)(H-A)=0

故证毕。

1.2 F检验

Definition (F检验)

F=\frac{SSR / p}{SSE / (n-p-1)}\sim F(p,n-p-1)

1.3 t检验

Definition (t检验)

t= \frac{\hat{\beta} _{j}}{\sqrt{ c_{jj} }\hat{\sigma}}\sim t(n-p-1)

1.4 偏F检验

Definition (偏F检验)

F_{j}=\frac{\Delta_{j}}{SSE / (n-p-1)}\sim F(1,n-p-1)

证明
注意到

SSE=\varepsilon ^{T}(I-H)\varepsilon

因此

\Delta_{i}=\varepsilon ^{T}(H-H_{(i)})\varepsilon

故只需证明

r(H-H_{(i)})=1

，

(H-H_{(i)})(I-H)=0

。

首先考虑证明 $H-H_{(i)}$ 幂等，注意到

(H-H_{(i)})^{2}=H-2HH_{(i)}+H(i)

而注意到

H H_{(i)}=HX_{(i)}(X_{(i)}^{T}X_{(i)})^{-1}X_{(i)}^{T}=X_{(i)}(X_{(i)}^{T}X_{(i)})^{-1}X_{(i)}^{T}=H_{(i)}

故证毕。此时

r(H-H_{(i)})=tr(H-H_{(i)})=tr(H)-tr(H_{(i)})=r(H)-r(H_{(i)})=1

同时

(H-H_{(i)})(I-H)=H-H_{(i)}-H+H_{(i)}H=0

故证毕。

Theorem (偏F检验与t检验等价)

F_{j}=t_{j}^{2}

Lemma (Frisch–Waugh–Lovell 定理（特例）)

在多元线性回归中，第 $j$ 个变量的回归系数可以表示为：

\hat{\beta}_j = \frac{X_j^T(I-H_{-j})Y}{X_j^T(I-H_{-j})X_j}

其中：

$H_{-j}$ 是除去第 $j$ 列的投影矩阵
$(I-H_{-j})$ 表示对其他变量的残差化
这表明 $\hat{\beta}_j$ 等价于将 $Y$ 对其他变量的残差对 $X_j$ 对其他变量的残差做回归。

证明
设

r_{j}=(I-H_{-j})X_{j}

则

\begin{align*} \hat{\beta} _{j} & =\frac{r_{j}^{T}Y}{r_{j}^{T}r_{j}} \\ c_{jj} & = \frac{1}{r_{j}^{T}r_{j}} \\ H - H_{-j} & = \frac{r_{j}^{T}r_{j}}{r_{j}^{T}r_{j}} \end{align*}

从而

\begin{align*} t_{j}^{2}&=\frac{Y^{T}r_{j}r_{j}^{T}Y}{r_{j}^{T}r_{j}} \frac{1}{SSE / n-p-1} \\ &= \frac{Y^{T}(H-H_{-j})Y}{SSE / n-p-1} \\ & = F_{j} \end{align*}

Corollary ( $r_j$ 的统计意义)

$r_j = (I-H_{-j})X_j$ 表示将 $X_j$ 对其他所有自变量 $X_{-j}$ 做回归后的残差。
具体来说：

$H_{-j}$ 是除去第 $j$ 列的投影矩阵，表示向其他变量张成空间的投影
$(I-H_{-j})$ 是残差算子
$r_j$ 就是 $X_j$ 中不能被其他变量线性表示的部分

这解释了为什么：

- 分子 $r_j^TY$ 衡量了 $X_j$ 的"净效应"与 $Y$ 的相关性
- 分母 $r_j^Tr_j$ 衡量了 $X_j$ 的"净效应"的大小
- 如果 $r_j^Tr_j$ 很小，说明 $X_j$ 几乎可以被其他变量线性表示
- 这会导致方差 $c_{jj}$ 很大，即多重共线性问题
- 这是 $X_j$ 的"净效应"对应的投影矩阵
- 它反映了 $X_j$ 对模型的额外贡献

1.5 置信区间

Definition (置信区间)

$\beta_{j}$ 的 $1-\alpha$ 的置信区间为

\left( \hat{\beta_{j}} -t_{\frac{\alpha}{2}}\sqrt{ c_{jj} }\hat{\sigma},\hat{\beta_{j}}+t_{\frac{\alpha}{2}}\sqrt{ c_{jj} }\hat{\sigma} \right)

2. 模型预测

2.1 单点预测

Definition (预测值)

对新的观测点 $x_0 = (1,x_{01},\dots,x_{0p})^T$ ，其预测值为：

\hat{Y}_0 = x_0^T\hat{\beta}

2.2 预测区间

Definition (预测值的方差)

Var(\hat{Y}_0) = \sigma^2x_0^T(X^TX)^{-1}x_0

Definition (预测误差的方差)

Var(Y_0-\hat{Y}_0) = \sigma^2(1 + x_0^T(X^TX)^{-1}x_0)

Theorem (预测区间)

$\hat{Y}_0$ 的 $1-\alpha$ 置信区间为：
$\hat{Y}_0 \pm t_{\alpha/2}(n-p-1)\hat{\sigma}\sqrt{x_0^T(X^TX)^{-1}x_0}$
$Y_0$ 的 $1-\alpha$ 预测区间为：
$\hat{Y}_0 \pm t_{\alpha/2}(n-p-1)\hat{\sigma}\sqrt{1 + x_0^T(X^TX)^{-1}x_0}$

02-2多元线性回归-模型推断

ON THIS PAGE