02-2多元线性回归-模型推断

Lingfeng 2024-11-16

02-2多元线性回归-模型推断

1. 模型推断

1.1 SSR性质

Theorem (SST分解)

$SST=SSR+SSE$ 即 $\sum_{i = 1}^{n} (Y_{i}-\bar{Y})^{2}=\sum_{i = 1}^{n} (\hat{Y}_{i}-\bar{Y})^{2}+\sum_{i = 1}^{n} (Y_{i}-\hat{Y}_{i})^{2}$

证明
注意到 $\begin{align*} \sum_{i = 1}^{n} (Y_{i}-\bar{Y})^{2} & =\sum_{i = 1}^{n} (Y_{i}-\hat{Y}_{i}+\hat{Y}_{i}-\bar{Y})^{2} \\ & = \sum_{i = 1}^{n} (\hat{Y}_{i}-\bar{Y})^{2}+\sum_{i = 1}^{n} (Y_{i}-\hat{Y}_{i})^{2}+2\sum_{i = 1}^{n} (\hat{Y}_{i}-\bar{Y})(Y_{i}-\hat{Y}_{i}) \end{align*}$ 只需证交叉项为0。注意到 $\begin{align*} \sum_{i = 1}^{n} (\hat{Y}_{i}-\bar{Y})(Y_{i}-\hat{Y}_{i}) &= \sum_{i = 1}^{n} e_{i}\hat{Y}_{i}-\bar{Y}\sum_{i = 1}^{n} e_{i} \\ & = \boldsymbol{e}^{T}\hat{Y}-\boldsymbol{e}^{T}AY \\ & = Y^{T}(I-H)X\boldsymbol{\hat{\beta} }- Y^{T}(I-H)AY \\ & = 0 \end{align*}$

Theorem (SSR性质)

$\frac{SSR}{\sigma^{2}}\sim \chi^{2}(p)$ 当 $\boldsymbol{\beta}=0$ 时成立。

证明
由定义 $\begin{align*} SSR & =\sum_{i = 1}^{n} (\hat{Y}_{i}-\bar{Y})^{2} \\ & = \left\lVert \hat{Y}- \bar{Y} \right\rVert _{2}^{2} \\ & = Y^{T}\left( H-A \right)^{T}\left( H-A \right)Y \end{align*}$ 其中 $A$ 为全为 $\frac{1}{n}$ 的矩阵，显然有 $A^{2}=A$ ，且 $HA=A$ ，故显然有 $H-A$ 对称幂等，故 $\begin{align*} SSR&=Y^{T}(H-A)Y \\ & = (X\boldsymbol{\beta}+\varepsilon )^{T}(H-A)(X\boldsymbol{\beta}+\varepsilon) \\ & = \varepsilon ^{T}(H-A)\varepsilon \end{align*}$ 下面只需证 $r(H-A)=p$

法一
由于 $(I-H)A=A-A=0$ 因此 $A$ 与 $I-H$ 正交。而 $\begin{align*} (A,I-H)(H-A)=(A(H-A),(I-H)(H-A))=0 \end{align*}$ 因此 $r(H-A)\leq \dim N((A,I-H)) = n-1-(n-p-1)=p$ 对于 $\forall \xi \in N(A,I-H)$ ，有 $A\xi=0$ ， $(I-H)\xi=0$ 。此时 $(H-A)\xi=H\xi=\xi-(I-H)\xi=\xi$ 因此 $r(H-A) \geq\dim N((A,I-A))=p$ 故证毕。

法二

Lemma (矩阵同时对角化)

若矩阵 $A$ ， $B$ 可对角化，则 $AB=BA$ 的充要条件为 $A$ ， $B$ 可同时对角化。

此时 $H-A=Q(\Lambda_{1}-\Lambda_{2})Q^{T}$ 注意到秩为1或0，显然有 $r(H-A)=r(H)-r(A)=p$
法三
注意到 $H-A$ 幂等，因此 $r(H-A)=tr(H-A)=tr(H)-tr(A)=p$

Theorem (SSR与SSE关系)

SSR与SSE独立，当 $\boldsymbol{\beta}=0$ 。

注意到 $\begin{align*} SSE & =\varepsilon ^{T}(I-H)\varepsilon \\ SSR & =\varepsilon ^{T}(H-A)\varepsilon \end{align*}$ 欲证 $SSE$ 与 $SSR$ 独立，只需证 $(I-H)\varepsilon$ 与 $(H-A)\varepsilon$ 独立。而其均满足正态分布，故只需考虑 $Cov((I-H)\varepsilon ,(H-A)\varepsilon)=\sigma^{2}(I-H)(H-A)=0$ 故证毕。

1.2 F检验

Definition (F检验)

F=\frac{SSR / p}{SSE / (n-p-1)}\sim F(p,n-p-1)

1.3 t检验

Definition (t检验)

$t= \frac{\hat{\beta} _{j}}{\sqrt{ c_{jj} }\hat{\sigma}}\sim t(n-p-1)$ 其中 $c_{jj}$ 为 $(X^{T}X)^{-1}$ 的第 $j$ 个主对角元素， $\hat{\sigma^{2}}=\frac{1}{n-p-1}SSE$ 。

1.4 偏F检验

Definition (偏F检验)

F_{j}=\frac{\Delta_{j}}{SSE / (n-p-1)}\sim F(1,n-p-1)

证明
注意到 $SSE=\varepsilon ^{T}(I-H)\varepsilon$ 因此 $\Delta_{i}=\varepsilon ^{T}(H-H_{(i)})\varepsilon$ 故只需证明 $r(H-H_{(i)})=1$ ， $(H-H_{(i)})(I-H)=0$ 。

首先考虑证明 $H-H_{(i)}$ 幂等，注意到 $(H-H_{(i)})^{2}=H-2HH_{(i)}+H(i)$ 而注意到 $H H_{(i)}=HX_{(i)}(X_{(i)}^{T}X_{(i)})^{-1}X_{(i)}^{T}=X_{(i)}(X_{(i)}^{T}X_{(i)})^{-1}X_{(i)}^{T}=H_{(i)}$ 故证毕。此时 $r(H-H_{(i)})=tr(H-H_{(i)})=tr(H)-tr(H_{(i)})=r(H)-r(H_{(i)})=1$ 同时 $(H-H_{(i)})(I-H)=H-H_{(i)}-H+H_{(i)}H=0$ 故证毕。

Theorem (偏F检验与t检验等价)

F_{j}=t_{j}^{2}

Lemma (Frisch–Waugh–Lovell 定理（特例）)

在多元线性回归中，第 $j$ 个变量的回归系数可以表示为：
$\hat{\beta}_j = \frac{X_j^T(I-H_{-j})Y}{X_j^T(I-H_{-j})X_j}$
其中：

$H_{-j}$ 是除去第 $j$ 列的投影矩阵
$(I-H_{-j})$ 表示对其他变量的残差化
这表明 $\hat{\beta}_j$ 等价于将 $Y$ 对其他变量的残差对 $X_j$ 对其他变量的残差做回归。

证明
设 $r_{j}=(I-H_{-j})X_{j}$ 则 $\begin{align*} \hat{\beta} _{j} & =\frac{r_{j}^{T}Y}{r_{j}^{T}r_{j}} \\ c_{jj} & = \frac{1}{r_{j}^{T}r_{j}} \\ H - H_{-j} & = \frac{r_{j}^{T}r_{j}}{r_{j}^{T}r_{j}} \end{align*}$ 从而 $\begin{align*} t_{j}^{2}&=\frac{Y^{T}r_{j}r_{j}^{T}Y}{r_{j}^{T}r_{j}} \frac{1}{SSE / n-p-1} \\ &= \frac{Y^{T}(H-H_{-j})Y}{SSE / n-p-1} \\ & = F_{j} \end{align*}$

Corollary ( $r_j$ 的统计意义)

$r_j = (I-H_{-j})X_j$ 表示将 $X_j$ 对其他所有自变量 $X_{-j}$ 做回归后的残差。
具体来说：

$H_{-j}$ 是除去第 $j$ 列的投影矩阵，表示向其他变量张成空间的投影
$(I-H_{-j})$ 是残差算子
$r_j$ 就是 $X_j$ 中不能被其他变量线性表示的部分

这解释了为什么：

- 分子 $r_j^TY$ 衡量了 $X_j$ 的"净效应"与 $Y$ 的相关性
- 分母 $r_j^Tr_j$ 衡量了 $X_j$ 的"净效应"的大小
- 如果 $r_j^Tr_j$ 很小，说明 $X_j$ 几乎可以被其他变量线性表示
- 这会导致方差 $c_{jj}$ 很大，即多重共线性问题
- 这是 $X_j$ 的"净效应"对应的投影矩阵
- 它反映了 $X_j$ 对模型的额外贡献

Var(\hat{Y}_0) = \sigma^2x_0^T(X^TX)^{-1}x_0

Definition (预测误差的方差)

Var(Y_0-\hat{Y}_0) = \sigma^2(1 + x_0^T(X^TX)^{-1}x_0)

Theorem (预测区间)

$\hat{Y}_0$ 的 $1-\alpha$ 置信区间为：
$\hat{Y}_0 \pm t_{\alpha/2}(n-p-1)\hat{\sigma}\sqrt{x_0^T(X^TX)^{-1}x_0}$
$Y_0$ 的 $1-\alpha$ 预测区间为：
$\hat{Y}_0 \pm t_{\alpha/2}(n-p-1)\hat{\sigma}\sqrt{1 + x_0^T(X^TX)^{-1}x_0}$

02-2多元线性回归-模型推断

02-2多元线性回归-模型推断

1. 模型推断

1.1 SSR性质

1.2 F检验

1.3 t检验

1.4 偏F检验

1.5 置信区间

2. 模型预测

2.1 单点预测

2.2 预测区间