02-1多元线性回归

Lingfeng 2024-10-15

02-1多元线性回归

1. 定义

Definition (多元线性回归)

对于 $p$ 元线性回归，我们有 $Y=X\boldsymbol{\beta}+\boldsymbol{\varepsilon}$ 其中 $Y=\begin{pmatrix} Y_1 \\ Y_2 \\ \vdots \\ Y_n \end{pmatrix}$ ， $X=\left( \begin{matrix} 1 & X_{11} & \dots & X_{1p} \\ 1 & X_{21} & \dots & X_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & X_{n1} & \dots & X_{np} \end{matrix} \right)$ ， $\boldsymbol{\beta}=\begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix}$ ， $\boldsymbol{\varepsilon}=\begin{pmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{pmatrix}$ 。且 $X$ 列满秩，即 $r(X)\geq p+1$ ，且 $n\geq p+1$ 。

同样随机误差项 $\boldsymbol{\varepsilon}$ 满足高斯-马尔可夫条件（Gauss-Markov）条件，即 $\left\{\begin{align*} E(\varepsilon_{i})=0, & \quad i=1,\dots,n \\ Var(\varepsilon_{i})=\sigma^{2}, & \quad i=1,\dots,n \\ Cov(\varepsilon_{i},\varepsilon_{j}) =0, & \quad i\neq j \end{align*}\right.$ 同时满足正态性假定 $\varepsilon_{i}\sim N(0,\sigma^{2}),\quad i=1,\dots,n$

Corollary ( $Y$ 的分布)

Y\sim N(X\boldsymbol{\beta},\sigma^{2}\boldsymbol{I}_{n})

2. 参数估计

2.1 最小二乘估计

考虑 $\boldsymbol{\hat{\beta} }=\min_{\boldsymbol{\beta}}Q(\boldsymbol{\beta})=\min_{\boldsymbol{\beta}}\left\lVert Y-X\boldsymbol{\beta} \right\rVert =\min_{\boldsymbol{\beta}}(Y-X\boldsymbol{\beta})^{T}(Y-X\boldsymbol{\beta})$
因此有 $\begin{align*} \frac{ \partial Q(\boldsymbol{\beta}) }{ \partial \boldsymbol{\beta} } & = \frac{ \partial ((Y-X\boldsymbol{\beta})^{T}(Y-X\boldsymbol{\beta}) )}{ \partial \boldsymbol{\beta} } \\ & = \frac{ \partial (Y-X\boldsymbol{\beta})^{T} }{ \partial \boldsymbol{\beta} } \cdot \frac{ \partial ((Y-X\boldsymbol{\beta})^{T}(Y-X\boldsymbol{\beta})) }{ \partial (Y-X\boldsymbol{\beta}) } \\ & = -2X^{T}(Y-X\boldsymbol{\beta}) \\ & = 2(X^{T}X\boldsymbol{\beta}-X^{T}Y)=0 \end{align*}$ 即有 $\boldsymbol{\hat{\beta} }= (X^{T}X)^{-1}X^{T}Y$

2.2 极大似然估计

考虑似然函数 $L(\boldsymbol{\beta},\sigma^{2})= \left( \frac{1}{\sqrt{ 2\pi }\sigma} \right)^{n}\exp \left\{ -\frac{1}{2\sigma^{2}}(Y-X\boldsymbol{\beta})^{T}(Y-X\boldsymbol{\beta}) \right\}$ 因此 $l(\boldsymbol{\beta}.\sigma^{2})= -\frac{n}{2}\ln\sigma^{2}-\frac{1}{2\sigma^{2}}(Y-X\boldsymbol{\beta})^{T}(Y-X\boldsymbol{\beta})$
此时 $\begin{align*} \frac{ \partial l }{ \partial \boldsymbol{\beta} } & = \frac{1}{\sigma^{2}}X^{T}(Y-X\boldsymbol{\beta} )\\ \frac{ \partial l }{ \partial \sigma^{2} } & = -\frac{n}{2\sigma^{2}}+ \frac{1}{2\sigma^{4}}(Y-X\boldsymbol{\beta})^{T}(Y-X\boldsymbol{\beta}) \end{align*}$ 同样可以得到 $\sigma^{2}$ 的极大似然估计 $\hat{\sigma^{2}}= \frac{1}{n}(Y-X\boldsymbol{\hat{\beta} })^{T} (Y-X\boldsymbol{\hat{\beta} })$

3. 参数性质

3.1 帽子矩阵

注意到 $Y=X\boldsymbol{\hat{\beta} }=X(X^{T}X)^{-1}X^{T}Y$ 令 $H=X(X^{T}X)^{-1}X^{T}$ 称为投影阵或帽子矩阵，从而 $\hat{Y}=HY$

Theorem (对称性)

H^{T}=H

证明
显然 $\begin{align*} H^{T} & =(X(X^{T}X)^{-1}X^{T})^{T} \\ & = X((X^{T}X)^{T})^{-1}X^{T} \\ & = X(X^{T}X)^{-1}X^{T} = H \end{align*}$

Theorem (幂等性)

H^{2}=H

证明
$\begin{align*} H^{2} & = X(X^{T}X)^{-1}X^{T}X(X^{T}X)^{-1}X^{T} \\ & = X(X^{T}X)^{-1}X^{T} \\ & = H \end{align*}$

Theorem (迹)

tr(H)=p+1

证明
由幂等性与 $r(X)=p+1$ 可得。

Theorem (非负定)

\xi ^{T} H\xi\geq 0

证明
由幂等性知特征值均为0或1，因此特征值大于等于0$\implies$非负定性。

Definition (误差项的投影矩阵)

与 $H$ 互补的投影矩阵为 $I-H$

Theorem (对称幂等性)

(I-H)^{2}=I-H

证明
对称性显然，而 $(I-H)^{2}=I-2H+H=I-H$ 故证毕。

Theorem (迹)

tr(I-H)=n-p-1

证明

法一
注意到 $H(I-H)=0$ 因此 $r(I-H)\leq\dim N(H)=n-r(H)=n-p-1$ 另一方面 $\forall \xi \in N(H)$ ，由定义有 $H\xi=0$ 此时 $\xi=\xi-0=\xi-H\xi=(I-H)\xi$ 因此 $\xi \in \mathrm{Im}(I-H)$ ，从而 $r(I-H)\geq \dim N(H)=n-p-1$ 故证毕。

法二
由特征值分解 $H=Q\Lambda Q^{T}$ 其中 $Q$ 为正交矩阵。此时 $I-H=QQ^{T}-Q\Lambda Q^{T}=Q(I-\Lambda)Q^{T}$ 由于 $\Lambda$ 只能取0或1，易得 $r(I-H)=n-p-1$

Theorem (与 $X$ 正交)

(I-H)X=0

证明
注意到 $HX=X(X^{T}X)^{-1}X^{T}X=X$ 即得。

Corollary ( $H$ 特征向量)

$H$ 特征向量组为 $X$ ，对应特征值为1。

3.2 $\boldsymbol{\hat{\beta}}$ 性质

Theorem (无偏性)

E(\boldsymbol{\hat{\beta} })=\boldsymbol{\beta}

证明
$E(\boldsymbol{\hat{\beta} })= (X^{T}X)^{-1}X^{T}E(Y)=(X^{T}X)^{-1}X^{T}X\boldsymbol{\beta}=\boldsymbol{\beta}$

Theorem (方差)

Var(\boldsymbol{\hat{\beta} })=\sigma^{2}(X^{T}X)^{-1}

证明
$\begin{align*} Var(\boldsymbol{\hat{\beta} }) & = \sigma^{2}(X^{T}X)^{-1}X^{T}((X^{T}X)^{-1}X^{T})^{T} \\ & = \sigma^{2} (X^{T}X)^{-1} X^{T}X(X^{T}X)^{-1} \\ & = \sigma^{2}(X^{T}X)^{-1} \end{align*}$

Theorem (高斯-马尔可夫定理)

$\boldsymbol{\beta}$ 任一线性函数 $\boldsymbol{a}^{T}\boldsymbol{\beta}$ 的最小方差无偏估计为 $\boldsymbol{a}^{T}\boldsymbol{\hat{\beta}}$ ， $\boldsymbol{a}$ 为 $p+1$ 维列向量。

证明
显然 $\boldsymbol{a}\boldsymbol{\hat{\beta}}$ 为 $\boldsymbol{a}\boldsymbol{\beta}$ 的线性无偏估计，下面证明为最小方差无偏估计。

设 $\boldsymbol{b}^{T}Y$ 为 $\boldsymbol{a}\boldsymbol{\beta}$ 的任一线性无偏估计，此时 $E(\boldsymbol{b}^{T}Y)=\boldsymbol{b}^{T}X\boldsymbol{\beta}=\boldsymbol{a}^{T}\boldsymbol{\beta}$ 因此有 $\boldsymbol{b}^{T}X=\boldsymbol{a}^{T}$ 考虑 $\begin{align*} Var(\boldsymbol{b}^{T}Y)-Var(\boldsymbol{a}\boldsymbol{\hat{\beta} }) & = \sigma^{2 }\boldsymbol{b }^{T}\boldsymbol{b}-\sigma^{2}\boldsymbol{a}^{T}(X^{T}X)^{-1}\boldsymbol{a} \\ & =\sigma^{2}\boldsymbol{b}^{T}\boldsymbol{b}-\sigma^{2}\boldsymbol{b}^{T}X(X^{T}X)^{-1}X^{T}\boldsymbol{b} \\ & =\sigma^{2}\boldsymbol{b}^{T}(I-H)\boldsymbol{b}\geq 0 \end{align*}$

Theorem (协方差)

Cov(\boldsymbol{\hat{\beta} ,\boldsymbol{e}})=0

证明
$\begin{align*} Cov(\boldsymbol{\hat{\beta} },\boldsymbol{e})&=Cov((X^{T}X)^{-1}X^{T}Y,(I-H)Y) \\ &= \sigma^{2}(X^{T}X)^{-1}X^{T}(I-H)^{T} \\ & = \sigma^{2}(X^{T}X)^{-1}((I-H)X)^{T} \\ & = 0 \end{align*}$

Corollary ( $\boldsymbol{\hat{\beta}}$ 分布)

\boldsymbol{\hat{\beta} }\sim N(\boldsymbol{\beta},\sigma^{2}(X^{T}X)^{-1})

3.3 残差 $\boldsymbol{e}$ 性质

Theorem (无偏性)

E(\boldsymbol{e})=0

Theorem (方差)

Var(\boldsymbol{e})=(I-H)\sigma^{2}

Corollary ( $\sigma^{2}$ 无偏估计)

\hat{\sigma^{2}}=\frac{1}{n-p-1}\sum_{i = 1}^{n} e_{i}^{2}

证明

Lemma (二次型期望公式)

对于随机变量 $Z\sim N(\mu,\Sigma)$ ，有 $E(Z^{T}AZ)=tr(A\Sigma)+\mu ^{T}A\mu$

注意到 $\begin{align*} E(Z^{T}AZ) & =E(tr(Z^{T}AZ)) \\ & =E(tr(AZZ^{T})) \\ & =tr(AE(ZZ^{T})) \end{align*}$ 而 $E(ZZ^{T})=\Sigma+\mu \mu ^{T}$ 因此 $\begin{align*} E(Z^{T}AZ) & =tr(A\Sigma+A\mu \mu ^{T}) \\ & = tr(A\Sigma)+\mu ^{T}A\mu \end{align*}$

故 $\begin{align*} E(SSE) & =E(\boldsymbol{e}^{T}\boldsymbol{e}) \\ & =E(\varepsilon ^{T}(I-H)\varepsilon) \\ & = tr(I-H)\sigma^{2} \\ & = (n-p-1)\sigma^{2} \end{align*}$

Theorem (SSE性质)

\frac{SSE}{\sigma^{2}}\sim \chi^{2}(n-p-1)

Lemma (卡方分布判别定理)

若 $X\sim N(0,I_{n})$ ， $A$ 为实对称阵， $r(A)=R$ ，若 $A^{2}=A$ ，则 $X^{T}AX\sim \chi^{2}(r)$

证明
对 $A$ 进行特征值分解 $A=Q^{T}\Lambda Q$ 其中 $Q$ 为正交矩阵。此时 $X^{T}AX=(QX)^{T}\Lambda(QX)$ 设 $Y=QX$ ，由于 $Q$ 正交，因此 $Y\sim N(0,QQ^{T})=N(0,I_{n})$ 此时 $Y^{T}\Lambda Y=\sum_{i = 1}^{n} \lambda_{i}y_{i}=\sum_{i = 1}^{r} y_{i}$ 故证毕。

再证明该定理。注意到 $\begin{align*} SSE & =\left\lVert Y-\hat{Y} \right\rVert _{2}^{2} \\ & = Y^{T}(I-H)Y \\ & =(X\boldsymbol{\beta}+\boldsymbol{\varepsilon})^{T}(I-H)(X\boldsymbol{\beta}+\boldsymbol{\varepsilon}) \\ & = \boldsymbol{\varepsilon }^{T}(I-H)\boldsymbol{\varepsilon} \end{align*}$ 一方面 $\boldsymbol{\varepsilon}\sim N(0,\sigma^{2})$ 另一方面 $I-H$ 对称幂等，由引理证毕。

Theorem (SSE与 $\boldsymbol{\hat{\beta}}$ 关系)

SSE与 $\boldsymbol{\hat{\beta}}$ 独立。

证明
由 $\boldsymbol{e}$ 与 $\boldsymbol{\hat{\beta}}$ 独立易证。