02-1多元线性回归

Lingfeng2024-10-15

02-1多元线性回归

1. 定义

Definition (多元线性回归)

对于 $p$ 元线性回归，我们有

Y=X\boldsymbol{\beta}+\boldsymbol{\varepsilon}

其中

Y=\begin{pmatrix} Y_1 \\ Y_2 \\ \vdots \\ Y_n \end{pmatrix}

，

X=\left( \begin{matrix} 1 & X_{11} & \dots & X_{1p} \\ 1 & X_{21} & \dots & X_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & X_{n1} & \dots & X_{np} \end{matrix} \right)

，

\boldsymbol{\beta}=\begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix}

，

\boldsymbol{\varepsilon}=\begin{pmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{pmatrix}

。且

X

列满秩，即

r(X)\geq p+1

，且

n\geq p+1

。

同样随机误差项 $\boldsymbol{\varepsilon}$ 满足高斯-马尔可夫条件（Gauss-Markov）条件，即

\left\{\begin{align*} E(\varepsilon_{i})=0, & \quad i=1,\dots,n \\ Var(\varepsilon_{i})=\sigma^{2}, & \quad i=1,\dots,n \\ Cov(\varepsilon_{i},\varepsilon_{j}) =0, & \quad i\neq j \end{align*}\right.

同时满足正态性假定

\varepsilon_{i}\sim N(0,\sigma^{2}),\quad i=1,\dots,n

Corollary ( $Y$ 的分布)

Y\sim N(X\boldsymbol{\beta},\sigma^{2}\boldsymbol{I}_{n})

2. 参数估计

2.1 最小二乘估计

考虑

\boldsymbol{\hat{\beta} }=\min_{\boldsymbol{\beta}}Q(\boldsymbol{\beta})=\min_{\boldsymbol{\beta}}\left\lVert Y-X\boldsymbol{\beta} \right\rVert =\min_{\boldsymbol{\beta}}(Y-X\boldsymbol{\beta})^{T}(Y-X\boldsymbol{\beta})

因此有

\begin{align*} \frac{ \partial Q(\boldsymbol{\beta}) }{ \partial \boldsymbol{\beta} } & = \frac{ \partial ((Y-X\boldsymbol{\beta})^{T}(Y-X\boldsymbol{\beta}) )}{ \partial \boldsymbol{\beta} } \\ & = \frac{ \partial (Y-X\boldsymbol{\beta})^{T} }{ \partial \boldsymbol{\beta} } \cdot \frac{ \partial ((Y-X\boldsymbol{\beta})^{T}(Y-X\boldsymbol{\beta})) }{ \partial (Y-X\boldsymbol{\beta}) } \\ & = -2X^{T}(Y-X\boldsymbol{\beta}) \\ & = 2(X^{T}X\boldsymbol{\beta}-X^{T}Y)=0 \end{align*}

即有

\boldsymbol{\hat{\beta} }= (X^{T}X)^{-1}X^{T}Y

2.2 极大似然估计

考虑似然函数

L(\boldsymbol{\beta},\sigma^{2})= \left( \frac{1}{\sqrt{ 2\pi }\sigma} \right)^{n}\exp \left\{ -\frac{1}{2\sigma^{2}}(Y-X\boldsymbol{\beta})^{T}(Y-X\boldsymbol{\beta}) \right\}

因此

l(\boldsymbol{\beta}.\sigma^{2})= -\frac{n}{2}\ln\sigma^{2}-\frac{1}{2\sigma^{2}}(Y-X\boldsymbol{\beta})^{T}(Y-X\boldsymbol{\beta})

此时

\begin{align*} \frac{ \partial l }{ \partial \boldsymbol{\beta} } & = \frac{1}{\sigma^{2}}X^{T}(Y-X\boldsymbol{\beta} )\\ \frac{ \partial l }{ \partial \sigma^{2} } & = -\frac{n}{2\sigma^{2}}+ \frac{1}{2\sigma^{4}}(Y-X\boldsymbol{\beta})^{T}(Y-X\boldsymbol{\beta}) \end{align*}

同样可以得到

\sigma^{2}

的极大似然估计

\hat{\sigma^{2}}= \frac{1}{n}(Y-X\boldsymbol{\hat{\beta} })^{T} (Y-X\boldsymbol{\hat{\beta} })

3. 参数性质

3.1 帽子矩阵

注意到

Y=X\boldsymbol{\hat{\beta} }=X(X^{T}X)^{-1}X^{T}Y

令

H=X(X^{T}X)^{-1}X^{T}

称为投影阵或帽子矩阵，从而

\hat{Y}=HY

Theorem (对称性)

H^{T}=H

证明
显然

\begin{align*} H^{T} & =(X(X^{T}X)^{-1}X^{T})^{T} \\ & = X((X^{T}X)^{T})^{-1}X^{T} \\ & = X(X^{T}X)^{-1}X^{T} = H \end{align*}

Theorem (幂等性)

H^{2}=H

证明

\begin{align*} H^{2} & = X(X^{T}X)^{-1}X^{T}X(X^{T}X)^{-1}X^{T} \\ & = X(X^{T}X)^{-1}X^{T} \\ & = H \end{align*}

Theorem (迹)

tr(H)=p+1

证明
由幂等性与 $r(X)=p+1$ 可得。

Theorem (非负定)

\xi ^{T} H\xi\geq 0

证明
由幂等性知特征值均为0或1，因此特征值大于等于0$\implies$非负定性。

Definition (误差项的投影矩阵)

与 $H$ 互补的投影矩阵为

I-H

Theorem (对称幂等性)

(I-H)^{2}=I-H

证明
对称性显然，而

(I-H)^{2}=I-2H+H=I-H

故证毕。

Theorem (迹)

tr(I-H)=n-p-1

证明

法一
注意到

H(I-H)=0

因此

r(I-H)\leq\dim N(H)=n-r(H)=n-p-1

另一方面

\forall \xi \in N(H)

，由定义有

H\xi=0

此时

\xi=\xi-0=\xi-H\xi=(I-H)\xi

因此

\xi \in \mathrm{Im}(I-H)

，从而

r(I-H)\geq \dim N(H)=n-p-1

故证毕。

法二
由特征值分解

H=Q\Lambda Q^{T}

其中

Q

为正交矩阵。此时

I-H=QQ^{T}-Q\Lambda Q^{T}=Q(I-\Lambda)Q^{T}

由于

\Lambda

只能取0或1，易得

r(I-H)=n-p-1

Theorem (与 $X$ 正交)

(I-H)X=0

证明
注意到

HX=X(X^{T}X)^{-1}X^{T}X=X

即得。

Corollary ( $H$ 特征向量)

$H$ 特征向量组为 $X$ ，对应特征值为1。

3.2 $\boldsymbol{\hat{\beta}}$ 性质

Theorem (无偏性)

E(\boldsymbol{\hat{\beta} })=\boldsymbol{\beta}

证明

E(\boldsymbol{\hat{\beta} })= (X^{T}X)^{-1}X^{T}E(Y)=(X^{T}X)^{-1}X^{T}X\boldsymbol{\beta}=\boldsymbol{\beta}

Theorem (方差)

Var(\boldsymbol{\hat{\beta} })=\sigma^{2}(X^{T}X)^{-1}

证明

\begin{align*} Var(\boldsymbol{\hat{\beta} }) & = \sigma^{2}(X^{T}X)^{-1}X^{T}((X^{T}X)^{-1}X^{T})^{T} \\ & = \sigma^{2} (X^{T}X)^{-1} X^{T}X(X^{T}X)^{-1} \\ & = \sigma^{2}(X^{T}X)^{-1} \end{align*}

Theorem (高斯-马尔可夫定理)

$\boldsymbol{\beta}$ 任一线性函数 $\boldsymbol{a}^{T}\boldsymbol{\beta}$ 的最小方差无偏估计为 $\boldsymbol{a}^{T}\boldsymbol{\hat{\beta}}$ ， $\boldsymbol{a}$ 为 $p+1$ 维列向量。

证明
显然 $\boldsymbol{a}\boldsymbol{\hat{\beta}}$ 为 $\boldsymbol{a}\boldsymbol{\beta}$ 的线性无偏估计，下面证明为最小方差无偏估计。

设 $\boldsymbol{b}^{T}Y$ 为 $\boldsymbol{a}\boldsymbol{\beta}$ 的任一线性无偏估计，此时

E(\boldsymbol{b}^{T}Y)=\boldsymbol{b}^{T}X\boldsymbol{\beta}=\boldsymbol{a}^{T}\boldsymbol{\beta}

因此有

\boldsymbol{b}^{T}X=\boldsymbol{a}^{T}

考虑

\begin{align*} Var(\boldsymbol{b}^{T}Y)-Var(\boldsymbol{a}\boldsymbol{\hat{\beta} }) & = \sigma^{2 }\boldsymbol{b }^{T}\boldsymbol{b}-\sigma^{2}\boldsymbol{a}^{T}(X^{T}X)^{-1}\boldsymbol{a} \\ & =\sigma^{2}\boldsymbol{b}^{T}\boldsymbol{b}-\sigma^{2}\boldsymbol{b}^{T}X(X^{T}X)^{-1}X^{T}\boldsymbol{b} \\ & =\sigma^{2}\boldsymbol{b}^{T}(I-H)\boldsymbol{b}\geq 0 \end{align*}

Theorem (协方差)

Cov(\boldsymbol{\hat{\beta} ,\boldsymbol{e}})=0

证明

\begin{align*} Cov(\boldsymbol{\hat{\beta} },\boldsymbol{e})&=Cov((X^{T}X)^{-1}X^{T}Y,(I-H)Y) \\ &= \sigma^{2}(X^{T}X)^{-1}X^{T}(I-H)^{T} \\ & = \sigma^{2}(X^{T}X)^{-1}((I-H)X)^{T} \\ & = 0 \end{align*}

Corollary ( $\boldsymbol{\hat{\beta}}$ 分布)

\boldsymbol{\hat{\beta} }\sim N(\boldsymbol{\beta},\sigma^{2}(X^{T}X)^{-1})

3.3 残差 $\boldsymbol{e}$ 性质

Theorem (无偏性)

E(\boldsymbol{e})=0

Theorem (方差)

Var(\boldsymbol{e})=(I-H)\sigma^{2}

Corollary ( $\sigma^{2}$ 无偏估计)

\hat{\sigma^{2}}=\frac{1}{n-p-1}\sum_{i = 1}^{n} e_{i}^{2}

证明

Lemma (二次型期望公式)

对于随机变量 $Z\sim N(\mu,\Sigma)$ ，有

E(Z^{T}AZ)=tr(A\Sigma)+\mu ^{T}A\mu

注意到

\begin{align*} E(Z^{T}AZ) & =E(tr(Z^{T}AZ)) \\ & =E(tr(AZZ^{T})) \\ & =tr(AE(ZZ^{T})) \end{align*}

而

E(ZZ^{T})=\Sigma+\mu \mu ^{T}

因此

\begin{align*} E(Z^{T}AZ) & =tr(A\Sigma+A\mu \mu ^{T}) \\ & = tr(A\Sigma)+\mu ^{T}A\mu \end{align*}

故

\begin{align*} E(SSE) & =E(\boldsymbol{e}^{T}\boldsymbol{e}) \\ & =E(\varepsilon ^{T}(I-H)\varepsilon) \\ & = tr(I-H)\sigma^{2} \\ & = (n-p-1)\sigma^{2} \end{align*}

Theorem (SSE性质)

\frac{SSE}{\sigma^{2}}\sim \chi^{2}(n-p-1)

Lemma (卡方分布判别定理)

若 $X\sim N(0,I_{n})$ ， $A$ 为实对称阵， $r(A)=R$ ，若 $A^{2}=A$ ，则

X^{T}AX\sim \chi^{2}(r)

证明
对 $A$ 进行特征值分解

A=Q^{T}\Lambda Q

其中

Q

为正交矩阵。此时

X^{T}AX=(QX)^{T}\Lambda(QX)

设

Y=QX

，由于

Q

正交，因此

Y\sim N(0,QQ^{T})=N(0,I_{n})

此时

Y^{T}\Lambda Y=\sum_{i = 1}^{n} \lambda_{i}y_{i}=\sum_{i = 1}^{r} y_{i}

故证毕。

再证明该定理。注意到

\begin{align*} SSE & =\left\lVert Y-\hat{Y} \right\rVert _{2}^{2} \\ & = Y^{T}(I-H)Y \\ & =(X\boldsymbol{\beta}+\boldsymbol{\varepsilon})^{T}(I-H)(X\boldsymbol{\beta}+\boldsymbol{\varepsilon}) \\ & = \boldsymbol{\varepsilon }^{T}(I-H)\boldsymbol{\varepsilon} \end{align*}

一方面

\boldsymbol{\varepsilon}\sim N(0,\sigma^{2})

另一方面

I-H

对称幂等，由引理证毕。

Theorem (SSE与 $\boldsymbol{\hat{\beta}}$ 关系)

SSE与 $\boldsymbol{\hat{\beta}}$ 独立。

证明
由 $\boldsymbol{e}$ 与 $\boldsymbol{\hat{\beta}}$ 独立易证。

02-1多元线性回归

ON THIS PAGE