05模型选择

Lingfeng2024-11-29

05模型选择

1. 全模型与选模型

Definition (全模型与选模型)

全部 $m$ 个自变量建立的回归模型称为全模型

Y=X_{\Omega}\boldsymbol{\beta}+\varepsilon

其中

\boldsymbol{\hat{\beta} }=(X_{\Omega}^{T}X_{\Omega})^{-1}X_{\Omega}^{T}Y

从

m

个自变量中挑选

p

个自变量建立回归模型称为选模型

Y=X_{\mathcal{A}}\alpha+\eta

得到

\boldsymbol{\hat{\alpha}}=(X_{\mathcal{A}}^{T}X_{\mathcal{A}})^{-1}X_{\mathcal{A}}^{T}Y

Theorem (选模型性质)

选模型不是无偏估计
选模型方差更小

证明
首先

\begin{align*} E(\hat{\boldsymbol{\alpha}}) & =(X_{\mathcal{A}}^{T}X_{\mathcal{A}})^{-1}X_{\mathcal{A}}^{T}X_{\Omega}\boldsymbol{\beta} \\ & = (X_{\mathcal{A}}^{T}X_{\mathcal{A}})^{-1}X_{\mathcal{A}}^{T}\begin{pmatrix} X_{\mathcal{A}} & X_{\mathcal{A}^{c}} \end{pmatrix}\begin{pmatrix} \boldsymbol{\beta}_{\mathcal{A}} \\ \boldsymbol{\beta}_{\mathcal{A}^{c}} \end{pmatrix} \\ & =\boldsymbol{\beta}_{\mathcal{A}}+(X^{T}_{\mathcal{A}}X_{\mathcal{A}})^{-1}X_{\mathcal{A}}^{T}X_{\mathcal{A}^{c}}\boldsymbol{\beta}_{A^{c}} \\ & = \boldsymbol{\beta}_{\mathcal{A}}+B\boldsymbol{\beta}_{\mathcal{A}^{c}} \end{align*}

在计算方差

Var(\hat{\boldsymbol{\alpha}})=\sigma^{2}(X_{\mathcal{A}}^{T}X_{\mathcal{A}})^{-1}

2. 全子集回归

Definition (调整R方)

R^{2}_{a}=1-\frac{SSE / (n-p-1)}{SST / (n-1)}=1- \frac{n-1}{n-p-1}(1-R^{2})

Definition (AIC准则)

AIC=-2\log(L(\hat{\theta}_{L},x))+2p

证明
设 $\varepsilon\sim N(0,\sigma^{2})$ ，则

L(\boldsymbol{\beta},\sigma^{2})= \left( \frac{1}{\sqrt{ 2\pi }\sigma} \right)^{n}\exp \left\{ -\frac{1}{2\sigma^{2}}(Y-X\boldsymbol{\beta})^{T}(Y-X\boldsymbol{\beta}) \right\}

此时

\log L=-\frac{n}{2}\log(2\pi)-\frac{n}{2}\log(\sigma^{2})-\frac{1}{2\sigma^{2}}SSE

将

\hat{\sigma^{2}=\frac{1}{n}}SSE

代入有

\log L=-\frac{n}{2}\log(2\pi)-\frac{n}{2}\log\left( \frac{SSE}{n} \right)-\frac{n}{2}

代入ALC表达式，略去与

p

无关的式子有

AIC=n\log(SSE)+2p

Definition (BIC准则)

BIC=-2\log(L(\hat{\theta},x))+p\log n

Definition ( $C_{p}$ 统计量)

C_{p}=\frac{SSE}{\hat{\sigma^{2}}}-n+2(p+1)

考虑

\min E(\left\lVert \mu-X\hat{\beta} \right\rVert^{2} )

注意到

\begin{align*} E(\left\lVert \mu-X\hat{\beta} \right\rVert^{2} ) & = E(\left\lVert \mu-HY \right\rVert^{2} ) \\ & = E(\left\lVert \mu-H(\mu+\varepsilon) \right\rVert ^{2}) \\ & = E(\left\lVert (I_{n}-H)\mu-H\varepsilon \right\rVert^{2} ) \\ & =E(\left\lVert (I_{n}-H)\mu \right\rVert ^{2})+E(\left\lVert H\varepsilon \right\rVert ^{2}) \\ & =\mu ^{T}(I_{n}-H)\mu+\sigma^{2}(p+1) \end{align*}

而注意到

\begin{align*} E(SSE) & = E(Y^{T}(I_{n}-H)Y) \\ & = \mu ^{T}(I_{n}-H)\mu+\sigma^{2}(n-p-1) \\ & =E(\left\lVert \mu-X\hat{\beta} \right\rVert^{2} ) + \sigma^{2}(n-2p-2) \end{align*}

因此得到

\frac{E(\left\lVert \mu-X\beta \right\rVert ^{2})}{\sigma^{2}}=\frac{E(SSE)}{\sigma^{2}}-n+2(p+1)

从而

C_{p}=\frac{SSE}{\sigma^{2}}-n+2(p+1)

3. 逐步回归

Definition (前进法)

初始化。对m个自变量建立m个一元回归方程，进行F检验，取最大者引入回归方程。
将其余各自引入构建m-1个二元回归方程，进行偏F检验，选取最大者引入回归方程。
重复步骤，直到偏F统计量均小于 $F_{\alpha}(1,n-p-1)$ 为止，

Definition (后退法)

用全部m个变量建立回归方程，计算m个回归系数的偏F统计量，取最小者剔除。
对剩余m-1个建立回归方程，计算m-1个回归系数的偏F统计量，取最小者剔除。
重复步骤，直到偏F统计量均大于 $F_{\alpha}(1,n-p-1)$ 为止。

Definition (逐步回归法)

按照前进法选择偏F统计量最大的自变量，若其偏F统计量 $F_{j}^{1}\geq F_{\alpha_{in}}(1,n-2)$ ，则引入。
按照前进法引入第二个变量，对第一步引入 $X_{j}$ 进行偏F检验，若 $F_{j}^{1}< F_{\alpha_{in}}(1,n-3)$ ，则将 $X_{j}$ 剔除；否则继续引入第三个变量。
重复步骤，每引入变量均对原有的变量进行偏F检验，确保方程中只包含显著的变量。
其中需满足 $\alpha_{in}<\alpha_{out}$ （进入模型需要更强的证据）。

4. 基于惩罚的模型选择

Definition (Lasso)

\hat{\beta} ^{alasso}=\arg\min\left\{ \sum_{i = 1}^{n} (Y_{i}-X_{i}\beta)^{2}+\lambda \sum_{j = 1}^{m} w_{j}\lvert \beta_{j} \rvert \right\}

Definition (SCAD)

\hat{\beta} ^{SCAD}=\arg\min\left\{ \sum_{i = 1}^{n} (Y_{i}-X_{i}\beta)^{2}+\sum_{j = 1}^{m} \rho_{\lambda}(\lvert \beta_{j} \rvert ) \right\}

Definition (MCP)

\hat{\beta}^{MCP}=\arg\min\left\{ \sum_{i = 1}^{n} (Y_{i}-X_{i}\beta)^{2}+\sum_{j = 1}^{m} \beta_{\lambda}(\lvert \beta_{j} \rvert ) \right\}

Definition (弹性网)

\hat{\beta} _{\lambda_{1},\lambda_{2}}^{EN}=\arg\min\left\{ \sum_{i = 1}^{n} (Y_{i}-X_{i}\beta)^{2}+\lambda_{1}\sum_{j = 1}^{m} \lvert \beta_{j} \rvert +\lambda_{2}\sum_{j = 1}^{m} \beta_{j}^{2} \right\}

05模型选择

05模型选择

1. 全模型与选模型

2. 全子集回归

3. 逐步回归

4. 基于惩罚的模型选择

ON THIS PAGE