05模型选择

Lingfeng 2024-11-29

05模型选择

1. 全模型与选模型

Definition (全模型与选模型)

全部 $m$ 个自变量建立的回归模型称为全模型 $Y=X_{\Omega}\boldsymbol{\beta}+\varepsilon$ 其中 $\boldsymbol{\hat{\beta} }=(X_{\Omega}^{T}X_{\Omega})^{-1}X_{\Omega}^{T}Y$ 从 $m$ 个自变量中挑选 $p$ 个自变量建立回归模型称为选模型 $Y=X_{\mathcal{A}}\alpha+\eta$ 得到 $\boldsymbol{\hat{\alpha}}=(X_{\mathcal{A}}^{T}X_{\mathcal{A}})^{-1}X_{\mathcal{A}}^{T}Y$

Theorem (选模型性质)

选模型不是无偏估计
选模型方差更小

证明
首先 $\begin{align*} E(\hat{\boldsymbol{\alpha}}) & =(X_{\mathcal{A}}^{T}X_{\mathcal{A}})^{-1}X_{\mathcal{A}}^{T}X_{\Omega}\boldsymbol{\beta} \\ & = (X_{\mathcal{A}}^{T}X_{\mathcal{A}})^{-1}X_{\mathcal{A}}^{T}\begin{pmatrix} X_{\mathcal{A}} & X_{\mathcal{A}^{c}} \end{pmatrix}\begin{pmatrix} \boldsymbol{\beta}_{\mathcal{A}} \\ \boldsymbol{\beta}_{\mathcal{A}^{c}} \end{pmatrix} \\ & =\boldsymbol{\beta}_{\mathcal{A}}+(X^{T}_{\mathcal{A}}X_{\mathcal{A}})^{-1}X_{\mathcal{A}}^{T}X_{\mathcal{A}^{c}}\boldsymbol{\beta}_{A^{c}} \\ & = \boldsymbol{\beta}_{\mathcal{A}}+B\boldsymbol{\beta}_{\mathcal{A}^{c}} \end{align*}$ 在计算方差 $Var(\hat{\boldsymbol{\alpha}})=\sigma^{2}(X_{\mathcal{A}}^{T}X_{\mathcal{A}})^{-1}$

2. 全子集回归

Definition (调整R方)

R^{2}_{a}=1-\frac{SSE / (n-p-1)}{SST / (n-1)}=1- \frac{n-1}{n-p-1}(1-R^{2})

Definition (AIC准则)

$AIC=-2\log(L(\hat{\theta}_{L},x))+2p$ 若误差项服从正态分布，则 $AIC=n\log(SSE)+2p$

证明
设 $\varepsilon\sim N(0,\sigma^{2})$ ，则 $L(\boldsymbol{\beta},\sigma^{2})= \left( \frac{1}{\sqrt{ 2\pi }\sigma} \right)^{n}\exp \left\{ -\frac{1}{2\sigma^{2}}(Y-X\boldsymbol{\beta})^{T}(Y-X\boldsymbol{\beta}) \right\}$ 此时 $\log L=-\frac{n}{2}\log(2\pi)-\frac{n}{2}\log(\sigma^{2})-\frac{1}{2\sigma^{2}}SSE$ 将 $\hat{\sigma^{2}=\frac{1}{n}}SSE$ 代入有 $\log L=-\frac{n}{2}\log(2\pi)-\frac{n}{2}\log\left( \frac{SSE}{n} \right)-\frac{n}{2}$ 代入ALC表达式，略去与 $p$ 无关的式子有 $AIC=n\log(SSE)+2p$

Definition (BIC准则)

$BIC=-2\log(L(\hat{\theta},x))+p\log n$ 若误差项服从正态分布，则 $BIC=n\log(SSE)+p\log n$

Definition ( $C_{p}$ 统计量)

C_{p}=\frac{SSE}{\hat{\sigma^{2}}}-n+2(p+1)

考虑 $\min E(\left\lVert \mu-X\hat{\beta} \right\rVert^{2} )$ 注意到 $\begin{align*} E(\left\lVert \mu-X\hat{\beta} \right\rVert^{2} ) & = E(\left\lVert \mu-HY \right\rVert^{2} ) \\ & = E(\left\lVert \mu-H(\mu+\varepsilon) \right\rVert ^{2}) \\ & = E(\left\lVert (I_{n}-H)\mu-H\varepsilon \right\rVert^{2} ) \\ & =E(\left\lVert (I_{n}-H)\mu \right\rVert ^{2})+E(\left\lVert H\varepsilon \right\rVert ^{2}) \\ & =\mu ^{T}(I_{n}-H)\mu+\sigma^{2}(p+1) \end{align*}$ 而注意到 $\begin{align*} E(SSE) & = E(Y^{T}(I_{n}-H)Y) \\ & = \mu ^{T}(I_{n}-H)\mu+\sigma^{2}(n-p-1) \\ & =E(\left\lVert \mu-X\hat{\beta} \right\rVert^{2} ) + \sigma^{2}(n-2p-2) \end{align*}$ 因此得到 $\frac{E(\left\lVert \mu-X\beta \right\rVert ^{2})}{\sigma^{2}}=\frac{E(SSE)}{\sigma^{2}}-n+2(p+1)$ 从而 $C_{p}=\frac{SSE}{\sigma^{2}}-n+2(p+1)$

3. 逐步回归

Definition (前进法)

初始化。对m个自变量建立m个一元回归方程，进行F检验，取最大者引入回归方程。
将其余各自引入构建m-1个二元回归方程，进行偏F检验，选取最大者引入回归方程。
重复步骤，直到偏F统计量均小于 $F_{\alpha}(1,n-p-1)$ 为止，

Definition (后退法)

用全部m个变量建立回归方程，计算m个回归系数的偏F统计量，取最小者剔除。
对剩余m-1个建立回归方程，计算m-1个回归系数的偏F统计量，取最小者剔除。
重复步骤，直到偏F统计量均大于 $F_{\alpha}(1,n-p-1)$ 为止。

Definition (逐步回归法)

按照前进法选择偏F统计量最大的自变量，若其偏F统计量 $F_{j}^{1}\geq F_{\alpha_{in}}(1,n-2)$ ，则引入。
按照前进法引入第二个变量，对第一步引入 $X_{j}$ 进行偏F检验，若 $F_{j}^{1}< F_{\alpha_{in}}(1,n-3)$ ，则将 $X_{j}$ 剔除；否则继续引入第三个变量。
重复步骤，每引入变量均对原有的变量进行偏F检验，确保方程中只包含显著的变量。
其中需满足 $\alpha_{in}<\alpha_{out}$ （进入模型需要更强的证据）。

4. 基于惩罚的模型选择

Definition (Lasso)

\hat{\beta} ^{alasso}=\arg\min\left\{ \sum_{i = 1}^{n} (Y_{i}-X_{i}\beta)^{2}+\lambda \sum_{j = 1}^{m} w_{j}\lvert \beta_{j} \rvert \right\}

Definition (SCAD)

$\hat{\beta} ^{SCAD}=\arg\min\left\{ \sum_{i = 1}^{n} (Y_{i}-X_{i}\beta)^{2}+\sum_{j = 1}^{m} \rho_{\lambda}(\lvert \beta_{j} \rvert ) \right\}$ 其中 $\rho_{\lambda}(\lvert \beta_{j} \rvert )=\begin{cases} \lambda \lvert \beta_{j} \rvert, & 0\leq \lvert \beta_{j} \rvert <\lambda \\ -\frac{\lvert \beta_{j} \rvert^{2}-2a\lambda \lvert \beta_{j} \rvert+\lambda^{2} }{2(a-1)}, & \lambda\leq \lvert \beta_{j} \rvert<a\lambda \\ \frac{(a+1)\lambda^{2}}{2}, & \lvert \beta_{j} \rvert\geq a\lambda \end{cases}$

Definition (MCP)

$\hat{\beta}^{MCP}=\arg\min\left\{ \sum_{i = 1}^{n} (Y_{i}-X_{i}\beta)^{2}+\sum_{j = 1}^{m} \beta_{\lambda}(\lvert \beta_{j} \rvert ) \right\}$ 其中 $\rho_{\lambda}(\lvert \beta_{j} \rvert )=\lambda \int _{0}^{\lvert \beta_{j} \rvert }\left( 1-\frac{x}{\gamma\lambda} \right)_{+} \, dx$

Definition (弹性网)

\hat{\beta} _{\lambda_{1},\lambda_{2}}^{EN}=\arg\min\left\{ \sum_{i = 1}^{n} (Y_{i}-X_{i}\beta)^{2}+\lambda_{1}\sum_{j = 1}^{m} \lvert \beta_{j} \rvert +\lambda_{2}\sum_{j = 1}^{m} \beta_{j}^{2} \right\}