05模型选择

Lingfeng2024-11-29

05模型选择

1. 全模型与选模型

Definition (全模型与选模型)

全部个自变量建立的回归模型称为全模型

其中
个自变量中挑选个自变量建立回归模型称为选模型
得到

Theorem (选模型性质)

  1. 选模型不是无偏估计
  2. 选模型方差更小

证明
首先

在计算方差

2. 全子集回归

Definition (调整R方)

Definition (AIC准则)

证明
,则

此时
代入有
代入ALC表达式,略去与无关的式子有

Definition (BIC准则)

Definition (统计量)

考虑

注意到
而注意到
因此得到
从而

3. 逐步回归

Definition (前进法)

  1. 初始化。对m个自变量建立m个一元回归方程,进行F检验,取最大者引入回归方程。
  2. 将其余各自引入构建m-1个二元回归方程,进行偏F检验,选取最大者引入回归方程。
  3. 重复步骤,直到偏F统计量均小于为止,

Definition (后退法)

  1. 用全部m个变量建立回归方程,计算m个回归系数的偏F统计量,取最小者剔除。
  2. 对剩余m-1个建立回归方程,计算m-1个回归系数的偏F统计量,取最小者剔除。
  3. 重复步骤,直到偏F统计量均大于为止。

Definition (逐步回归法)

  1. 按照前进法选择偏F统计量最大的自变量,若其偏F统计量,则引入。
  2. 按照前进法引入第二个变量,对第一步引入进行偏F检验,若,则将剔除;否则继续引入第三个变量。
  3. 重复步骤,每引入变量均对原有的变量进行偏F检验,确保方程中只包含显著的变量。
    其中需满足(进入模型需要更强的证据)。

4. 基于惩罚的模型选择

Definition (Lasso)

Definition (SCAD)

Definition (MCP)

Definition (弹性网)

Last Updated 1/26/2025, 7:48:46 AM