03违背基本假设的情况

Lingfeng 2024-11-05

03违背基本假设的情况

1. 回归模型的诊断

Theorem (残差 $e$ 的性质)

E(e)=0,Cov(e)=\sigma^{2}(I-H)

Definition (学生化残差)

$r_{i}= \frac{e_{i}}{\hat{\sigma}\sqrt{ 1-h_{ii} }}$ 其中 $\hat{\sigma}=\sqrt{ \frac{SSE}{n-p} }$ 。近似的认为 $r_{i}\sim N(0,1)$ 。

2. 异方差性

Definition (异方差性)

若随机误差存在异方差性，即 $Var(\varepsilon)=\sigma^{2}\Lambda$ 此时有 $Var(\boldsymbol{\beta})=(X^{T}X)^{-1}X^{T}\Lambda X(X^{T}X)^{-1}$

Definition (Spearman检验)

取 $e_{i}$ 的绝对值，将 $X_{i}$ 和 $\lvert e_{i} \rvert$ 按递增或递减的次序排列后给出各自的次序等级，计算 $r_{s}=1-\frac{6}{n(n^{2}-1)}\sum_{i = 1}^{n} d_{i}^{2}$ 其中 $d_{i}$ 为次序等级之差。此时当 $n>8$ 时检验统计量 $t=\frac{\sqrt{ n-2 }r_{s}}{\sqrt{ 1-r_{s}^{2} }}\sim t(n-2)$

Definition (G-Q检验)

将样本观测值按 $X_{i}$ 大小进行排序，剔除中间 $m$ 个观测，对剩余等分为2个样本分布进行回归分析，此时 $\begin{align*}F & =\frac{\sum e_{1i}^{2} / \left( \frac{n-m}{2}-p -1\right) }{\sum e_{2i}^{2} / \left( \frac{n-m}{2}-p -1\right) }\\ &=\frac{\sum e_{1i}^{2}}{\sum e_{2i}^{2}}\sim F\left( \left( \frac{n-m}{2}-p -1\right),\left( \frac{n-m}{2}-p -1\right)\right)\end{align*}$

Definition (加权最小二乘法)

考虑 $Q_{w}(\beta)=(Y-X\boldsymbol{\beta})^{T}\Omega(Y-X\boldsymbol{\beta})$ 其中 $\Omega=\mathrm{diag}\{ \omega_{1},\dots,\omega_{n} \}$ 。此时 $\boldsymbol{\beta}=(X^{T}\Omega X)^{-1}X^{T}\Omega Y$
为了消除异方差，我们一般取 $\Omega=\Lambda^{-1}$ 。若已知 $\sigma^{2}_{i}=\sigma^{2}f(X_{i})$ ，则取 $\Omega=\mathrm{diag}(f(X))^{-1}$

3. 自相关

3.1 自相关检验

Definition (自相关系数)

\rho= \frac{\sum_{t = 2}^{n} \varepsilon_{t}\varepsilon_{t-1}}{\sqrt{ \sum_{t = 2}^{n} \varepsilon_{t}^{2} }\sqrt{ \sum_{t = 2}^{n} \varepsilon_{t-1}^{2} }}

Definition (一阶自相关)

\varepsilon_{t}=\rho\varepsilon_{t-1}+u_{t}

Theorem (一阶自相关误差方差)

$\sigma_{\varepsilon}^{2}=\frac{\sigma^{2}}{1-\rho^{2}}$ 其协方差为 $Cov(\varepsilon_{t},\varepsilon_{t-k})=\rho^{k}\sigma^{2}_{\varepsilon}$

证明
注意到 $\begin{align*} Var(\varepsilon_{t}) & =\rho^{2}Var(\varepsilon_{t-1})+\sigma^{2}+2\rho Cov(\varepsilon_{t-1},u_{t}) \\ & = \rho^{2}Var(\varepsilon_{t-1})+\sigma^{2} \end{align*}$ 我们认为 $Var(\varepsilon_{t})=Var(\varepsilon_{t-1})=\sigma_{\varepsilon}^{2}$ 因此有 $\sigma^{2}_{\varepsilon}=\frac{\sigma^{2}}{1-\rho^{2}}$ 此时 $Cov(\varepsilon_{t},\varepsilon_{t-1})=\rho\sigma^{2}_{\varepsilon}$ 由递推可证一般情况。

Theorem (一阶自相关方差估计)

在一阶自相关方差下有 $\hat{\sigma^{2}}=\frac{SSE}{n-tr(H\Sigma)}$

此时 $\begin{align*} E(SSE) & =E(\boldsymbol{e}^{T}\boldsymbol{e}) \\ & =E(\varepsilon ^{T}(I-H)\varepsilon) \\ & =\sigma^{2}tr((I-H)R) \\ & = \sigma^{2}(n-tr(HR)) \end{align*}$ 考虑 $p=1$ 时 $\begin{align*} tr(HR) & = \sum_{i = 1}^{n} \sum_{j = 1}^{n} h_{ij}\rho^{\lvert i-j \rvert } \\ & = \sum_{k = 1}^{n} h_{kk}+2\sum_{k = 1}^{n-1} \rho^{k}\left( \sum_{i = 1}^{n-k} h_{i,i+k} \right) \\ & =2+2\sum_{k = 1}^{n-1} \rho^{k}\left( \sum_{i = 1}^{n-k} h_{i,i+k} \right) \end{align*}$ 为了计算简便，我们不妨假设 $X$ 已做标准化处理，此时 $h_{ij}=\frac{1}{n}+ X_{i}X_{j}$ 此时 $\begin{align*} tr(HR) & =2+2\sum_{k = 1}^{n} \rho^{k}\left( \sum_{i = 1}^{n-k} \left( \frac{1}{n} +X_{i}X_{i+k}\right) \right) \\ & = 2+2\sum_{k = 1}^{n} \rho^{k}\left( 1-\frac{k}{n}+\sum_{i = 1}^{n-k} X_{i}X_{i+k}\right) \end{align*}$ 因此 $E(SSE)=\sigma^{2}\left( n-2-2\sum_{k = 1}^{n} \rho^{k}\left( 1-\frac{k}{n}+\sum_{i = 1}^{n-k} X_{i}X_{i+k} \right) \right)$

Definition (DW检验)

DW=\frac{\sum_{t = 2}^{n} (e_{t}-e_{t-1})^{2}}{\sum_{t = 2}^{n} e_{t}^{2}}\approx 2(1-\hat{\rho})

证明
$\begin{align*} DW & =\frac{\sum_{t = 2}^{n} (e_{t}-e_{t-1})^{2}}{\sum_{t = 2}^{n} e_{t}^{2}} \\ & = \frac{\sum_{t = 2}^{n} e_{t}^{2}+\sum_{t = 2}^{n} e_{t-1}^{2}-2\sum_{t = 2}^{n} e_{t}e_{t-1}}{\sum_{t = 2}^{n} e_{t}^{2}} \end{align*}$ 近似认为 $\sum_{t = 2}^{n}e_{t}^{2}=\sum_{t = 2}^{n}e_{t-1}^{2}$ ，因此 $DW\approx 2\left( 1-\frac{\sum_{t = 2}^{n} e_{t}e_{t-1}}{\sum_{t = 2}^{n} e_{t}^{2}} \right)\approx 2(1-\hat{\rho})$

$\hat{\rho}$	DW	自相关性
-1	4	完全负相关
(-1,0)	(2,4)	负自相关
0	2	无自相关
(0,1)	(0,2)	正相关
1	0	完全自相关

3.2 自相关改进方法

Definition (迭代法)

对于 $Y=X\beta+\varepsilon$ ，其中 $\varepsilon$ 满足一阶自相关，此时令 $\begin{align*} Y'_{t} & =Y_{t}-\rho Y_{t-1} \\ X'_{t} & =X_{t}-\rho X_{t-1}\end{align*}$ 其中 $\hat{\rho}\approx 1-\frac{1}{2}DW$ 。此时构建 $Y'=X'\beta'+u$ 满足基本假定。

Definition (差分法)

构建 $\Delta Y=\beta\Delta X+u$

4. 异常值和强影响点

4.1 关于因变量Y的异常值

Definition (标准化残差与学生化残差)

\begin{align*}ZRE_{i}&= \frac{e_{i}}{\hat{\sigma}} \\ r_{i}&= \frac{e_{i}}{\hat{\sigma}\sqrt{ 1-h_{ii} }} \end{align*}

Definition (删除残差)

e_{(i)}=Y_{i}-\hat{Y}_{(i)}

Theorem (删除残差与学生化残差的关系)

$e_{(i)}= \frac{e_{i}}{1-h_{ii}}$ 删除学生化残差为 $r_{(i)}=r_{i}\left( \frac{n-p-2}{n-p-1-r_{i}^{2}} \right)^{1/2}$

证明

法一
注意到 $\begin{align*} (X^{T}_{(i)}X_{(i)})^{-1} & =(X^{T}X-X_{i}X_{i}^{T})^{-1} \\ & = (X^{T}X)^{-1}+ \frac{(X^{T}X)^{-1}X_{i}X_{i}^{T}(X^{T}X)^{-1}}{1-h_{ii}} \end{align*}$ 两边乘以 $X_{i}$ 有 $(X_{(i)}^{T}X_{(i)})^{-1}X_{i}=(X^{T}X)^{-1}X_{i}+ \frac{h_{ii}}{1-h_{ii}}(X^{T}X)^{-1}X_{i}=\frac{1}{1-h_{ii}}(X^{T}X)^{-1}X_{i}$ 而 $X_{(i)}^{T}Y_{(i)}=X^{T}Y-X_{i}Y_{i}$ 因此 $\begin{align*} \hat{\beta}_{(i)} & =(X_{(i)}^{T}X_{(i)})^{-1}X_{(i)}^{T}Y_{(i)} \\ & =(X_{(i)}^{T}X_{(i)})^{-1}(X^{T}Y-X_{i}Y_{i}) \\ & = \hat{\beta} + \frac{(X^{T}X)^{-1}X_{i}X_{i}^{T}}{1-h_{ii}}\hat{\beta} - \frac{(X^{T}X)^{-1}X_{i}Y_{i}}{1-h_{ii}} \\ & =\hat{\beta } - \frac{e_{i}}{1-h_{ii}}(X^{T}X)^{-1}X_{i} \end{align*}$ 此时 $\begin{align*} \hat{Y}_{(i)} & =X_{i}\hat{\beta} _{(i)} \\ & = \hat{Y}_{i}-\frac{h_{ii}}{1-h_{ii}}e_{i} \end{align*}$ 因此 $e_{(i)}=Y_{i}-\hat{Y}_{(i)}=e_{i}+\frac{h_{ii}}{1-h_{ii}}e_{i}=\frac{e_{i}}{1-h_{ii}}$

法二
设 $Y=X\boldsymbol{\beta}+\eta d_{j}+\boldsymbol{\varepsilon}$ 此时设 $\tilde{X}=\begin{pmatrix} X & d_{j} \end{pmatrix}$ 有 $\tilde{X}^{T}\tilde{X}=\begin{pmatrix} X^{T} \\ d_{j}^{T} \end{pmatrix}\begin{pmatrix} X & d_{j} \end{pmatrix}=\begin{pmatrix} X^{T}X & X_{j} \\ X_{j}^{T} & 1 \end{pmatrix}$ 因此 $\begin{align*} (\tilde{X}^{T}\tilde{X})^{-1} & =\begin{pmatrix} X^{T}X & X_{j} \\ X_{j}^{T} & 1 \end{pmatrix}^{-1} \\ & = \begin{pmatrix} I & -(X^{T}X)^{-1}X_{j}\\ 0 & I \end{pmatrix}\begin{pmatrix} (X^{T}X)^{-1} & 0 \\ 0 & \frac{1}{1-h_{jj}} \end{pmatrix}\begin{pmatrix} I & 0 \\ -X_{j}^{T}(X^{T}X)^{-1 } & I \end{pmatrix} \\ & =\begin{pmatrix} (X^{T}X)^{-1 } + \frac{(X^{T}X)^{-1}X_{j}X^{T}_{j}(X^{T}X)^{-1}}{1-h_{jj}} & - \frac{(X^{T}X)^{-1}X_{j}}{1-h_{jj}} \\ -\frac{X_{j}^{T}(X^{T}X)^{-1}}{1-h_{jj}} & \frac{1}{1-h_{jj}} \end{pmatrix} \end{align*}$ 而 $\tilde{X}^{T}Y=\begin{pmatrix} X ^{T}Y \\ Y_{j} \end{pmatrix}$ 因此由 $\begin{pmatrix} \hat{\boldsymbol{\beta}} \\ \hat{\eta} \end{pmatrix}=(\tilde{X}^{T}\tilde{X})^{-1}(\tilde{X}^{T}Y)$ 得到 $\begin{align*} \hat{\eta} & =\frac{1}{1-h_{jj}}(Y_{j}-X_{j}^{T}(X^{T}X)^{-1}X^{T}Y) \\ & =\frac{1}{1-h_{jj}}(Y_{j}-X_{j}^{T}\boldsymbol{\beta}) \\ & =\frac{e_{j}}{1-h_{jj}} \end{align*}$

Definition (异常值点)

删除学生化残差的绝对值大于 3的点称为异常值点。

4.2 关于自变量X的异常值

Definition (杠杆点)

h_{ii}> \frac{2p}{n}

Definition (Cook统计量)

$D_{i}=\frac{(\hat{\beta} -\hat{\beta} _{(i)})^{T}X^{T}X(\hat{\beta} -\hat{\beta} _{(i)})}{p\hat{\sigma^{2}}}$ 其中 $\hat{\sigma^{2}}=\frac{\left\lVert Y-X\hat{\beta} \right\rVert^{2}}{n-p}$ 。

Theorem (Cook统计量与学生化残差关系)

D_{i}=\frac{1}{p}\left( \frac{h_{ii}}{1-h_{ii}} \right)r_{i}^{2}

证明
由前面的证明得到 $\hat{\beta} -\hat{\beta} _{(i)}=\frac{e_{i}}{1-h_{ii}}(X^{T}X)^{-1}X_{i}$ 因此 $\begin{align*} D_{i} & =\frac{1}{p\hat{\sigma^{2}}}\left( \frac{e_{i}}{1-h_{ii}} \right)^{2}(X (X^{T}X)^{-1}X_{i})^{2} \\ & = \frac{1}{p\hat{\sigma^{2}}}\left( \frac{e_{i}}{1-h_{ii}} \right)^{2}h_{ii} \\ & = \frac{1}{p}\left( \frac{h_{ii}}{1-h_{ii}} \right)r_{i}^{2} \end{align*}$

Theorem (强影响点)

Cook统计量较大的点称为强影响点。

4.3 BOX-COX变换

Definition (BOX-COX变换)

Y^{(\lambda)}=\begin{cases} \frac{Y^{\lambda }-1}{\lambda}, & \lambda\neq 0 \\ \ln Y, & \lambda=0 \end{cases}

此时似然函数为 $L(\boldsymbol{\beta},\sigma^{2})=\frac{1}{(\sqrt{ 2\pi }\sigma)^{n}}\exp \left\{ -\frac{1}{2\sigma^{2}}(Y^{(\lambda)}-X\boldsymbol{\beta})^{T} (Y^{(\lambda)}-X\boldsymbol{\beta}) \right\}J$ 其中 $J=\prod_{i=1}^{n}y_{i}^{\lambda-1}$ 注意到 $J$ 为常数，因此 $\boldsymbol{\hat{\beta} }=(X^{T}X)^{-1}X^{T}Y^{(\lambda)}$ 此时令 $SSE(\lambda,Y^{(\lambda)})=Y^{(\lambda)T}(I-H)Y^{(\lambda)}$ 对应似然函数最大值为 $L(\lambda)=(2\pi\sigma)^{-n/2}J \left( \frac{SSE(\lambda,Y^{(\lambda)})}{n} \right)^{-n/2}$ 从而 $\begin{align*} \ln L & =-\frac{n}{2}\ln SSE(\lambda,Y^{(\lambda)})+\ln J \\ & =-\frac{n}{2}\ln\left( \frac{Y^{(\lambda)T}}{J^{1/n}}(I-H) \frac{Y^{(\lambda)}}{J^{1/n}}\right) \\ & = -\frac{n}{2}\ln SSE(\lambda,Z^{(\lambda)}) \end{align*}$ 其中 $Z^{(\lambda)}=\frac{Y^{(\lambda)}}{J^{1/n}}$ ，即 $Z_{i}^{(\lambda)}=\begin{cases} \frac{Y_{i}^{(\lambda) }-1}{\lambda\left( \prod_{i=1}^{n}Y_{i} \right)^{\lambda-1/n}}, & \lambda\neq 0 \\ \ln Y_{i}\left( \prod_{i=1}^{n}Y_{i} \right)^{1/n}, & \lambda=0 \end{cases}$

5. 广义最小二乘估计

Definition (广义最小二乘估计)

令 $Z=\Sigma^{-1/2}Y$ ， $U=\Sigma^{-1/2}X$ ， $\epsilon=\Sigma^{-1/2}\varepsilon$ ，此时建立线性回归模型 $Z=U\boldsymbol{\beta}+\epsilon$ 有 $E(\epsilon)=0,\quad Cov(\epsilon)=\sigma^{2}I$ 此时最小二乘估计为 $\boldsymbol{\beta}^{*}=(X^{T}\Sigma^{-1}X)^{-1}X^{T}\Sigma^{-1}Y$

Theorem (广义最小二乘性质)

$\begin{align*}E(\boldsymbol{\beta}^{*})&=\boldsymbol{\beta}\\Cov(\boldsymbol{\beta}^{*})&= \sigma^{2 }(X^{T}\Sigma^{-1}X)^{-1} \end{align*}$ 同时 $c^{T}\boldsymbol{\beta}^{*}$ 是 $c^{T}\boldsymbol{\beta}$ 的最小方差无偏估计。