广义偏F检验

Lingfeng2024-11-16

广义偏F检验

Definition (广义偏F检验)

我们定义假设：

\begin{align*} H_{0} & :A\boldsymbol{\beta}=\boldsymbol{b} \\ H_{1} & :A\beta\neq \boldsymbol{b} \end{align*}

则检验量为

F=\frac{(SSE_{H}-SSE) / r}{SSE / (n-p-1)}

其中

r=r(A)

。

证明
我们使用最小二乘法

\begin{align*} & \min_{\boldsymbol{\beta}}\left\lVert Y-X\boldsymbol{\beta} \right\rVert _{2}^{2} \\ & s.t. A\boldsymbol{\beta}=\boldsymbol{b} \end{align*}

设

L(\boldsymbol{\beta})=\left\lVert Y-X\boldsymbol{\beta} \right\rVert _{2}^{2}+2\Lambda ^{T}(A\boldsymbol{\beta}-\boldsymbol{b})

此时

\begin{align*} \frac{ \partial L(\boldsymbol{\beta}) }{ \partial \boldsymbol{\beta} } & = -2X^{T}(Y-X\boldsymbol{\beta})+2A^{T}\Lambda \\ & \propto X^{T}X\boldsymbol{\beta}- X^{T}Y+A^{T}\Lambda=0 \end{align*}

解得

\boldsymbol{\hat{\beta} }_{H}=(X^{T}X)^{-1}(X^{T}Y-A^{T}\Lambda)=\boldsymbol{\hat{\beta} }-(X^{T}X)^{-1}A^{T}\Lambda

此时代入约束条件有

A(\boldsymbol{\hat{\beta} }-(X^{T}X)^{-1}A^{T}\Lambda)=\boldsymbol{b}

从而

\Lambda=(A(X^{T}X)^{-1}A^{T})^{-1}(A\boldsymbol{\hat{\beta} -\boldsymbol{b}})

代回公式有

\boldsymbol{\hat{\beta} }_{H}=\boldsymbol{\hat{\beta} }-(X^{T}X)^{-1}A^{T}(A(X^{T}X)^{-1}A^{T})^{-1}(A\boldsymbol{\hat{\beta} -\boldsymbol{b}})

此时

SSE_{H}=\left\lVert Y-X\boldsymbol{\hat{\beta} }_{H} \right\rVert_{2}^{2}

考虑

\begin{align*} SSE_{H}-SSE & =\left\lVert Y-X\boldsymbol{\hat{\beta} }_{H} \right\rVert_{2}^{2}-\left\lVert Y-X\boldsymbol{\hat{\beta} } \right\rVert_{2}^{2} \\ & = (Y-X\boldsymbol{\hat{\beta} }_{H})^{T}(Y-X\boldsymbol{\hat{\beta} }_{H})-(Y-X\boldsymbol{\hat{\beta} })^{T}(Y-X\boldsymbol{\hat{\beta} }) \\ & = 2Y^{T}X(\boldsymbol{\hat{\beta} }- \boldsymbol{\hat{\beta} }_{H})+\boldsymbol{\hat{\beta} }_{H}^{T}X^{T}X\boldsymbol{\hat{\beta} }_{H}-\boldsymbol{\hat{\beta} }^{T}X^{T}X\boldsymbol{\hat{\beta} } \end{align*}

注意到

Y^{T}X=(X^{T}Y)^{T}=(X^{T}X\boldsymbol{\hat{\beta} })^{T}=\boldsymbol{\hat{\beta} }^{T}X^{T}X

代回有

\begin{align*} SSE_{H}-SSE & =2\boldsymbol{\hat{\beta} }^{T}X^{T}X(\boldsymbol{\hat{\beta} }-\boldsymbol{\hat{\beta} }_{H})+\boldsymbol{\hat{\beta} }_{H}^{T}X^{T}X\boldsymbol{\hat{\beta} }_{H}-\boldsymbol{\hat{\beta} }^{T}X^{T}X\boldsymbol{\hat{\beta} } \\ & = \boldsymbol{\hat{\beta} }^{T}_{H}X^{T}X\boldsymbol{\hat{\beta} }_{H}+\boldsymbol{\hat{\beta} }^{T}X^{T}X\boldsymbol{\hat{\beta} }-2\boldsymbol{\hat{\beta} }^{T}X^{T}X\boldsymbol{\hat{\beta} }_{H} \\ & =(\boldsymbol{\hat{\beta} }-\boldsymbol{\hat{\beta} }_{H})^{T}X^{T}X(\boldsymbol{\hat{\beta} }-\boldsymbol{\hat{\beta} }_{H}) \\ & =((X^{T}X)^{-1}A^{T}\Lambda)^{T}X^{T}X(X^{T}X)^{-1}A^{T}\Lambda \\ & = \Lambda ^{T}A(X^{T}X)^{-1}A^{T}\Lambda \\ & = (A\boldsymbol{\hat{\beta} }-\boldsymbol{b})^{T}(A(X^{T}X)^{-1}A^{T})^{-1}(A\boldsymbol{\hat{\beta} -\boldsymbol{b}}) \end{align*}

注意到

\boldsymbol{\hat{\beta} }\sim N(\boldsymbol{\beta},\sigma^{2}(X^{T}X)^{-1})

如果假设成立，则

A\boldsymbol{\hat{\beta} }-\boldsymbol{b}\sim N(0,\sigma^{2}A(X^{T}X)^{-1}A^{T})

故

SSE_{H}-SSE\sim \chi^{2}(r)

其中

r=r(A)

。

再证明 $SSE_{H}-SSE$ 与 $SSE$ 独立。注意到 $SSE_{H}-SSE$ 仅依赖 $\boldsymbol{\hat{\beta}}$ ， $SSE$ 仅依赖 $\boldsymbol{e}$ 。由 $\boldsymbol{\beta}$ 与 $\boldsymbol{e}$ 独立知成立。