广义偏F检验

Lingfeng 2024-11-16

广义偏F检验

Definition (广义偏F检验)

我们定义假设： $\begin{align*} H_{0} & :A\boldsymbol{\beta}=\boldsymbol{b} \\ H_{1} & :A\beta\neq \boldsymbol{b} \end{align*}$ 则检验量为 $F=\frac{(SSE_{H}-SSE) / r}{SSE / (n-p-1)}$ 其中 $r=r(A)$ 。

证明
我们使用最小二乘法 $\begin{align*} & \min_{\boldsymbol{\beta}}\left\lVert Y-X\boldsymbol{\beta} \right\rVert _{2}^{2} \\ & s.t. A\boldsymbol{\beta}=\boldsymbol{b} \end{align*}$
设 $L(\boldsymbol{\beta})=\left\lVert Y-X\boldsymbol{\beta} \right\rVert _{2}^{2}+2\Lambda ^{T}(A\boldsymbol{\beta}-\boldsymbol{b})$ 此时 $\begin{align*} \frac{ \partial L(\boldsymbol{\beta}) }{ \partial \boldsymbol{\beta} } & = -2X^{T}(Y-X\boldsymbol{\beta})+2A^{T}\Lambda \\ & \propto X^{T}X\boldsymbol{\beta}- X^{T}Y+A^{T}\Lambda=0 \end{align*}$ 解得 $\boldsymbol{\hat{\beta} }_{H}=(X^{T}X)^{-1}(X^{T}Y-A^{T}\Lambda)=\boldsymbol{\hat{\beta} }-(X^{T}X)^{-1}A^{T}\Lambda$ 此时代入约束条件有 $A(\boldsymbol{\hat{\beta} }-(X^{T}X)^{-1}A^{T}\Lambda)=\boldsymbol{b}$ 从而 $\Lambda=(A(X^{T}X)^{-1}A^{T})^{-1}(A\boldsymbol{\hat{\beta} -\boldsymbol{b}})$ 代回公式有 $\boldsymbol{\hat{\beta} }_{H}=\boldsymbol{\hat{\beta} }-(X^{T}X)^{-1}A^{T}(A(X^{T}X)^{-1}A^{T})^{-1}(A\boldsymbol{\hat{\beta} -\boldsymbol{b}})$ 此时 $SSE_{H}=\left\lVert Y-X\boldsymbol{\hat{\beta} }_{H} \right\rVert_{2}^{2}$ 考虑 $\begin{align*} SSE_{H}-SSE & =\left\lVert Y-X\boldsymbol{\hat{\beta} }_{H} \right\rVert_{2}^{2}-\left\lVert Y-X\boldsymbol{\hat{\beta} } \right\rVert_{2}^{2} \\ & = (Y-X\boldsymbol{\hat{\beta} }_{H})^{T}(Y-X\boldsymbol{\hat{\beta} }_{H})-(Y-X\boldsymbol{\hat{\beta} })^{T}(Y-X\boldsymbol{\hat{\beta} }) \\ & = 2Y^{T}X(\boldsymbol{\hat{\beta} }- \boldsymbol{\hat{\beta} }_{H})+\boldsymbol{\hat{\beta} }_{H}^{T}X^{T}X\boldsymbol{\hat{\beta} }_{H}-\boldsymbol{\hat{\beta} }^{T}X^{T}X\boldsymbol{\hat{\beta} } \end{align*}$ 注意到 $Y^{T}X=(X^{T}Y)^{T}=(X^{T}X\boldsymbol{\hat{\beta} })^{T}=\boldsymbol{\hat{\beta} }^{T}X^{T}X$ 代回有 $\begin{align*} SSE_{H}-SSE & =2\boldsymbol{\hat{\beta} }^{T}X^{T}X(\boldsymbol{\hat{\beta} }-\boldsymbol{\hat{\beta} }_{H})+\boldsymbol{\hat{\beta} }_{H}^{T}X^{T}X\boldsymbol{\hat{\beta} }_{H}-\boldsymbol{\hat{\beta} }^{T}X^{T}X\boldsymbol{\hat{\beta} } \\ & = \boldsymbol{\hat{\beta} }^{T}_{H}X^{T}X\boldsymbol{\hat{\beta} }_{H}+\boldsymbol{\hat{\beta} }^{T}X^{T}X\boldsymbol{\hat{\beta} }-2\boldsymbol{\hat{\beta} }^{T}X^{T}X\boldsymbol{\hat{\beta} }_{H} \\ & =(\boldsymbol{\hat{\beta} }-\boldsymbol{\hat{\beta} }_{H})^{T}X^{T}X(\boldsymbol{\hat{\beta} }-\boldsymbol{\hat{\beta} }_{H}) \\ & =((X^{T}X)^{-1}A^{T}\Lambda)^{T}X^{T}X(X^{T}X)^{-1}A^{T}\Lambda \\ & = \Lambda ^{T}A(X^{T}X)^{-1}A^{T}\Lambda \\ & = (A\boldsymbol{\hat{\beta} }-\boldsymbol{b})^{T}(A(X^{T}X)^{-1}A^{T})^{-1}(A\boldsymbol{\hat{\beta} -\boldsymbol{b}}) \end{align*}$
注意到 $\boldsymbol{\hat{\beta} }\sim N(\boldsymbol{\beta},\sigma^{2}(X^{T}X)^{-1})$ 如果假设成立，则 $A\boldsymbol{\hat{\beta} }-\boldsymbol{b}\sim N(0,\sigma^{2}A(X^{T}X)^{-1}A^{T})$ 故 $SSE_{H}-SSE\sim \chi^{2}(r)$ 其中 $r=r(A)$ 。

再证明 $SSE_{H}-SSE$ 与 $SSE$ 独立。注意到 $SSE_{H}-SSE$ 仅依赖 $\boldsymbol{\hat{\beta}}$ ， $SSE$ 仅依赖 $\boldsymbol{e}$ 。由 $\boldsymbol{\beta}$ 与 $\boldsymbol{e}$ 独立知成立。