02-1多元线性回归

1. 定义

同样随机误差项满足高斯-马尔可夫条件（Gauss-Markov）条件，即

同时满足正态性假定

2. 参数估计

2.1 最小二乘估计

考虑

因此有

即有

2.2 极大似然估计

考虑似然函数

因此

此时

同样可以得到的极大似然估计

3. 参数性质

3.1 帽子矩阵

注意到

令

称为投影阵或帽子矩阵，从而

证明
显然

---

证明

---

证明
由幂等性与可得。

证明
由幂等性知特征值均为0或1，因此特征值大于等于0$\implies$非负定性。

---

证明
对称性显然，而

故证毕。

证明

法一
注意到

因此

另一方面，由定义有

此时

因此，从而

故证毕。

法二
由特征值分解

其中为正交矩阵。此时

由于只能取0或1，易得

证明
注意到

即得。

3.2 性质

证明

证明

证明
显然为的线性无偏估计，下面证明为最小方差无偏估计。

设为的任一线性无偏估计，此时

因此有

考虑

证明

3.3 残差性质

证明

注意到

而

因此

故

证明
对进行特征值分解

其中为正交矩阵。此时

设，由于正交，因此

此时

故证毕。

再证明该定理。注意到

一方面

另一方面对称幂等，由引理证毕。

证明
由与独立易证。