01一元线性回归

Lingfeng2024-10-08

01一元线性回归

1. 定义

Definition (一元线性回归模型)

给定样本，，，，有样本回归模型

其中以及都是相互独立的随机变量，而是非随机变量。

其中随机误差项满足高斯-马尔可夫条件（Gauss-Markov）条件，即

同时满足正态性假定

Corollary (的性质)

在高斯-马尔科夫条件下，有

在正态性假设下有

2. 参数估计方法

Theorem (和表达式)

2.1 最小二乘法

考虑

此时考虑

解得

2.2 极大似然法

注意到

因此构建

此时

同样考虑

此时得到相同结果，并得到方差的极大似然估计

2.3 矩估计

对于随机变量，有

使用矩估计

显然也能得到相同条件。

3. 参数估计性质

3.1 线性

Theorem (线性)

估计量，为随机变量的线性函数。其中

证明
注意到

因此

3.2 无偏性

Theorem (无偏性)

，是，的无偏估计。即

证明
考虑

因此

同时

因此

3.3 和方差

Theorem (和方差)

证明
由于相互独立，因此

同理

Corollary (和的分布)

3.4 与的协方差

Corollary (与相关性)

当时，与相互独立。

3.5 高斯-马尔科夫定理

Theorem (高斯-马尔科夫定理)

在满足高斯-马尔可夫条件下，和是和的最佳无偏估计，即最小方差线性无偏估计(BLUE)。

证明
设，且其为的无偏估计。此时有

因此得到

此时

注意到

故证毕。

同理，设，也有

此时

故证毕。

4. 模型推断

4.1 t检验

我们建立统计假设为

此时若原假设成立，有

因此构造

其中

此时自由度为的分布。

4.2 F检验

Theorem (平方和分解式)

此时构造

服从自由度为的分布。

Theorem (t检验和F检验的等价性)

证明
注意到

代入即得结果。

4.3 相关系数

Definition (相关系数)

Definition (决定系数)

Theorem (相关系数与决定系数的关系)

证明
显然

Theorem (决定系数与t检验的关系)

证明
只需证明

即证

而

故显然成立。

5. 残差分析

Theorem (性质一)

Theorem (性质二)

证明
注意到

同时

因此

此时

下面计算协方差。注意到

此时

同时

因此

Corollary (的分布)

Corollary (的无偏估计)

证明

法一
注意到

同时

注意到

因此

最后

法二

Theorem (性质三)

Definition (改进残差)

6. 回归系数的区间估计

Theorem (的置信区间)

的置信度为的置信区间为

证明
注意到

即得

7. 模型预测

7.1 单值预测

给定一个新样本，其对应预测值为

其为目标值的无偏估计。

7.2 因变量新值的区间估计

Theorem (的分布)

证明
由之前定理知显然成立。

因此

此时得到统计量

得到置信度为置信区间为

当样本量较大，较小时，接近于零，因此置信度的置信区间近似为

7.3 因变量新值的平均值的区间预测

注意到为常数，因此

因此置信度为置信区间为