使用矩阵推导一元线性回归相关公式

在【回归分析】01一元线性回归中，一元线性回归的相关公式是通过求和符号进行推导的，虽然直观但过程较为繁琐。而在【回归分析】02多元线性回归中，给出了使用矩阵表示的一般情况，这种方法更加简洁明了。

为了进一步说明矩阵方法的优越性，接下来我们以一元线性回归为例，使用矩阵形式重新推导，目标是得到与求和符号推导相同的结果，同时简化计算过程。

1. 一元情况

1.1 计算

首先考虑，先设

因此

1.2 计算

考虑

接下来分开计算

而

再计算方差。由于

因此方差正好对应对角元，协方差对应非对角元，故非常容易得到

1.3 投影矩阵计算

根据已有，我们接着计算投影矩阵。此时

其中。

2. 一般情况

在很多情况下，我们需要对中的某个分量进行计算，因此，类似于一元线性回归的情况，我们可以对进行矩阵分块处理。

在计算开始之前，我们先设

其中表示中的某一列，表示除去该列以外的部分。

2.1 计算

考虑

其中

而

2.2 计算

由上式

再计算方差，即为最后一个对角元

2.3 投影矩阵计算

注意到

2.4 证明

由定义

而我们已经求出

另一方面

而

因此