06广义线性回归模型
06广义线性回归模型
1. 模型形式
1.1 指数分布族
证明
注意到此时移项即得同时两边再求导有化简即得
1.2 常见指数分布族
| 分布 | ||||
|---|---|---|---|---|
| 正态 | ||||
| 二项 | 1 | |||
| 泊松 | 1 |
证明
正态分布二项分布泊松分布
1.3 模型构成
2. 二分类Logistic回归模型
2.1 定义
2.2 模型求解
考虑极大似然法，对数似然函数为考虑此时取，此时其中。
其实本质上是构造一阶泰勒展开。注意到因此
2.3 偏差
若相应变量服从正态分布，则且，此时
若服从伯努利分布，则且，此时
证明
注意到此时移项即得同时两边再求导有化简即得
| 分布 | ||||
|---|---|---|---|---|
| 正态 | ||||
| 二项 | 1 | |||
| 泊松 | 1 |
证明
正态分布二项分布泊松分布
考虑极大似然法，对数似然函数为考虑此时取，此时其中。
其实本质上是构造一阶泰勒展开。注意到因此
若相应变量服从正态分布，则且，此时
若服从伯努利分布，则且，此时