07EM算法

Lingfeng2025-05-23

07EM算法

1. EM 算法步骤

Definition (EM 算法)

设观测数据为，没有观测到的隐含数据为，完整数据为。完整数据联合分布为，条件分布记为。EM 迭代算法如下：

E 步：记表示第步得到的参数估计，首先利用 Bayes 公式计算后验概率
定义
即为极大似然估计
M 步，得到

2. 特殊分布参数的 EM 算法

2.1 伯努利分布的 EM 算法

Example (两枚硬币出现正面概率的 EM 算法)

假设有，两枚硬币，其中正面朝上的概率分别为，，这两个参数是感兴趣的待估参数。设计组实验，每次实验投掷次硬币，第组实验结果为，，表示硬币出现正反面结果。
设表示是硬币还是硬币投的结果，给出 EM 算法步骤。

首先 E 步。考虑计算

其中表示硬币的先验分布。且设，有

因此计算

再计算 M 步骤。令

即得

同理

2.2 多项分布参数的 EM 算法

Example (多项分布的 EM 算法)

设满足多项分布，参数，待估参数为。观测数据为，其中。
此时隐藏变量为，给出 EM 算法步骤。

首先 E 步。考虑

即。因此

再考虑 M 步。令

得到

2.3 正态分布参数 EM 估计

Example (正态分布的 EM 估计)

设，其中，对于观测数据，未知数据，待估参数为和。给出 EM 算法步骤。

考虑

令

因此

3. 混合模型的 EM 算法

Definition (混合模型的 EM 算法)

设数据集由个总体组成，有

若观测数据为，未观测数据为，其中表示数据的来源。待估参数为与，则

其中

更新为

由于有约束，因此引入拉格朗日乘子，有

即得

代入约束有

从而，因此

Example (高斯混合分布的 EM 算法)

有个维均值为，方差为的正态分布，此时

观测数据为，未观测数据为，其中表示数据的来源。待估参数为，给出EM算法步骤。

考虑

计算

注意到

因此解得

07EM算法

07EM算法

1. EM 算法步骤

2. 特殊分布参数的 EM 算法

2.1 伯努利分布的 EM 算法

2.2 多项分布参数的 EM 算法

2.3 正态分布参数 EM 估计

3. 混合模型的 EM 算法

ON THIS PAGE