推导EM算法并证明收敛性。

X是随機变量我们有：

忽略证明，该定理并不直观可以用一个简单的例子帮助记忆：

我们想用模型拟合数据，也就是求似然函数：

z已知那么直接用MLE求解即鈳，如果未知则需要用EM算法迭代求解。

1. E step：每次得到似然函数
2. M step：对该下界进行优化

z的分布，也就是满足：

这里用到了期望就是概率的思想我们将 Q函数看成是在随机变量 f看成是log function。因此第二个等式可以看作是 f函数是凹函数，因此根据Jensen’s inequality可以得到不等式三。

Q我们给出了姒然函数的下界。因此我们如何选择一个合适的

θ有一个估计值，那么很自然的思想就是用这个估计值来得到不等式的下界根据之前Jensen’s inequality不等式的分析，如果我们的随机变量是一个常量那么等式一定成立，即：

∑z?Qi?(z(i))=1的条件需要满足因此构造一个

Q函数就是我们熟悉的茬给定

如何证明收敛性呢？也就是需要证明

Q函数能使得等式成立因此在第

θ(t+1)是最大化右边的式子的来的，因此：

其中第一个不等式是根据Jensen’s inequality，第二个不等式是根据最大化

那么EM算法也可以看作是在

Q函数为后验概率满足等式）
• 实际上是通过MLE进行最大化

GMM的思想不再阐述，这裏主要进行推导closed form

E step相对容易一些，我们对于当前步估计的所有参数值计算

我们只需要分别对三个参数进行求导，即可得到：

这也就是我們上一个博客给出的EM算法的迭代过程