内容简介：上面式子算的是z的后验概率，分子是样本xi属于zj的概率，分母是样本xi属于每个zi的概率之和，因为有了参数确定的条件所以分母是个边缘分布而不是等于1。M-step就是根据之前最大似然的结果把z的概率代入计算即可。这个过程实际上是固定z，然后最大化似然函数L(θ)求解对应的θ。EM算法能收敛，但可能会收敛到局部最大值，如果函数是凸函数才能保证收敛到全局最大值。
上面式子算的是z的后验概率，分子是样本xi属于zj的概率，分母是样本xi属于每个zi的概率之和，因为有了参数确定的条件所以分母是个边缘分布而不是等于1。
M-step就是根据之前最大似然的结果把z的概率代入计算即可。这个过程实际上是固定z，然后最大化似然函数L(θ)求解对应的θ。
EM算法能收敛，但可能会收敛到局部最大值，如果函数是凸函数才能保证收敛到全局最大值。
how
EM的推导过程有点长，这里只记录关键过程
这个过程用了几个技巧
(1)分子分母同时增加了Q(z)项
(2)不等号这里用到了Jensen不等式
(3)第一步和最后一步都用到了期望的定义
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
系统分析与设计方法
惠滕 / 孙慧、肖刚 / 机械工业出版社 / 2004-9 / 69.00元
本书是介绍信息系统分析和设计原理、方法、技术、工具和应用的力作，自问世以来，广受欢迎，以至于一版再版，延续至今。 本书采用一个完整的案例研究，以整个信息系统构件（基于Zachman框架）和信息系统开发生命周期（FAST方法学）为主线，详细探讨了系统开发生命周期的前期、中期和后期以及跨生命周期的活动。另外，书中第一章都提供了大量的练习题、讨论题、研究题和小型案例，以加深读者对书中所述理论的实际应用和......一起来看看 《系统分析与设计方法》 这本书的介绍吧!
