内容简介:上面式子算的是z的后验概率,分子是样本xi属于zj的概率,分母是样本xi属于每个zi的概率之和,因为有了参数确定的条件所以分母是个边缘分布而不是等于1。M-step就是根据之前最大似然的结果把z的概率代入计算即可。这个过程实际上是固定z,然后最大化似然函数L(θ)求解对应的θ。EM算法能收敛,但可能会收敛到局部最大值,如果函数是凸函数才能保证收敛到全局最大值。
上面式子算的是z的后验概率,分子是样本xi属于zj的概率,分母是样本xi属于每个zi的概率之和,因为有了参数确定的条件所以分母是个边缘分布而不是等于1。
M-step就是根据之前最大似然的结果把z的概率代入计算即可。这个过程实际上是固定z,然后最大化似然函数L(θ)求解对应的θ。
EM算法能收敛,但可能会收敛到局部最大值,如果函数是凸函数才能保证收敛到全局最大值。
how
EM的推导过程有点长,这里只记录关键过程
这个过程用了几个技巧
(1)分子分母同时增加了Q(z)项
(2)不等号这里用到了Jensen不等式
(3)第一步和最后一步都用到了期望的定义
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Pro JavaScript Techniques
John Resig / Apress / 2006-12-13 / USD 44.99
Pro JavaScript Techniques is the ultimate JavaScript book for the modern web developer. It provides everything you need to know about modern JavaScript, and shows what JavaScript can do for your web s......一起来看看 《Pro JavaScript Techniques》 这本书的介绍吧!