温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

python如何实现EM算法

发布时间:2022-05-09 14:13:07 来源:亿速云 阅读:202 作者:iii 栏目:大数据

这篇文章主要介绍了python如何实现EM算法的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇python如何实现EM算法文章都会有所收获,下面我们一起来看看吧。

论文题目:

What is the expectation maximization algorithm?

这是论文中的那幅图:

python如何实现EM算法 

下面解释这些数字是如何得来的。

Step1 纯碎靠猜

假定硬币A正面朝上的概率为 0.6, 硬币B正面朝上的概率为 0.5 

Step2 做实验

开展 5 轮实验,每轮抛掷 10 次,全部实验结果如下所示:

python如何实现EM算法  

下面依次分析每轮实验结果。

第一轮结果:5次朝上,5次朝下。如果选择硬币A,则发生此结果的概率为:Pa = 0.6^5*0.4^5; 如果选择硬币B,概率为:Pb = 0.5^5*0.5^5; 则选择硬币A的概率为:Za = Pa/(Pa+Pb) ,选择硬币B的概率为:Zb = 1- Za.

计算一下:

Pa = 0.6**5*0.4**5
Pb = 0.5**5*0.5**5
Za = Pa/(Pa+Pb)
Zb = 1- Za
 

结果:

In [11]: Za
Out[11]: 0.44914892610093643

In [12]: Zb
Out[12]: 0.5508510738990635
 

四舍五入,即 0.45, 0.55。分别就是选择硬币 A 和硬币 B 的概率。

选择硬币 A 的概率为 0.45,抛掷硬币 10 次,正反出现的总次数期望值为:0.45 * 10,即 4.5 次。第一轮实验结果:5正5反,所以正面出现次数的期望值为:4.5 * (5/10),即为 2.25 次,反面出现 2.25 次;

同理分析硬币B。选择硬币 B 的概率为 0.55,抛掷硬币 10 次,正反出现的总次数期望值为:0.55 * 10,即 5.5 次。第一轮实验结果:5正5反,所以正面出现次数的期望值为:5.5 * (5/10),即为 2.75 次,反面出现 2.75 次;

同理分别求出第二轮到第五轮实验,选择硬币 A 的概率及对应的正反面出现次数的期望值,选择硬币 B 的概率及对应的正反面出现次数的期望值。

第一轮到第五轮实验全部分析完成后,得到如下结果,左侧表格为选择硬币A和B的概率分布(也就是隐变量的概率分布);右侧表格为硬币A和B在10次抛掷实验中正、反出现次数的期望分布(也就是可观察变量的概率分布)。

python如何实现EM算法    

Step3 似然估计

纵观 5 轮 总结 50 次抛掷硬币,可以计算出硬币 A 、B 正面出现的概率。

硬币 A 正面出现次数:

2.2 + 7.2 + 5.9 + 1.4 + 4.5 = 21.2

硬币 A 反面出现次数:

2.2 + 0.8 + 1.5 + 2.1 + 1.9 = 8.5

同理求得硬币 B

得到论文图中的结果(小数点位数精度,稍有偏差,不碍事,理解就行)

python如何实现EM算法  

至此又得到一个硬币A、B 正面出现概率的估计值,这次是基于实验得到,而不是像刚开始那样纯碎靠蒙(纯碎靠蒙时为 0.6, 0.5)。

完成一次分布参数的迭代。

Step4 迭代10次

10 轮迭代后,参数更新为如下,对应论文中的 Step4

python如何实现EM算法    

关于“python如何实现EM算法”这篇文章的内容就介绍到这里,感谢各位的阅读!相信大家对“python如何实现EM算法”知识都有一定的了解,大家如果还想学习更多知识,欢迎关注亿速云行业资讯频道。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI