:
EM算法在多元正态分布缺失的数据下一般都是有较为广泛的应用,所以在这样典型的应用情境下,我将主要研究EM算法在二元正态分布下的应用.
1:二元正态分布的介绍:
设二维的随机变量(X,Y)的概率密度为...2:对于二元正态分布均值的MCEM估计:
设总体Z=(X,Y)~N(u,M),其中:
?
现在有如下的观测数据:
?...首先以u=[2,4]为例产生二元正态分布随机数,并将产生的随机数扣掉一部分数据,将扣掉的这一部分数据当成未知的缺失数据M=[M1,M2],剩下的数据作为观测数据Z=[X,Y]
假设在第K+1次迭代中有u...这里的M1表示在完全数据下的均值,u2的估计值求法与此相似....则当y(i)=k时,表示第i个样本观测值x(i)是由高斯混合分布的第k个分支产生的。因此,引入变量y后,对数似然函数可以改写成为:
?