EM(最大期望算法)极大似然估计.ppt

Cliquez pour modifier le style du titre,Cliquez pour modifier les styles du texte du masque,Deuxime niveau,Troisime niveau,Quatrime niveau,Cinquime niveau,*,*,Cliquez pour modifier le style du titre,Cliquez pour modifier les styles du texte du masque,Deuxime niveau,Troisime niveau,Quatrime niveau,Cinquime niveau,*,*,Cliquez pour modifier le style du titre,Cliquez pour modifier les styles du texte du masque,Deuxime niveau,Troisime niveau,Quatrime niveau,Cinquime niveau,*,*,Cliquez pour modifier le style du titre,Cliquez pour modifier les styles du texte du masque,Deuxime niveau,Troisime niveau,Quatrime niveau,Cinquime niveau,*,*,Cliquez pour modifier le style du titre,Cliquez pour modifier les styles du texte du masque,Deuxime niveau,Troisime niveau,Quatrime niveau,Cinquime niveau,*,*,Cliquez pour modifier le style du titre,Cliquez pour modifier les styles du texte du masque,Deuxime niveau,Troisime niveau,Quatrime niveau,Cinquime niveau,*,*,EM（最大期望算法）,Expectation-,maximization,algorithm,极大似然估计,EM算法,极大似然估计方法是一种,参数估计方法,是已知某个,随机样本,满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值,原理：一个随机试验如果有若干个可能的 结果A，B，C，。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大,思想,：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值,极大似然估计,极大似然估计,设总体X是离散型随机变量，其分布中含有未知参数,，设,x,（x,1,，x,2,.x,n,）是取自总体X的一个样本，（x,1,，x,2,.x,n,）是其观察值。则取到这组样本观察值的概率是：,定义似然函数为：,这里x,1,，x,2.,.x,n,是观测值，且独立同分布，,L,(,),看做参数的函数，它可作为已多大可能性产生样本值X,1,，X,2,，.X,n,的一种度量,极大似然估计,最大似然估计法就是使用L（,）达到最大值的 去估计,称 为的最大似然估计值。而相应的统计量（X,1,，X,2,，.X,n,）称为的最大似然估计量。,同理，设总体X是连续型随机变量，密度函数为f(,x,;),其中为未知参数，则定义似然函数为：,极大似然估计,上式，其中x,1,，x,2,.x,n,是样本观察值，,称 为的最大似然估计值。而相应的统计量（X,1,，X,2,，.X,n,）称为的最大似然估计量。,求最大似然函数估计值的一般步骤,1写出似然函数L（,）,2对似然函数取对数，并整理ln,L,(),3求导数令导数为0，得到似然方程,4解似然方程，得到的参数即为所求,极大似然估计,EM算法,Expectation-,maximization algorithm,EM,算法是一种基于模型的聚类算法,假设样本分布符合高斯混合模型，算法目的是确定各个高斯部件的参数，充分拟合给定数据，并得到一个模糊聚类，即每个样本以不同概率属于每个高斯分布，概率数值将由以上各个参数计算得到，,EM算法,广泛地应用于拟合数据缺损的混合分布。,在求最大似然估计,(,MLE,),时，,当分布中有多余参数或数据为截尾或缺失，其,MLE的求取是比较困难的，于是提出,EM算法,，其出发点是把求极大似然估计的过程分两步走，,第一步求期望即E，以便把多余的部分去掉。第二步求极大值即M。,EM算法,Expectation-,maximization algorithm,其对数似然为,：,如果（,y,z,）均已知，则上式很容易求得,MLE,，但遗憾的是我们知道,y,不知道,Z,，但当,y,以及已知时，,于是分两步进行迭代求解，即,E,步，,M,步。,E,步,：在已有观测数据,y,以及第,i,步估计值,=,(i),的条件下，求基于完全数据的对数似然函数的期望（即把其中的与,z,有关的部分积分掉）：,Q(,|y,(i),）,=E,z,l(,;y,z),EM算法,Expectation-,maximization algorithm,M,步：求,Q,（,|y,(i),）关于,的最大值,（,i+1,）,即找,（,i+1,）,使得,Q,（,（,i+1,）,|y,(i),）,=max Q,（,|y,(i),）,这样就完成了由,(i),到,（,i+1,）,的一次迭代。重复上式两个步骤，直至收敛即可得到的,MLE,。,对于本例，其,E,步为：,EM算法,Expectation-,maximization algorithm,其,M,步即为上式两边关,于求导，并令其等于,0,，即,解之，得如下迭代公式。开始时可取任意一个初始值进行迭代。,EM算法,Expectation-,maximization algorithm,说明：,以,Z1,为例，以,A,1,表示第一种结果出现，,B,1,，,B,2,分别表示我们多定义的两个事件，,A,1,=B,1,B,2,，,B,1,，,B,2,独立，且 故,从而在,Y1=y1,条件下,右边的期望是只于,Z,在,=,(i),的条件下求取的，而其余参数不变。,Thank you,