最小方差无偏估计UMVUEPPT.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第六章 第三节,最小方差无偏估计,一、,Rao,-Blackwell,定理,二、最小方差无偏估计,三、,Cramer-Rao,不等式,优良的无偏估计都是充分统计量的函数,.,将之应用在参数估计中可得,:,其中等号成立的充要条件为,X,与,(,Y,),几乎处处相等,.,定理,1:,设,X,和,Y,是两个,r.v.,EX=,VarX,0,令,则有,是样本,是,的充分统计量,定理,2:,设总体的概率函数为,p,(,x,;,),对,的任一无偏估计,一、,Rao,-Blackwell,定理,注,:,定理,2,表明,:,若无偏估计不是充分统计量的函数,则将之对充分统计量求条件期望可得一个新的无偏估计,且它为充分统计量的函数且方差会减小,.,即,考虑点估计只需在充分统计量的函数中进行,这就是,充分性原则,.,令,=p,2 ,则,为,的无偏估计,.,因为 是充分统计量,由定理,2,从而可令,可得,故 为,的无偏估计,.,且,例,1.,设,为来自,b,(1,p,)的样本,求,p,2,的,U.E,为,p,的充分统计量,解：前已求过,:,进一步改进：,二、最小方差无偏估计,定义,:,注：,一致最小方差无偏估计是一种最优估计,.,由定理,2,只要它存在,.,它一定是充分统计量的函数,.,一般地,若依赖于充分统计量的无偏估计只有一个,它一定是,UMVUE.,Problem,：,无偏估计的方差是否可以任意小,?,如果不能任意小,那么它的下界是什么,?,是总体,X,的样本,定理,3:,(UMVUE,准则,),设,如果对任一个满足,是,的任一无偏估计,例,2:,设,为来自,Exp,(1/,)的样本,则,为,的充分统计量,证明,:,为,的,UMVUE.,反之亦成立,.,1,、,Fisher,信息量的,定义,.,三、罗,-,克拉美（,CramerRao,）不等式,(1),是实数轴上的一个开区间,;,设,总体,X,的概率函数为,p,(,x,;,),且满足条件,:,正则条件,(1),I,(,),越大,总体分布中包含未知参数的信息越多。,例,3:,设,总体为,Poisson,分布，即,注：,例,4:,设,总体为指数分布,Exp,(1/,),，即,(2),I,(,),的另一表达式为,注：,常见分布的信息量,I,(,),公式,两点分布,X,b(1,p),泊松分布,指数分布,正态分布,设,总体,X,的概率函数为,p,(,x,;,),满足上面定义中的条件；,x,1,.,x,n,是来自总体,X,的一个样本,T,(,x,1,.,x,n,),是,g,(,),的一个无偏估计,.,2,、定理,4(Cramer-Rao,不等式,):,的微分可在积分号下进行，即,则有 特别地对,的无偏估计有,上述不等式的右端称为,C-R,下界,I,(,),为,Fisher,信息量,.,注,:,(1),定理对离散型总体也适用,.,只需改积分号为求和号。,(2),在定理,4,条件下,若,g(,),的无偏估计量,T,的方差,VarT,达到下界,则,T,必为,g(,),的最小方差无偏估计,.,但是它不一定存在,也就是说,C-R,不等式有时给出的下界过小,.,(3),当等号成立时,T,为达到方差下界的无偏估计,此时称,T,为,g(,),的,有效估计,。,有效估计一定是,UMVUE.,（反之不真）,3.,有效估计,定义,:,定义,:,注,:,综上,求证,T,是,g(),的有效估计的步骤为,:,例,5.,设总体,XExp,(1/,),密度函数为,为,X,的一个样本值,.,求,的,最大似然估计量,并判断它是否为达到方差下界的无偏估计,即有效估计,.,为参数,解,:,由似然函数,经检验知,的最大似然估计为,所以它是,的无偏估计量,且,而,故 是达到方差下界的无偏估计,.,所以,C-R,下界为,例,8.,设,x,1,.x,n,为取自总体为正态分布,N,(,2,),的样本,验证,因此,是,的有效估计,.,解：已证过 为,U.E,下求,的,C-R,下界,由于,而,的,C-R,下界为,是,的有效估计,因此,因此,:,解,:,由于,所以,2,的,C-R,下界为,:,例,9.(,接前例,),设,x,1,.x,n,取自正态分布总体,N(,2,),若,未知，讨论,2,的无偏估计,是否为有效估计,.,由于,其期望为,n,-1,方差为,2(,n,-1,）,所以,即,不是,2,的有效估计，但为,2,的渐近有效估计,.,而,2,的,C-R,下界为,注,1:,由,P308,第四题知,其方差大于,C-R,下界,即有时,C-R,下界过小,.,是,2,的,UMVUE.,2:,若,已知,此时 为,2,的有效估计,.,注,3,对于,的,C-R,下界为,:,当已知,=0,时,易证,的无偏估计为,可证,这是,的,UMVUE,其方差大于,C-R,下界,.,因此所有,的无偏估计的方差都大于其,C-R,下界,即,C-R,下界过小,.(P307),4.,最大似然估计的渐近正态性,定理,(,略,),在总体的分布满足一定条件,(P307),的情况下,存在具有相合性和渐近正态性的最大似然估计,且,即,最大似然估计通常是渐近正态的,且其渐近方差有一个统一的形式并主要依赖于,Fisher,信息量,.,例,10:,设,x,1,.x,n,为取自总体为正态分布,N(,2,),(1),在,2,已知时,求,的,MLE,的近似分布,.,(2),若,已知，讨论,2,的,MLE,的渐近分布,.,