第一章-先验分布与后验分布.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,第一章 先验分布与后验分布,第一节 三种信息,第二节 贝叶斯公式,第三节 共轭先验分布,第四节 超参数模型,第五节 多参数模型,第六节 充分统计量,第一章 先验分布与后验分布,统计学中有二个主要学派：,频率学派,与,贝叶斯学派,，他们之间有共同点，又有不同点，为了说清楚他们之间的异同点，我们从统计推断所使用的三种信息说起。,第一节 三种信息,样本信息,即从总体抽取的样本给我们提供的信息。这是最“新鲜”的信息，并且愈多愈好。人们希望通过对样本的加工和处理对总体的某些特征作出较为精确的统计推断。没有样本就没有统计学可言。这是大家都理解的事实。,基于上述两种信息进行的统计推断被称为,经典统计学,，它的基本观点是把数据（样本）看成是来自具有一定概率分布的总体，所研究的对象是这个总体而不局限于数据本身。,第一节 三种信息,先验信息,即在抽样之前有关统计问题的一些信息，一般说来，先验信息主要来源于经验和历史资料。先验信息在日常生活和工作中也经常可见，不少人在自觉地或不自觉地使用它。,对先验信息进行加工获得的分布今后称为先验分布。这个先验分布是综合了该厂过去产品的质量情况。如果这个分布的概率绝大部分集中在,=0,附近，那该产品可认为是“信得过产品”。假如以后的多次抽检结果与历史资料提供的先验分布是一致的。使用单位就可以对它作出“免检产品”的决定，或者每月抽检一、二次就足够了，这就省去了大量的人力与物力。可见历史资料在统计推断中应加以利用。,第一节 三种信息,基于上述三种信息（总体信息、样本信息和先验信息）进行的统计推断被称为,贝叶斯统计学,。它与经典统计学的主要差别在于是否利用先验信息。在使用样本信息上也是有差异的。贝叶斯学派重视已出现的样本观察值，而对尚未发生的样本观察值不予考虑，贝叶斯学派很重视先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导致不合理的结论。,第一节 三种信息,贝叶斯学派的最基本的观点是：任一个未知量,都可看作一个随机变量，应该用一个概率分布去描述对,的未知状况。这个概率分布是在抽样前就有的关于,的先验信息的概率陈述。这个概率分布被称为,先验分布,。有时还简称为先验（,Prior,）。因为任一未知量都有不确定性，而在表述不确定性程度时，概率与概率分布是最好的语言。,第一节 三种信息,2.,根据参数,的先验信息确定先验分布,(,),。这是贝叶斯学派在最近几十年里重点研究的问题。已获得一大批富有成效的方法。在以后章节将介绍其中一些主要方法，本书第三章和第七章将系统地介绍。,第二节 贝叶斯公式,4.,样本,x,和参数,的联合分布把三种可用的信息都综合进去了。,5.,我们的任务是要对未知数,作出统计推断。在没有样本信息时，人们只能据先验分布对,作出推断。在有样本观察值,x,之后，我们应该依据,h(x,),对,作出推断。,第二节 贝叶斯公式,后验分布是三种信息的综合,一般说来,先验分布,(,),是反映人们在抽样前对,的认识,后验分布,(,|x),是反映人们在抽样后对,的认识。之间的差异是由于样本,x,出现后人们对,认识的一种调整。所以后验分布,(,|x),可以看作是人们用总体信息和样本信息（综合称为抽样信息）对先验分布作,(,),调整的结果。,第二节 贝叶斯公式,1.3.1,共轭先验分布,大家知道，在区间,(0,1),上的均匀分布是贝塔分布,Be(1,1),。这时从例,1.2.1,中可以看到一个有趣的现象。二项分布,b(n,),中的成功概率,的先验分布若取,Be(1,1),则其后验分布也是贝塔分布,Be(x+1,n-x+1),。其中,x,为,n,次独立试验中成功出现次数,#,先验分布与后验分布同属于一个贝塔分布族,只是其参数不同而已。这一现象不是偶然的，假如把,的先验分布换成一般的贝塔分布,Be(,+,),其中,0,0,。经过类似计算可以看出，,的后验分布仍是贝塔分布,Be(,+x,+n-x),，此种先验分布被称为,的共轭先验分布。,第三节 共轭先验分布,定义,1.3.1,设,是总体分布中的参数（或参数向量），,(,),是,的先验密度函数，假如由抽样信息算得的后验密度函数与,(,),有相同的函数形式，则称,(,),是,的（自然）,共轭先验分布,。,第三节 共轭先验分布,1.3.2,后验分布的计算,在给定样本分布,p(x|,),和先验分布,(,),后可用贝叶斯公式计算,的后验分布,由于,m(x),不依赖于,在计算,的后验分布中仅起到一个正则化因子的作用。假如把,m(x),省略，把贝叶斯公式改写为如下等价形式,第三节 共轭先验分布,其中符号“”表示两边仅差一个常数因子，一个不依赖于,的常数因子。（,1.3.5,）式右端虽不是正常的密度函数，但它是后验分布,(,|,x,),的核，在需要时可以利用适当方式计算出后验密度，特别当看出,(,|,x,),(,),的核就是某常用分布的核时，不用计算,m(x),就可很快恢复所缺常数因子。这样一来就可简化后验分布的计算，这在共轭先验分布与非共轭先验分布场合都可使用。,第三节 共轭先验分布,在贝叶斯统计中先验分布的选取应以合理性作为首要原则，计算上的方便与先验的合理性相比那还是第二位的。当样本均值,x,与先验均值相距较远时，看来后验分布应有二个峰才更为合理，可使用共轭先验分布（如在正态均值场合）逼使后验分布只有一个峰，从而会掩盖实际情况，引起误用。在考虑到先验的合理性之后，充分发挥共轭先验分布吸引人们的性质是我们采取的策略。因为，以正态分布为例，先验分布类,还是足够大的，使正态分布在不少场合用来概括先验信息是合理的。,第三节 共轭先验分布,1.3.4,常用的共轭先验分布,共轭先验分布的选取是由似然函数,L(,)=p(x|,),中所含,的因式所决定的，即选与似然函数（,的函数,),具有相同核的分布作为先验分布。若此想法得以实现，那共轭先验分布就产生了。,倒伽马分布,第三节 共轭先验分布,先验分布中所含的未知参数称为超参数。譬如，成功概率的共轭先验分布是贝塔分布,Be(,),，它含有二个超参数，正态均值的共轭先验分布是正态分布 ，它也含有二个超参数。一般说来，共轭先验分布常含有超参数，而无信息先验分布（如均匀分布,U(0,1),一般不含有超参数。,共轭先验分布是一种有信息的先验分布，故其中所含的超参数应充分利用各种先验信息来确定它。,第四节 超参数模型,1.4.1,利用先验矩,假如根据先验信息能获得成功概率,的若干个估计值，记为 ，一般它们是从历史数据整理加工获得的，由此可算得先验均值 和先验方差 ，其中,然后令其分别等于贝塔分布,Be(,),的期望与方差，即,第四节 超参数模型,1.4.2,利用先验分位数,假如根据先验信息可以确定贝塔分布的二个分位数，则可用这二个分位数来确定,与,，譬如用二个上、下四分位数 与 （见图,1.4.1,来确定,与,，,与 分别满足如下二个方程,第四节 超参数模型,1.4.3,利用先验矩和先验分位数,假如根据先验信息可获得先验均值 和,p,分位数,则可列出下列方程,解之，可得超参数,与,的估计值。,第四节 超参数模型,1.4.4,其他方法,假如根据先验信息只能获得先验均值 ，这时可令,一个方程不能唯一确定二个参数，这时还要利用其它先验信息才能把,与,确定下来。,第四节 超参数模型,在多参数问题中,人们关心的常常是其中一个或少数几个参数,这时其余参数常被称为,讨厌参数,或,多余参数,譬如在二个参数 与 场合,人们感兴趣的是,那么 就是讨厌参数,为了获得 的边缘后验密度,只要对讨厌参数 积分即可。,上述积分对,的参数空间进行，在处理讨厌参数上，贝叶斯方法要比经典方法方便得多。,第五节 多参数模型,正态,倒伽玛分布，记为,后验密度在形式上完全与先验密度同，只是用 ，与 分别代替 ，与,正态,倒伽玛分布是正态均值 与正态方差 的（联合）共轭先验分布。,第五节 多参数模型,经典统计中充分统计量是这样定义的：设,是来自分布函数 的一个样本,T=T(,x,),是统计量,假如在给定,T(,x,)=t,的条件下,x,的条件分布与,无关的话,则称该统计量为,的充分统计量。,在一般情况下，用上述定义直接验证一个统计量的充分性是困难的，因为需要计算条件分布，幸好有一个判别充分统计量的充要条件，它就是著名的因子分解定理，该定理说，一个统计量,T(,x,),对参数,是充分的充要条件是存在一个,t,与,的函数,g(t,),和一个样本,x,的函数,h(,x,),使得对任一样本,x,和任意,样本的密度,p(x|,),可表示为它们的乘积,即,p(,x,|,)=g(T(,x,),),在贝叶斯统计中,充分统计量也有一个充要条件。,第六节 充分统计量,定理,1.6.1,设 是来自密度函数,p(x|,),的一个样本,T=T(,x,),是统计量,它的密度函数为,p(t|,),又设 是,的某个先验分布族,则,T(,x,),为,的充分统计量的充要条件是对任一先验分布,有,即用样本分布,p(,x,|,),算得的后验分布与统计量,T(,x,),算得的后验分布是相同的。,第六节 充分统计量,关于定理,1.6.1,我们有二点说明：,1.,定理,1.6.1,给出的条件是充分必要的，故定理,1.6.1,的充要条件可作为充分统计量的贝叶斯定义，譬如在例,1.6.1,中把改为 ，同样可在 给定下，算得后验分布，但没有上述等式，即,按贝叶斯定义，统计量 不是 的充分统计量。,第六节 充分统计量,2.,假如已知统计量,T(,x,),是充分的,那么按定理,1.6.1,其后验分布可用该统计量的分布算得，由于充分统计量可简化数据、降低样本维数，故定理,1.6.1,亦可用来简化后验分布的计算。,第六节 充分统计量,谢谢,