依概率收敛与弱大数定律.doc

§2 依概率收敛与弱大数定律

一、依概率收敛
二、弱大数定律

一、依概率收敛
尽管分布函数完全反映了随机变量取值的分布规律, 但是两个不同的随机变量可以有相同的分布函数. 例如, 向区间[0,1]上随机等可能投点,ω表示落点的位置，定义
. (1)
则ξ和η具有相同的分布函数
F(x)= (2)
如果定义, n, 则, 但. 这表明分布函数收敛性并不能反映随机变量序列取值之间的接近程度. 为此需要引入另外的收敛性.
定义1 设和是定义在同一概率空间 (Ω,F, P)上的随机变量序列. 如果对任意ε>0,
=0, (3)
或
=1,
则称依概率收敛(convergence in probability)于，记作.
注 定义1要求所有和的定义域相同. 可直观地理解为：除去极小的可能性，只要n充分大，与的取值就可以任意接近.
从上面例子可以看出, 由并不能导出. 关于这两种收敛性之间的关系，我们有下面的定理.
定理1 设和是定义在概率空间 (Ω,F, P)上的随机变量序列.
1. 如果, 则 .
2. 如果, c为常数，则.
证 1. 设F和分别是和的分布函数，x表示F的连续点. 任意给定ε>0,
(
,
因此
F(x.
令n→∞, 由于, 故, 从而
F(x. (4)
类似地

,
从而
.
令n→∞, 得
. (5)
连接(4) (5)两式，对任意ε>0, 有
F(x.
由于F在x点连续，令ε→0, 就得 , 即.
2. 如果，则
.
因此对任意,有

=1 (n→∞).
定理证毕.
例1 设{}独立同分布，都为[0, a]上的均匀分布, .求证 .
证 由定理1, 只须证明的分布函数, 其中D(x-a)是在a点的退化分布函数.
从第二章知道：若的分布函数为F(x), 则的分布函数为. 现在的分布函数为
F(x)=
故
→ D(x-a)= (n→∞).
证毕.
依概率收敛有许多性质类似于微积分中数列极限的性质, 下面仅举两个例子说明这类问题的证题方法. 大部分性质放在习题中留给读者自己证明.
例2 设和是定义在概率空间 (Ω,F, P)上的随机变量序列. 求证：
1. 若，, 则P(ξ=η)=1.
2. 若, f是 (-∞, ∞) 上的连续函数，则f ().
证 1. 任意给定ε>0，我们有
(|,
从而
P(|.
由, , 并注意到上式左方与n无关, 得P(|)=0. 进一步,
P(|=0,
即P(ξ=η)=1.
2. 任意给定，存在M>0, 使得
P(|ξ|P(|ξ|. (6)
由于, 故存在, 当n时, P, 因此
(7)
又因(x) 在 (-∞,∞)上连续，从而在[-M, M]上一致连续. 对给定的ε>0, 存在δ>0, 当|x-y|<δ时，|(x)-(y)|<ε. 这样
P(. (8)
对上面的δ, 存在, 当n时,
P. (9)
结合(6) (7) (8) (9)式, 当n时，
P(|,
从而 f ().
为了进一步讨论依概率收敛的条件，我们给出下列切比雪夫不等式(第三章§2)的推广.
定理2 （马尔科夫不等式） 设ξ是定义在概率空间 (Ω, F, P)上的随机变量，f (x)是[0, ∞) 上非负单调不减函数，则对任意x >0,
P(|ξ| > x). (10)
证 当Ef(|ξ|)=∞时，(10)式显然成立. 设Ef(|ξ|)<∞,ξ的分布函数为F(x). 因f (x) 单调不减，故 |y| >x 时, f(|,从而

.
定理3 当且仅当 E→0.
证 充分性：注意到f (x)=在[0, ∞]上非负单调不减, 对任意ε>0, 由定理2
P(|→0,
即.
必要性：设的分布函数是. 对任意ε>0,

=. (11)
由于, 在(11)式两边先令n→∞, 再让ε→0，即得证E→0.
二、弱大数定律
考虑随机试验E中的事件A，假设其发生的概率为p (0 < p <1), 现在独立重复地做试验n次——n重贝努里试验. 令
, .
则P(=1)=p, P(=0)=1-p. 是做试验E n次后A发生的次数，可能值0,1,2,…,n, 视试验结果而定. 熟知 E=p. 在第一章§1中曾经指出: 当时频率"稳定到"（在某种意义下收敛于）概率p. 我们想知道与p之间的差究竟有多大.
首先应该意识到不可能期望对任意给定的 0<ε<1, 当n充分大时, |-p|ε对所有试验结果成立. 事实上，当0 < p <1,
P(=1)=P(=1,…,=1)=,
P(=0)=P(=0,…,=0)=(,
它们都不为零. 而在第一种情况，取ε<1-p，不论n多大，|-p|=1-p >ε; 在第二种情况，取ε<p, 则有|-p|= p >ε.
然而，当n充分大后，事件{=1}和{=0}发生的可能性都很小. 一般来说，自然地希望当n充分大以后，出现{|-p|ε}的可能性可以任意地小. 这一事实最早由贝努里发现.
定理4 （贝努里大数定律） 设{}是一列独立同分布的随机变量，P(=1)=p, P(=0)=1-p, 0 < p <1, 记, 则.
继贝努里之后，人们一直试图对一般的随机变量建立类似的结果.
定义2 设{}是定义在概率空间 (Ω, F, P)上的随机变量序列，如果存在常数列{}和{}使得
, (n→∞)， (12)
则称{}服从弱大数定律( weak law of large numbers), 简称{}服从大数定律.
定理5 （切比雪夫大数定律） 设{}是定义在概率空间 (Ω,F, P)上的独立随机变量序列，E=, Var=. 如果，则{}服从弱大数定律，即
.
证 考察随机变量, 因E()=, Var()=，用第三章§2的切比雪夫不等式，得
P(|)Var()=()→0.
此即所证.
注1 贝努里大数定律是切比雪夫大数定律的特例.
注2 如果条件“{}独立”被“{}两两不相关”所代替，定理5依然成立. 更一般地, 由该定理的证明容易看出：如果取消条件“{}独立”，但条件“→0”改为“Var()→0”, 则定理5的结论仍然成立, 称为“马尔科夫大数定律”.
如果{}不仅独立，而且同分布，则可以改进定理5如下：
定理6（辛钦大数定律） 设{}是定义在概率空间 (Ω, F, P)上的独立同分布随机变量序列，E|. 记E=μ, , 则{}服从弱大数定律，即 .
证 分别令与为与/ n的特征函数. 既然{}相互独立同分布，那么=. 另外, E=μ, 所以由泰勒展开式知
=1+i, t→0. (13)
对每个t∈R,
=1+i, n→∞, (14)
=(1+i, n→∞.
由于恰好是集中单点μ的退化分布的特征函数，运用第一节的逆极限定理即可知道. 再根据定理1得. 定理证毕.
例2 设有分布列, s<1 /2为常数，且{}相互独立. 试证{}服从弱大数定律.
证 已知有分布列，所以E=0, Var=. 当s<1/ 2时,
=.
另外, {}又是相互独立的，所以{}服从切比雪夫大数定律，即.
例3 设{}相互独立, 密度都为 p(x)=，求证{}服从大数定律.
证 {}独立同分布, E==2, 所以{}服从辛钦大数定律.
例4 设{}独立同分布, E=μ, Var=. 令
, .
求证: .
证 =
. (15)
由辛钦大数定律知 ，从而. 再因{()独立同分布，E(=Var=, 故{()也服从辛钦大数定律，即. 由(15)式与依概率收敛的性质（习题18），.
注 在数理统计中，称为样本均值，称为样本方差. 辛钦大数定律表明样本均值依概率收敛于总体均值. 上述例子则表明样本方差依概率收敛于总体方差.
最后，给出随机变量序列的另一种收敛性概念.
定义3 设和, n, 是定义在同一概率空间(Ω,F, P)上的随机变量序列，E<∞, E, n, 0 < r <∞. 如果
E， (16)
则称{} r-阶平均收敛(convergence in the mean of order r)于，记作.
如果存在0< r <∞, , 令，并对应用马尔科夫不等式，可推出. 然而下例说明其逆不成立.
例5 定义P(=n) =，P(=0) =1-, n=1,2,…. 易知，, 但对任何 0 < r<∞,
E, (n→∞).
即不成立.