资源简介

(共33张PPT)
第五章 大数定律和中心极限定理
5.1 大数定律
第五章 大数定律和中心极限定理
5.1 大数定律
内容摘要：切比雪夫不等式揭示随机变量与其数学期望间偏差的概率与方差的关系, 由此给出三个常用的大数定律, 它们是概率论和统计推断的理论基础.
(1) 为什么可以利用某事件发生的频率作为该事件的概率的近似值？
5.1.1 提出问题
(2) 为什么可以利用随机变量的算术平均或样本均值作为总体均值的估计？
随机事件的概率，随机变量的均值和方差.
5.1.2 预备知识
5.1.3 建立理论
1. 切比雪夫不等式
为了证明大数定律, 下面我们首先学习
切比雪夫不等式.
,
,有
引理(切比雪夫不等式) 设随机变量
和方差
具有数学期望
或
切比雪夫资料
对于离散型随机变量，证明类似.
以连续型随机变量X为例.
证
切比雪夫不等式给出了在X的分布未知的情况下对事件“
”发生的概率进行估计的一种方法.
(1.1)式几何意义是: 只要随机变量具有数学期望和方差, X落入区间(E(X)-ε,E(X)+ε)的概率不小于1- .
讲评
本题涉及切比雪夫不等式的应用.
需要计算出X-Y的数学期望和方差,才好利用
切比雪夫不等式.
例5.1.1 设随机变量X, Y的数学期望都是2, 方差分别是1和4, 而相关系数为0.5. 则根据切比
雪夫不等式
≥6}≤_____.
分析
　　利用切比雪夫不等式估计概率
时,我们只需要知道随机变量的数学期望和
方差即可,而不需要知道其具体分布. 本题
的数学期望使得计算即简单又易出错，读者
注意这一点.
解
令
, 则
而
讲评
于是有
≥6}
≥6}
≤
例5.1.2 证明:证明4.2节定理2的
结论(5): D(X)=0的充分必要条件是存在
常数C, 使X以概率1取常数C, 即 P{X=C}=1 ,并且C=E(X).
先证充分性：已知P{X=C}=1, 去证明D(X)=0.
证
由P{X=C}=1知X服从单点分布. 得到 E(X)=C×1=C, E(X2)=C2×1= C2.
所以， D(X)= E(X2)- [E(X)]2= C2-C2=0.
即，充分性成立.
再证必要性：
已知D(X)=0, 去证明P{X=C}=1.
注意到事件
于是
又由于D(X)=0, 由切比雪夫不等式(1.1)式可知, 对每个n有
即
从而知
因此
取常数C= E(X)即可.
讲评 实际上，这是一个充要条件：
D(X)=0的充分必要条件是存在常数C,
使X以概率1取常数C, 即P{X=C}=1,并且C=E(X).
参见4.2节定理2, 大家从方差揭示问题的实际意义容易接受这一点.
定理1（切比雪夫大数定律）
设 X1,X2, …,Xn是相互独立随机变量
序列,它们有相同的期望与方差, 即
结合切比雪夫不等式, 先从概率论中最
重要也最基本的切比雪夫定律开始:
定理表明n个随机变量的算术平均当n无限增大时几乎变成一个常数.
本节只介绍三个最著名的大数定律.
2. 大数定律
证 由于
则对任意的ε>0, 有
由切比雪夫不等式知
并注意到概率不能大于1, 即得
Chebyschev 大数定律给出了算术平均稳定性的科学描述.
讲评 该定理表明: 对于任意的正数,当n充分大时, 不等式 成立的概率很大. 或者说, 当n很大时, 随机变量的算术平均接近于数学期望. 这种接近是在概率意义上的一种接近.
我们再介绍一个基本概念.
定义 设 X1,X2,…,Xn是一随机变量
若存在常数a ,
对于 > 0,
总有
则称随机变量序列{Xn} 依概率收敛于 a .
记为
序列,
1. 在高等数学中， 为确定性变量数列.
在概率论中， 为随机变量变量数列.
依概率收敛与高等数学中的数列收敛有
什么区别？
2. 数列收敛要求当 时,就有 成立，而绝不会有
依概率收敛要求n充分大时，事件
发生的概率接近于1；不排除发生事件
的可能性.
则
连续函数保持依概率收敛性.
依概率收敛的序列还有以下性质:
设
且函数 g(x,y)
(a,b)连续,
在点
定理1′(切比雪夫大数定律)
设 X1,X2, …,Xn是相互独立随机变量序列,它们有相同的期望与方差,
则算术平均
定理表明n个随机变量的算术平均当n无限增大时几乎变成一个常数.
依概率收敛于数学期望μ, 即
这样，上述切比雪夫大数定律又可以
叙述为:
设nA是n重伯努利试验中事件A发生的
次数, p是事件A发生的概率, 则对任给的
ε> 0, 有
定理3（伯努利大数定律）
伯努里
或
对于频率稳定性的严格的
数学意义, 伯努利大数定律从
理论上做了进一步阐明.
则 X 1, X 2 ,
…,X n 独立, 都服从参数为p的 0-1分布.
证 设
并有
由切比雪夫大数定律得
所以
事件 A 发生的频率 nA /n 与事件 A 的概率 p 有较大偏差的概率很小.
Bernoulli大数定律表明, 当重复
试验次数 n 充分大时,
Bernoulli大数定律提供了通过试验来确定事件概率方法的理论依据.
即用频率估计概率是合理的
讲评
这个定理以严格的数学形式证明了
频率的稳定性. 就是说, 当很大时,
事件发生的频率与概率有较大偏差的
可能性很小. 因此, 在实际应用中, 当试验次数很大时, 可以用事件发生的频率来近似代替事件发生的概率.
下面给出的独立同分布条件下的大数定律, 它不要求随机变量的方差存在.
设随机变量序列X1,X2, …Xn独立
同分布, 具有数学期望 E(Xi)=μ, i=1,2,…,n. 则对任给的ε >0,
定理4（辛钦大数定律）
伯努利大数定律是辛钦大数定律的特例
辛钦资料
辛钦大数定律为寻找随机变量的
期望值, 提供了一条实际可行的途径:
如果视 X i 为重复试验中对随机变量 X 的第 i 次观察值,
则当 n → 时, 对X 的 n 次观察结果的算术平均依概率收敛于 X 的数学期望 E(X) = .
这为在不知具体分布的情形下, 取多次重
复观测的算术平均 作为总体均值 E(X) 的较
为精确的估计提供了理论保证.
讲评
例如: 要估计某地区的平均亩产量, 通常做法是， 收割某些有代表性的地块, 例如n 块， 计算其平均亩产量, 则当n 较大时, 可用它作为整个地区平均亩产量的一个估计值.
例5.1.3 设随机变量X1,X2 ,…,Xn 相互
独立,且都服从参数为3的泊松分布.证明:
当n→∞ 时,随机变量 依概率收敛于12.
证
由随机变量的独立性关系, 利用3.3节
定理3得到
满足独立同分布
的条件, 且有相同的数学期望
讲评 本题考查大数定律: 一组相互独立、同分布、同期望的随机变量 ,其算术平均依概率收敛于其数学期望的算术平均值:
(i=1,2,…,n).
收敛于
依概率
根据辛钦大数定律(5.1.5)式有,
(1) 为什么能以某事件发生的频率作为该事件的概率的近似值？
提出问题：
(2) 为什么能以随机变量的算术平均或样本均值作为总体期望(或说均值)的估计？
5.1.4 内容小结
伯努利大数定律以严格的数学形式揭示
了频率与概率之间最根本的性质之一.
切比雪夫大数定律和辛钦大数定律以严格的数学形式揭示了样本平均与总体平均之间的关系.
解决问题
切比雪夫П. Л. Чебышев,1821—1894），俄罗斯数学家，彼得堡大学教授，彼得堡科学院院士， 大数定律的创建人之一. 英语译为Tchebyshev.
辛钦（А.Я. Хичин，1894—1959），俄罗斯人，著名现代数学家，前苏联科学院通讯院士，莫斯科大学教授，在函数论、数论和概率论方面有诸多成就.
辛钦

展开更多......

收起↑