资源简介

(共47张PPT)
第七章 参数估计
7.1 点估计
第七章 参数估计
7.1 点估计
内容摘要：从总体中抽出样本, 通过研究样本所提供的信息, 给出总体含有的未知参数的点估计或区间估计, 我们学习两种求点估计的方法——矩估计法和最大似然估计法.不同的估计方法可能得到不同的估计量及其估计值.
7.1.1 提出问题
参数估计是统计推断的基本问题之一, 在许多
实际问题中, 根据实践经验已经知道数据来自于某类分布总体, 但总体中有些参数是未知的.
问题: (1) 在一定时间内某信息台接到的呼叫次数X是一个随机变量, 由实践经验知道它服从泊松分布P(λ), 而其中的参数λ是多少呢？若确定了参数λ，则泊松分布就完全明确了，进而可以做各种数据统计分析.
(2) 调查男学生的身高，根据以往
经验，这些数据应该来自正态总体，
我们怎样才能得到这个正态总体的两个参数μ和σ2呢？
7.1.2 预备知识
(1) 样本的各阶矩, 总体的各阶矩, 数学期望及其性质，方差及其性质，依概率收敛.
(2) 样本概率密度和样本分布律, 函数最值求法.
已知其分布类型(包含未知参数),
通过样本对总体中的未知参数进行估计的问题就是本章的参数估计问题.
参数估计的类型:
点估计 —— 估计未知参数的值.
区间估计——估计未知参数的取值范围,
先给定这种估计的可信度，可计算这种估计的精确程度.
7.1.3 分析问题
参数估
计问题
假设检
验问题
点 估 计
区间估 计
统计
推断
的
基本
问题
统计推断及其方法：
7.1.4 建立理论
定义1
设总体
X
的分布函数
)
;
(
q
x
F
形式已知，其中θ
是待估计的参数
,
点估计问题就是利用样本
,
,
,
2
1
n
X
X
X
L
，构造一个统计量
)
,
,
,
(


2
1
n
X
X
X
L
q
q
=
来
估计θ
，我们称
)
,
,
,
(

2
1
n
X
X
X
L
q
为θ
的
点估计量
,它
是一个随机变量.
将样本观测值
,
,
,
2
1
n
x
x
x
L
代入
估计量
)
,
,
,
(

2
1
n
X
X
X
L
q
，就得到它的一个具体数值
)
,
,
,
(

2
1
n
x
x
x
L
q
，这个数值称为θ
的
点估计值
.
例如, 用样本均值来估计总体均值，用估
计量
讲评 由上面可知,估计量就是一个统计量, 所以它是一个随机变量.估计值,它只是估计量的一个实现值.对于一个未知参数,原则上可以
用样本方差来估计总体方差, 用估计量
随意构造统计量去作为它的一个估计量,
但好的估计量是按照一定的统计思想产
生的, 估计量的好坏有一定的评判标准.
下面介绍两种常用的构造估计量的方法: 矩估计法和最大似然估计法.
1. 矩估计法
矩估计法思想实质是用样本的经验
分布和样本的l阶矩去代替总体的分布和l阶矩.
在第六章6.2节定理1中, 我们知道: 样本的l阶矩依概率收敛于总体的l阶矩,这就是替换原则的理论依据. 由此得到了矩估计法.
定义2(矩估计法) 用相应的样本的l阶矩作为总体的l阶矩的估计量, 这种估计
方法称为矩估计法.
设X具有已知类型的概率函数P(x;θ1, θ2,…,θk), 其中θ1, θ2,…,θk是k个未知参数. X1,X2,…,Xn是来自总体X的一组样本. 假若X的k阶矩μk=E(Xk)存在, 则对于l≤k, μl=E(Xl)都存在, 并且是θ1, θ2,…,θk的函数μl (θ1, θ2,…,θk).
得到含有未知参数θ1, θ2,…,θk的k个方程. 解这k个联立方程就可以得到θ1, θ2,…,θk的一组解:
令
用上面的解来估计总体未知参数θi就是
矩估计量.
解
由于
所以，令
例7.1.1 设总体X的均值μ及方差σ2都
存在, 且有σ2>0, 但μ及σ2均未知.
又设X1,X2,…,Xn是来自总体X的样本. 试求μ及σ2的矩估计量.
讲评 (1) 此例的求解方法和所得结论值得读者充分重视.当总体中有两个未知参数时,我们就用样本的1阶和2阶矩分别代替总体的1阶和2阶矩,这是求未知参数矩估计的基本方法.
(2) 总体均值与方差的矩估计量
,
不因总体分布不同而有差异.
由样本均值
和样本方差
确定
和
(3) 对于正态分布： 如果X～N(μ,σ2),
μ,σ2未知.
得到，
利用本例结果, 得到a, b的矩估计量分别为
(4) 对于均匀分布：设总体X在 (a,b)上服从均匀分布, a,b未知. 有结论
2. 最大似然估计法
最大似然估计法的思想是: 实际发生的
事件应该是概率最大的事件, 此即为最大似然原理.
最大似然原理的直观想法就是: 一个随机试验若有多个结果A,B,C, 在一次试验中若A出现, 则一般认为试验条件对A的出现最有利,即A出现的概率最大.
引例 设一箱中装有若干只元器件，
分为合格品与不合格品两种. 记p是次
品的概率, 现要估计次品概率p的大小.
为此, 我们做放回抽样, 抽取10次. 其结果可用随机变量表示如下:
则Xi的概率分布为
若10次抽样的结果是样本观测值
则有
这个概率 是在10次放回抽样中出现观测值 的概率.
因此, p应该这样估计：选择p的估计 , 使得上述观测值出现的概率最大. 也就是使 L( )达到L(p)的最大值.
解得. 本例容易解得 =0.3时, L(0.3)=maxL(p). 于是用 =0.3作为随机抽得次品的概率p的估计值是适当的.
因此, 最大似然估计值 是满足
的解.
求L(p)的最大值点, 可用方程
定义 设总体X的分布类型已知, 但含
有未知参数θ.
(1) 设离散型总体X的概率分布律为
, 则样本
的联合分布律
称为似然函数, 并记为
(2)设连续型总体X的概率密度为
则样本
的联合概率密度
称为似然函数, 并记为
.
为总体X的一组样本观
察值. 若似然函数L(θ)
(3) 设 x1,x2,…,xn
在
处取到最大值, 则称
为参数θ的最大似然估计量.
为θ的最大似然估计值, 称
最大似然估计法的步骤 :
(1) 由总体分布写出样本的似然函数
(2) 建立似然方程, 即令
或
(3) 解似然方程或对数似然方程即得
.
这个方程也称为对数似然方程;
(4) 换样本值x1,x2,…,xn为大写X1,X2,…,
Xn, 即得最大似然估计量.
讲评 在第二步中我们要求的是L(θ)
的最大值点,而L(θ)的最大值点与lnL(θ)
的最大值点是相同的.
若似然函数或对数似然函数不可求导, 就只能通过求解maxL(θ), 得到最大似然估计值与估计量.
例7.1.2 设总体X的概率分布为
其中0< <1/2, 是未知参数. 利用样本观察值
(x1,x2,…,x8)=(3,1,3,0,3,1,2,3),
求 （1） 的矩估计值；
（2）极大似然估计值.
解 先求 的矩估计量和矩估计值:
X 0 1 2 3
P 2 2 (1- ) 2 1-2
7.1.5 方法应用
因为总体一阶矩
令
而样本一阶矩
得到
解之，得到总体参数的矩估计量
再求 的最大似然估计值:
对于给定的样本值, 似然函数为
利用样本值算得 =2, 所以总体参数
的矩估计值
取对数得
令
解之, 得到
不合题意, 舍去.
因
所以, 的最大似然估计值为
讲评 (1)此例是离散型总体考虑矩估计和最大似然估计问题，是考研真题. 提示读者重视此例解法.
(2) 矩估计和最大似然估计是两种求未知参数点估计的常用方法,由本题可以看到这两种方法求出的估计量和估计值是不一样的.
例7.1.3 设总体 , 是
来自总体X的一组样本.
(1) 求参数的矩估计量;
(2) 求参数的最大似然估计量.
解
(1) 由条件知 , 又 . 令
解之，得的矩估计量为
(2) 设 是相应于样本 的一组样本值, 则的分布律为
似然函数为
取对数, 得到
令
解之, 得到的最大似然估计值为
所以, p的最大似然估计量为
例7.1.4 设 未知,
x1,x2, …,xn是来自X的一组样本观察值, 求 的最大似然估计值和最大似然估计量.
正态总体X的概率密度为
解
似然函数为
而对数似然函数
令
解上述方程组, 得到总体两个未知参数 的最大似然估计值
于是, 总体X的两个未知参数 的
最大似然估计量分别为
讲评 (1) 与例7.1.1结论比较, 可以看出:
正态分布总体所含未知参数 , 2的最大
似然估计量与矩估计量相同; 提示读者要记住最大似然估计量与矩估计量的关系式.
(2) 当在总体中含有两个或两个以上的未知参数时,如果似然函数又是可微的,这时求总体未知参数的最大似然估计就采用对似然函数求偏导数,并令其等于0得到方程组, 然后解方程组即得最大似然估计值和最大似然估计量.
(3) 上述解法是用微积分中的导数
或偏导数来求似然函数L(θ)的最大值
点. 但当似然函数L(θ)不可导或导数不能等于0时, 就不能用微积分的求导方法求未知参数的最大似然估计值了, 这时就得利用最大似然基本思想来分析求解.
例7.1.5 设某种元件的使用寿命X的概率密度为
其中θ>0为未知参数, 又设x1,x2, …,xn是X的一组样本观察值, 求θ的最大似然估计值.
解
似然函数为
当 时, , 因此只需通过分段函数表达式
来计算最大值或最大值点.
取对数得
因为 , 所以L1(θ)单调递增, 因此当θ取最大值时, L1(θ)就取最大值. 注意θ到必须满足 , 所以θ的最大值为
因此, θ的最大似然估计值为
例7.1.6 设总体X在[a,b]上服从均
匀分布, a,b均未知, x1,x2, …,xn是来自X
的一组样本值, 求a,b的最大似然估计量.
因为X的概率密度为
解
又因为
即
这里，
似然函数为
这个似然函数显然不可以用似然方程求其最大值. 但因为对任意的a,b有
故L(a,b)在a=x(1),b=x(n)时取得最大值.
所以,a,b 的最大似然估计值为
a,b的最大似然估计量分别为
最大似然估计具有单调函数不变性.
最大似然估计值.
证略.
设 是 的最大似然估计值, g( )
( )
是 的函数, 且有单值反函数,
则 是 g( )的
定理
例如，在正态总体N ( , 2)中, 2的最大
似然估计值为
是 2的单值函数, 且具有单值反函数，
故 的最大似然估计值为
lg 的最大似然估计值为
问题: (1) 在一定时间内某信息台接到的
呼叫次数X是一个随机变量, 由实践经验知道它服从泊松分布, 而其中参数如何求解呢？
(2)调查男学生的身高，根据以往经验这些数据应该来自正态总体，我们怎样才能得到这个正态总体的两个参数呢？
解决方法：用矩估计法和最大似然估计法估计其中的参数.
7.1.6 内容小结
存在问题：点估计和最大似然估计都是给出未知参数的一个估计量或估计值，而这两个估计量哪一个更好呢？

展开更多......

收起↑