资源简介

(共47张PPT)
概率论与数理统计
x1: 点估计 背景及概念 矩估计法 极大似然估计法
概率论与数理统计
1 背景及概念
2 矩估计法
3 极大似然估计法
x1:点估计
x1: 点估计 背景及概念 矩估计法
极大似然估计法
概率论与数理统计
在实际问题中, 我们常常需要估计一些未知参数, 这些参数可能 是总体分布的类型是知道的, 但里面有些参数可能未知; 或者, 当 总体分布未知时, 总体的某些未知的数字特征, 如均值、方差等. 通常有两种估计, 一种是值的估计, 另一种是取值范围的估计, 它 们统称为参数估计.
背景及概念
x1 . 点估计 背景及概念 矩估计法
极大似然估计法
概率论与数理统计
设θ为总体X的未知参数, X1 ; X2 ; · · · ; Xn为取自总体X的一个样本,
用该样本构造一个统计量 = (X1 ; X2 ; · · · ; Xn)来估计θ , 则
称 (X1 ; X2 ; · · · ; Xn) 为θ 的点估计量. 对应于样本观测值x1 , x2 , · · · , xn , 称 (x1 ; x2 ; · · · ; xn)为θ的点估计值.
θ
^
θ
^
θ
^
θ
^
背景及概念
x1: 点估计 背景及概念 矩估计法
极大似然估计法
定义
概率论与数理统计
根据辛钦大数定律, 在相应阶数的总体矩存在的条件下, 对应阶
数的样本矩依概率收敛于对应阶数的总体矩, 因此很自然地想到 用样本矩来代替对应阶数的总体矩, 这种参数估计的方法称为矩 估计法.
x1 . 点估计 背景及概念 矩估计法
极大似然估计法
概率论与数理统计
设总体X的分布中包含未知参数θ1 ; θ2 ; · · · ; θm , 则其分布函数可以 表示成
F(x; θ1 ; θ2 ; · · · ; θm).
显然, 它的k阶矩E(Xk ) (k = 1; 2; · · · ; m)(假设矩存在) 中也包含了 未知参数θ1 , θ2 , · · · , θm. 令
建立方程组, 解出m个未知参数
i = i(X1 ; X2 ; · · · ; Xn); i = 1; 2; · · · ; m; 则称 i为θi的矩估计量, 简称矩估计.
θ

θ

θ

x1 . 点估计 背景及概念 矩估计法
极大似然估计法
X = E(Xk); k = 1; 2; · · · ; m;
i
k
概率论与数理统计
1
n
对应于样本观测值x1 , x2 , · · · , xn , 称 i(x1 , x2 , · · · , xn)为θi的矩
估计值.
矩估计是一种简单且直观的估计方法, 是由统计学家皮尔逊 在19 世纪末引入的. 下面我们来看一些具体的例子.
θ
^
x1 . 点估计 背景及概念 矩估计法
极大似然估计法
概率论与数理统计
对应于样本观测值x1 , x2 , · · · , xn , 称 i(x1 , x2 , · · · , xn)为θi的矩
估计值.
矩估计是一种简单且直观的估计方法, 是由统计学家皮尔逊 在19 世纪末引入的. 下面我们来看一些具体的例子.
θ
^
x1 . 点估计 背景及概念 矩估计法
极大似然估计法
概率论与数理统计
假设总体X的分布函数为F(x), 且E(X) = μ , D(X) = σ2 (σ > 0)均 存在, 但未知, X1 , X2 , · · · , Xn为取自总体X的一个样本, 试求μ
和σ2 的矩估计量.
x1 . 点估计 背景及概念 矩估计法
极大似然估计法
例
概率论与数理统计
由题意, 令
Xi = E(X) = μ;
n X = E(X2) = D(X)
解得μ和σ2 的矩估计量分别为
> = n Σ Xi = X;
〈 i=
2 = n X - (X)2 = n
i
2

σ
1
1
n
1

μ
i
2
1
n
x1: 点估计 背景及概念 矩估计法
极大似然估计法
解
(Xi - X)2 = B2:
>8 1 n
+ (E(X))2 = σ2 + μ2 ;
>8 1 n
概率论与数理统计
由题意, 令
Xi = E(X) = μ;
n X = E(X2) = D(X)
解得μ和σ2 的矩估计量分别为
> = n Σ Xi = X;
〈 i=
2 = n X - (X)2 = n
i
2

σ
1
1
n
1

μ
i
2
1
n
x1: 点估计 背景及概念 矩估计法
极大似然估计法
解
(Xi - X)2 = B2:
>8 1 n
+ (E(X))2 = σ2 + μ2 ;
>8 1 n
概率论与数理统计
从该例可以看出, 不管总体是何种类型的分布, 其均值与方差的 矩估计量都是样本均值与样本的二阶中心矩.
x1: 点估计 背景及概念 矩估计法
极大似然估计法
注
概率论与数理统计
设总体X服从参数为λ的泊松分布, λ > 0未知, 8; 10; 11; 9; 10为 从该总体抽取的样本的一组观测值, 试求λ的矩估计值.
x1: 点估计 背景及概念 矩估计法
极大似然估计法
例
概率论与数理统计
由于E(X) = λ , 故根据上例知, λ的矩估计量为 = X. 故λ的矩估
计值为
= = 9:6:
λ

λ

x1: 点估计 背景及概念 矩估计法
极大似然估计法
解
概率论与数理统计
根据该例, 可以看出, 对于不同的样本观测值, 估计值是可以不相 同的
x1: 点估计 背景及概念 矩估计法
极大似然估计法
注
概率论与数理统计
设总体X服从区间(0, θ)上的均匀分布, θ > 0未知, X1 , X2 , · · · , Xn 为从该总体抽取的一个样本, 试求θ的矩估计量.
x1 . 点估计 背景及概念 矩估计法
极大似然估计法
例
概率论与数理统计
x1: 点估计 背景及概念 矩估计法
极大似然估计法
解
Xi = E(X) = ;
Xi = 2X:
立得θ的矩估计量为
由题意, 令
1
n
θ
^
概率论与数理统计
2
=
n
极大似然估计法是求点估计的另一种方法. 它最早是由高
斯(C.F.Gauss) 提出的. 后来费希尔(R.A.Fisher)在1912年重新提 出, 并给出了这个方法的一些具体的性质. 极大似然估计这个名 称也是费希尔给出的. 它是建立在极大似然原理的基础上的一个 统计方法. 极大似然原理的直观理解是: 假设一个随机试验有若 干可能的结果A; B; C; · · · , 若在一次试验中, 结果A出现了, 则有理 由认为试验的条件对A有利, 也即事件A比其他事件发生的概率大. 我们先看如下的一个简单的例子.
x1 . 点估计 背景及概念 矩估计法
极大似然估计法
概率论与数理统计
ò个袋子中有红、 白两种颜色的球100个, 其中ò种颜色的球
有99个, 另ò种颜色的球1个. 现从袋子中任取ò球, 结果为红球, 我们有理由认为袋子中有99 个红球, 1个白球.
x1: 点估计 背景及概念 矩估计法
极大似然估计法
例
概率论与数理统计
下面我们分别对离散型总体和连续型总体来阐述极大似然估计 法.
设总体X为离散型J 其分布律为
P(X = x) = p(x; θ),
其中θ 2 Θ为需估计的未知参数J Θ 是θ 的取值范围. 设X1 J X2 J
· · · J Xn 为取自总体X 的样本J x1 , x2 , · · · , xn 为该样本的一组观测 值. 记事件
A = {X1 = x1 , X2 = x2 , · · · , Xn = xn},
x1 . 点估计 背景及概念 矩估计法
极大似然估计法
概率论与数理统计
下面我们分别对离散型总体和连续型总体来阐述极大似然估计 法.
设总体X为离散型J 其分布律为
P(X = x) = p(x; θ),
其中θ 2 Θ为需估计的未知参数J Θ 是θ 的取值范围. 设X1 J X2 J
· · · J Xn 为取自总体X 的样本J x1 , x2 , · · · , xn 为该样本的一组观测 值. 记事件
A = {X1 = x1 , X2 = x2 , · · · , Xn = xn},
x1 . 点估计 背景及概念 矩估计法
极大似然估计法
概率论与数理统计
则
P(A) = p(x1 ; θ)p(x2 ; θ) · · · p(xn; θ).
根据极大似然原理, 在一次试验中, 居然出现了这样一组观测
值x1 ; x2 ; · · · ; xn , 即事件A竟然发生了, 我们有理由认为A发生的概 率最大. 由此, 我们在参数θ 的可能取值的范围内, 挑选使得概
率P(A)达到最大的参数值 = (x1 ; x2 ; · · · ; xn) 作为对应参数θ的
估计值. 通常将P(A)记作L(θ; x1 ; x2 ; · · · ; xn), 或简记为L(θ), 称为 该样本的似然函数.
θ

θ

x1 . 点估计 背景及概念 矩估计法
极大似然估计法
概率论与数理统计
对于连续型总体X, 若其密度函数为f (x; θ), θ 2 Θ为需估计的未知 参数, Θ是θ 的取值范围, 则样本的似然函数定义为
n
L(θ) = L(θ; x1 ; x2 ; · · · ; xn) = f (x1 ; θ)f (x2 ; θ) · · ·f (xn; θ) =uf (xi; θ):
i= 1
x1: 点估计 背景及概念 矩估计法
极大似然估计法
概率论与数理统计
如果样本似然函数L(θ; x1 , x2 , · · · , xn)在 = (x1 , x2 , · · · , xn)处达
到最大值, 即
L( ; x1 , x2 , · · · , xn) = supL(θ; x1 , x2 , · · · , xn),
θ=Θ
则称 (x1 , x2 , · · · , xn)为参数θ的极大似然估计值,
称 (X1 , X2 , · · · , Xn) 为参数θ 的极大似然估计量.
θ

θ

θ

θ

θ

x1 . 点估计 背景及概念 矩估计法
极大似然估计法
定义
概率论与数理统计
说明
一般求函数的最大值点往往是令一阶导数(或偏导数)为零再做判 断, 由于似然函数L的表达式中都是连乘, 求导运算不是很方便, 因lnL和L有相同的最大值点, 且ln L 的表达式变成了求和的形式, 求导数就变得比较方便. 因此, 大部分情况下, 我们都是通过
求lnL 的最大值点来得到θ的极大似然估计值. 下面我们看一些具 体的求极大似然估计的例子.
x1 . 点估计 背景及概念 矩估计法
极大似然估计法
概率论与数理统计
设总体X为某超市某种商品的月销售数, 根据经验, X服从参数 为λ的泊松分布, 其中λ > 0未知, x1 , x2 , · · · , xn 为该商品某n个月 的销售数, 求参数λ的极大似然估计.
x1 . 点估计 背景及概念 矩估计法
极大似然估计法
例
概率论与数理统计
两端取对数得
ln L(λ) = xi ) ln λ — nλ —
x1: 点估计 背景及概念 矩估计法
极大似然估计法
e-λ = e-nλ ;
解
n n L(λ) =ⅡP(Xi = xi) =Ⅱ i= 1 i= 1
ln((xi)!):
由题意知, 似然函数为
概率论与数理统计
令 = 0得
xi - n = 0;
解得
= xi = x:
λ
^
经验证, 当 = x 时, 似然函数L(λ)取最大值, 故λ的极大似然估计
值为x, 从而λ的极大似然估计量为 = X:
λ
^
λ
^
x1: 点估计 背景及概念 矩估计法
极大似然估计法
解
概率论与数理统计
由这个例子可以得出求极大似然估计的一种方法, 基本步骤如下:
(1) 作出似然函数;
(2) 对似然函数两端取对数;
(3) 求出取了对数后的似然函数的最大值点.
x1: 点估计 背景及概念 矩估计法
极大似然估计法
说明
概率论与数理统计
由这个例子可以得出求极大似然估计的一种方法, 基本步骤如下: (1) 作出似然函数;
(2) 对似然函数两端取对数;
(3) 求出取了对数后的似然函数的最大值点.
x1: 点估计 背景及概念 矩估计法
极大似然估计法
说明
概率论与数理统计
由这个例子可以得出求极大似然估计的一种方法, 基本步骤如下: (1) 作出似然函数;
(2) 对似然函数两端取对数;
(3) 求出取了对数后的似然函数的最大值点.
x1: 点估计 背景及概念 矩估计法
极大似然估计法
说明
概率论与数理统计
由这个例子可以得出求极大似然估计的一种方法, 基本步骤如下: (1) 作出似然函数;
(2) 对似然函数两端取对数;
(3) 求出取了对数后的似然函数的最大值点.
x1: 点估计 背景及概念 矩估计法
极大似然估计法
说明
概率论与数理统计
设某电子元件的寿命T服从参数为λ的指数分布. 现任意抽取n个 元件J 测得它们的失效时间为x1 , x2 , · · · , xn J 试求λ的极大似然估 计值.
x1 . 点估计 背景及概念 矩估计法
极大似然估计法
例
概率论与数理统计
由题意知, 不妨假设xi > 0; i = 1; 2; · · · ; n, 故似然函数为
L(λ) = λe-λxi = λne-λ xi ;
i= 1
两端取对数得
ln L(λ) = n ln λ — λ xi.
u
n
x1 . 点估计 背景及概念 矩估计法
极大似然估计法
解
概率论与数理统计
经验证, 当 = 时, 似然函数L(λ)取最大值, 故λ的极大似然估计
1
值为
λ
^
- xi = 0;
= = :
x i
λ
^
x1: 点估计 背景及概念 矩估计法
极大似然估计法
解
令 = 0得
概率论与数理统计
解得
x.
设X1 ; X2 ; · · · ; Xn为取自正态总体N(μ; σ2 )的样本, 其中μ 2 R,
σ > 0均未知, x1 ; x2 ; · · · ; xn 为该样本的一组观测值. 求μ和σ2 的极 大似然估计.
上面的两个例子都是只有一个未知参数的估计, 下面我们看一个 有两个未知参数的问题.
x1: 点估计 背景及概念 矩估计法
极大似然估计法
例
概率论与数理统计
设X1 ; X2 ; · · · ; Xn为取自正态总体N(μ; σ2 )的样本, 其中μ 2 R,
σ > 0均未知, x1 ; x2 ; · · · ; xn 为该样本的一组观测值. 求μ和σ2 的极 大似然估计.
上面的两个例子都是只有一个未知参数的估计, 下面我们看一个 有两个未知参数的问题.
x1: 点估计 背景及概念 矩估计法
极大似然估计法
例
概率论与数理统计
由题意知, 似然函数为
L(μ; σ2 ) = e- = exp {- (xi
两端取对数得
ln L(μ; σ2 ) = - ln(2π) - ln(σ2 ) - (xi - μ)2 :
x1: 点估计 背景及概念 矩估计法
极大似然估计法
解
}
;
- μ)2
概率论与数理统计
令
得
8 >
> > >
〈
>
>
>
>
(
8 @ lnL(μ; σ2 )
> @ ln 2 )
( @σ2 = 0;
(xi - μ) = 0;
;
〈
μ; σ
μ
L(
@
x1: 点估计 背景及概念 矩估计法
极大似然估计法
- + (xi - μ)2 = 0:
解
> = 0
概率论与数理统计
1 σ2
解上述方程组得
>8 1 n
经验证, 当 = x; 2 = s2 时, 似然函数L(μ; σ2 )取最大值.
^
σ
^
μ
x1: 点估计 背景及概念 矩估计法
极大似然估计法
= n xi = x;
1
n - 1
^
μ
解
2 = n (xi -x)2 = n s2 :
^
σ
概率论与数理统计
此, μ和σ2 的极大似然估计值为
{ 2 = s2 :
从而, μ和σ2 的极大似然估计量为
x
=
^
σ
^
μ
x1: 点估计 背景及概念 矩估计法
极大似然估计法
解
= Xi = X;
^
μ
(Xi - X)2 = B2:
8 >
>
>
>
〈
> (
2 = 1
^
σ
概率论与数理统计
n
此, μ和σ2 的极大似然估计值为
{ 2 = s2 :
从而, μ和σ2 的极大似然估计量为
x
=
^
σ
^
μ
x1: 点估计 背景及概念 矩估计法
极大似然估计法
解
= Xi = X;
^
μ
(Xi - X)2 = B2:
8 >
>
>
>
〈
> (
2 = 1
^
σ
概率论与数理统计
n
极大似然估计具有下述性质: 设函数u = u(θ)具有单值反函数,
是θ的极大似然估计, 则参数u的极大似然估计为 = u( ). 比如,
在上例中, σ 的极大似然估计为 = p 2 .
^
σ
^
σ
θ
^
^
u
θ
^
x1: 点估计 背景及概念 矩估计法
极大似然估计法
注
概率论与数理统计
以上的例子我们基本都是按照上述基本步骤来求出极大似然估计 的, 但有时用上述方法行不通, 但我们最终的目标是求似然函数 的最大值点, 只能寻求其他的方法, 上面给出的方法只是求最大 值的一种方法而已. 我们看如下一个例子.
设总体X服从区间(0, θ)上的均匀分布, θ > 0未知, X1 , X2 , · · · , Xn 为从该总体抽取的一个样本, x1 , x2 , · · · , xn 为该样本的一组观测 值, 试求θ的极大似然估计.
x1 . 点估计 背景及概念 矩估计法
极大似然估计法
例
说明
概率论与数理统计
以上的例子我们基本都是按照上述基本步骤来求出极大似然估计 的, 但有时用上述方法行不通, 但我们最终的目标是求似然函数 的最大值点, 只能寻求其他的方法, 上面给出的方法只是求最大 值的一种方法而已. 我们看如下一个例子.
设总体X服从区间(0, θ)上的均匀分布, θ > 0未知, X1 , X2 , · · · , Xn 为从该总体抽取的一个样本, x1 , x2 , · · · , xn 为该样本的一组观测 值, 试求θ的极大似然估计.
x1 . 点估计 背景及概念 矩估计法
极大似然估计法
例
说明
概率论与数理统计
不妨设xi 2 (0; θ); i = 1; 2; · · · ; n, 则似然函数为
L(θ; x1 ; x2 ; · · · ; xn) = ; 0 < xi < θ; i = 1; 2; · · · ; n.
显然, 似然函数关于θ单调递减, 因此, 要使得似然函
数L(θ; x1 ; x2 ; · · · ; xn) 取最大值, 则θ需取最小值. 而0 < xi < θ , i = 1; 2; · · · ; n, 此即
0 min{x1 ; x2 ; · · · ; xn} max{x1 ; x2 ; · · · ; xn} θ; 故θ的最小值为max{x1 ; x2 ; · · · ; xn}, 此时似然函数取最大 值(max{x1 ; x2 ; · · · ; xn})-n , 因此θ的极大似然估计值为
= max{x1 ; x2 ; · · · ; xn};
θ的极大似然估计量为 = max{X1 ; X2 ; · · · ; Xn}.
θ

θ

x1 . 点估计 背景及概念 矩估计法
极大似然估计法
解
概率论与数理统计
在上例中, 求似然函数的最大值时, 因似然函数是θ的严格单调递 减函数, 因此, 其一阶导数恒小于零, 没有稳定点, 就不能用前面 几个例子的方法了. 所以, 在具体的问题面前, 还是要灵活应变, 不能生搬硬套.
x1 . 点估计 背景及概念 矩估计法
极大似然估计法
注
概率论与数理统计

展开更多......

收起↑