资源简介

(共18张PPT)
7.4 MLE的性质
计量,如果θ的极大似然估计存在,则其必是充分
定理1
样本X=(X1,… ,Xn) i.i.d.p(x, ),T为θ充分统
统计量.
证明:
由于T为θ充分统计量，由因子分解定理
所以似然函数L关于θ的最大化等价于g(T, θ)关于θ最大化，即极大似然估计是T的函数，为充分统计量。
定理2 总体具有分布密度函数蔟为
θ是在某个开区间 上的实参数，且满足下列条件：
(i) 对几乎所有的x，对每个
，导数
存在；
(ii) 对每个
，导数
其中F1(x), F2(x) 在
在上可积，而H(x)满足
其中M是与θ无关的常数；
(iii) 总体的Fisher信息I (θ)满足
(iv) 总体分布密度函数簇的支撑
与θ无关;则
(1)似然方程
当
时,依概率趋
于1存在一致性解
(2)似然方程一致性解满足
证明:
(1)设 0为真参数，则
由大数定律有
由此可得，当n→∞时，以概率1成立
这表明L(X, )在区间
存在相对最大值，所以
存在点
使
由于 的选取的任意的，所以
选取关于 0是一致的。
(2)
为似然方程的一致性解，则有
有相同的渐近分布。
7.5 Bayes估计
一、Bayes估计的统计基础
统计推断是根据样本信息对总体分布或其特征进行推
断的过程，统计推断应用了总体信息与样本信息，而
Bayes学派认为应当应用第三类信息：先验信息。
1.总体信息:是指总体分布或分布簇提供的信息,如
总体服从正态分布;总体的一、二阶存在等。
3.先验信息:来自于经验或历史资料，如研究大学生的平均身高，人们大体上知道应当在[100cm,200cm]之间，这就是先验信息。
2.样本信息:是指得到样本观察值后得到的一些信息；
如：样本均值、样本方差
Bayes估计的基本思想是：将待估参数视为一随机变
量，可用一概率分布描述，这个分布称为先验分布。
二、Bayes估计的基本步骤
（1）参数 为随机变量，先验分布的密度函数为
（2）样本X=(X1,… ,Xn) i.i.d.p(x| ),X的条件密度函数为
（3）样本X=(X1,… ,Xn) 与参数 的联合概率分布密度函数为
（4）求后验分布
（5）求后验分布的数学期望作为参数的估计，称为Bayes估计。看下列实例。
例1 X1,… ,Xn i.i.d.B(1, ),先验分布分别为U(0,1),Beta(p,q),
求 的Bayes估计
解
(1)
c 为常数。
(2)
例2 X1,… ,Xn i.i.d.P(x| ),先验分布分别为 (a,p),
求 的Bayes估计

展开更多......

收起↑