资源简介

(共55张PPT)
“悟道诗---严加安”
随机非随意，概率破玄机；
无序隐有序，统计解迷离．
第七章
参数估计
数理统计所研究的基本问题
根据手中的数据，分析或推断数据反映的本质规律
统计推断
根据样本对总体的分布或数字特征等作出合理的推断
核心问题
参数估计
假设检验
参数估计
统计推断的一种基本形式
数理统计学的一个重要分支
参数估计的两种形式
点估计
区间估计
第一节 点估计
二、最大似然估计法
一、矩估计法
三、小结
如果总体 的分布类型是已知的，但它的一个或多个参数是未知的，则需要对未知的参数作出估计，这就属于参数估计的点估计问题．
设 是总体 的分布函数，其中 是未知参数， 为总体的一个样本
设总体 的分布中含有未知参数 ，从总体 中抽取样本 ，构造某个统计量
作为参数 的估计，则称
为参数 的点估计量；若样本 的观测值为 ，则称 为参数
的点估计值.
定义：
由于估计量是样本的函数, 是随机变量, 故对不同的样本值, 得到的参数值往往不同, 如何求估计量是关键问题.
估计量的求法
常用构造估计量的方法: (两种)
矩估计法和最大似然估计法.
（1）矩估计基本思想
一、矩估计法
用样本矩作为相应总体矩的估计，即用样本矩去替换相应的总体矩.
矩可以是原点矩，也可以是中心距.
英国统计学家卡尔·皮尔逊（Karl Pearson）在1900年提出.
（2）矩估计的理论基础
设总体 的 阶原点矩 存在，则由大数定律可知，当 时，样本的 阶原点矩
依概率收敛于 .
（3）矩估计的具体做法
设总体 的分布中含有 个未知参数，
， 为总体的一个样本，假设总体 的 阶原点矩都存在，则有
用样本的 阶原点矩 作为总体 的 阶原点矩 的估计量，由此得到含有 的方程组：
求解方程组，得
这就是未知参数 的矩估计量．
这就是未知参数 的矩估计值．
代入样本观测值得到 个数，即
例1：
设总体 ，其中 为未知参数，
是来自总体 的一个样本，求参数 的矩估计量．
由于
解：
所以参数 的矩估计量为
令
即
设总体 服从区间 上的均匀分布，其中
是未知参数，若取得样本观测值 ，试计算参数 的矩估计值．
例2：
解：
由于总体 服从区间 上的均匀分布，故其概率密度函数为
故有
而样本的一阶原点矩为
由于只有一个未知参数 ，所以只需计算总体 的一阶原点矩
所以 的矩估计量为
进而得到 的矩估计值
例3：
解：
由于总体 的分布中有两个未知参数，故应考虑一、二阶原点矩，从而有
设总体 的均值 及方差 都存在，且有
，但 均未知，又设 是来自总体 的样本，试求 的矩估计值．
于是，由矩估计的方法得方程组
解得 及 的矩估计量分别为
进一步得到 及 的矩估计值为
以上结果表明：无论总体 服从何种分布，只要总体的均值和方差存在，总体均值的矩估计量就是样本均值，总体方差的矩估计量就是样本二阶中心矩，即
其矩估计值为
用仪器测量某零件的长度 （单位：mm），设测得的零件长度服从正态分布 ，现进行5次测量，其结果如下：
92 94 103 105 106
试计算参数 及 的矩估计值．
例4：
解：
由例3可知 的矩估计量分别为 及 ，故
的矩估计值分别为 与 ，即
矩估计法的优点是：简便、直观，不需要事先知道总体是什么分布．缺点是：一般情形下，矩估计量不具有唯一性，而且对于总体矩不存在的情形不适用．
二、最大似然估计法
一次试验就出现的事件有较大的概率。它首先是由德国数学家高斯在1821年提出的 ,然而，这个方法常归功于英国统计学家费舍尔(Fisher). 费舍尔在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.
高斯
费舍尔
最大似然估计又称极大似然估计，是一种利用给定样本观测值来评估模型参数的方法.
基本原理：利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值.
（1）离散型总体
设离散型总体 的分布律为
其中 为未知参数， 为 的所有可能取值范围（称为参数空间），则对于给定的样本观测值 ，样本的联合分布律为
令
称 样本为似然函数，它是未知参数 的函数．
（2）连续型总体
设连续型总体 的概率密度函数为
其中 为未知参数， 为 的所有可能取值范围（称为参数空间），则对于给定的样本观测值 ，样本的概率密度为
随机变量 落在点 的邻域（其半径为 ）内的概率可近似为
当 取定时，它是 的函数，记为 ，我们称
为样本似然函数．
由于 与 无关，故似然函数常取为
最大似然估计法
得到样本值 时，选取使似然函数
取得最大值的 作为未知参数 的估计值，即
其中 与 有关，记为
参数 的最大似然估计值
参数 的最大似然估计量
计算最大似然估计步骤
离散型总体
（1）写出似然函数
连续型总体
（2）似然函数两侧取自然对数，得到对数似然函数
离散型总体
连续型总体
（3）求对数似然函数的最大值点（通常为极大值点）
对数似然方程
可得 的最大似然估计
当 在端点处取得最大值时， 的最大似然估计即为该端点值.
当 为单峰函数，并在极大值点处取得最大值时，由
例5：
解：
总体 的分布律为
设总体 ， 是来自总体 的样本，求 的最大似然估计量．
设 是相应的样本值，则似然函数为
对上式两边取对数，得对数似然方程
由
可得
因此参数 的最大似然估计量为
设 是来自总体 的样本，总体 的概率密度函数为
例6：
解：
设 是相应的样本观测值，则似然函数为
其中 是未知参数，求 的最大似然估计量．
在这里，最大似然估计只需考虑非零部分量最大就可以了，似然函数可改写为
对上式两边取对数，得
由
可得
因此参数 的最大似然估计量为
当总体 的分布中有多个未知参数 时，似然函数就是多元函数 ，则相应地有方程组
由此方程组解得 的最大似然估计值 ．
对数似然方程组
例7：
解：
设总体 的概率密度函数为
设总体 ，其中 和 是未知参数，取样本观测值为 ，求参数 和
的最大似然估计．
则似然函数为
取对数，得对数似然函数
关于 和 分别求偏导，得似然方程组
由此解得 及 的最大似然估计值分别为
最大似然估计量分别为
从本例可以看到，正态总体参数的最大似然估计与矩估计是相同的．
设总体 服从均匀分布 ，其中 和
是未知参数，取样本观测值为 ，求参数 和 的最大似然估计.
例8：
解：
设总体 的概率密度函数为
则似然函数为
令 ，则似然函数可以写为
由于当 及 时，似然函数的偏导数不为零，故按照最大似然原理来确定 的最大值．对于满足 及 的任意 ，有
即似然函数 在 ， 时取得最大值．故 ， 的最大似然估计值分别为
最大似然估计量分别为
最大似然估计的不变性原理
设 是 的最大似然估计， 是 的函数，且具有单值的反函数 ，则 是 的最大似然估计．
正态分布总体 中， 的最大似然估计值为
是 的函数，且具有单值的反函数，故 的最大似然估计值为
类似地， 的最大似然估计值为
注意：
（1）当似然函数关于未知参数不可微时，只能按最大似然原理计算最大值点；
（2）上述方法推广至多个未知参数的情形；
（3）
对数似然方程
对数似然方程组
小结
两种求点估计的方法：矩估计法，最大似然估计法.
3. 注：在统计问题中往往先使用最大似然估计法, 在最大似然估计法使用不方便时, 再用矩估计法.
2. 似然函数.
4. 最大似然估计的一般步骤：
（3）判断并求出最大值点，用样本值代入就是参数
的最大似然估计值．
（1）写出似然函数 ；
（2）令 或 ，求出驻点；

展开更多......

收起↑