资源简介

(共31张PPT)
第一节 一元线性回归模型
第二节 最小二乘法估计
第三节 回归方程的显著性检验
第八章　线性回归分析
第四节 预测与控制
第五节 多元线性回归分析
　　1.一元线性回归模型。
　　2.最小二乘法估计。
　　3.回归方程的显著性检验。
　　4.多元线性回归分析。
学习重点
第八章 线性回归分析
回归分析（Regression Analysis）是研究一个变量Y与其他若干变量X之间相关关系的一种数学工具，它是在一组试验或观测数据的基础上，寻找被随机性掩盖了的变量之间的依存关系.粗略地讲，可以理解为用一种确定的函数关系去近似代替比较复杂的相关关系，这个函数称为回归函数，在实际问题中称为经验公式.回归分析所研究的主要问题就是如何利用变量X，Y的观察值（样本），对回归函数进行统计推断，包括对它进行估计及检验与它有关的假设等.
设变量x和Y之间存在着相关关系，其中x是可以精确测量或可控制的变量（非随机变量），Y是一个随机变量.假定Y和x存在着线性相关关系.
第一节 一元线性回归模型
一般地，当随机变量y与普通变量x之间有线性关系时，可假设
第一节 一元线性回归模型
其中a，b，σ2是模型参数，通常a，b，σ2均未知.y=a+bx称为回归方程.上式称为一元线性回归模型.该模型表明，随机变量y由两部分构成，一部分可以表示成普通变量x的线性函数a+bx，另一部分ε是随机误差，具有不可控制性，ε～N（0，σ2）.
第一节 一元线性回归模型
一元线性回归分析所考虑的统计推断问题主要有以下几个方面.
（1） 参数估计：对模型参数a，b和σ2进行估计，得到的估计量记为a∧，b∧，σ2∧.
（2） 假设检验：对关于a，b的某种假设以及y服从线性模型的假设进行检验.
（3） 预测：对于变量x给定的取值x0，给出y的点估计和区间估计.
（4） 控制：对于y的一个指定范围，给出x的控制区间.
在一次试验中，取得n对数据（xi，yi），其中yi是随机变量y对应于xi的观察值.我们所要求的直线应该是使所有|yi-y∧i|之和最小的一条直线，其中y∧i=a+bxi.由于绝对值在处理上比较麻烦，所以用平方和来代替.
第二节 最小二乘法估计
第二节 最小二乘法估计
第二节 最小二乘法估计
将上式代入到回归方程y∧=a+bx中，则得到经验回归方程
y～=a∧+b∧x.
其中a∧，b∧称为参数a，b的最小二乘估计，上述方法叫作最小二乘估计法.
式中的y～与y∧=a+bx式中的y∧不同，y∧是由理论回归方程y∧=a+bx所确定的对应数值x的随机变量Y的数学期望，y～是由经验回归方程所确定的对应于数值x的随机变量Y的数学期望的估计，它将会随着观测值的不同而变化.y～称为回归值.在直角坐标系中，方程是一条直线，因此称为经验回归直线.
第二节 最小二乘法估计
前面关于线性回归方程y∧=a∧+b∧x的讨论是在x与y间具有线性关系的假设下进行的.尽管这种假设常常不是没有根据的，但在求得线性回归方程后，需要同实际观测的效果进行比较，以判断回归方程是否有意义.这种判断回归方程是否有意义的方法，称为回归方程的显著性检验.
检验一元线性回归方程是否有意义归结为检验如下假设：
H0：b=0?H1：b≠0
第三节 回归方程的显著性检验
1. t检验法
一元线回归方程显著性检验的步骤为：
（1）要根据（x，y）的独立观测值（xi，yi）（i=1，2，…，n），计算T的值T0.
（2）对于给定的显著性水平α，查T分布表求得临界值tα2（n-2）.
（3）若|T0|＞tα2（n-2），拒绝H0，即回归效果显著；若|T0|≤tα2（n-2），接受H0，即回归效果不显著.
第三节 回归方程的显著性检验
2. F检验法
回归方程显著性检验的步骤为：
（1）根据（x，y）的独立观测值（xi，yi）（i=1，2，…，n），计算U和Q的观测值U0和Q0，并计算统计量F的值F0.
（2）对于给定的显著性水平α，查F分布表求得临界值Fα（1，n-2）.
（3）若F0＞Fα（1，n-2），拒绝H0，即回归效果显著；若F0≤Fα（1，n-2），接受H0，即回归效果不显著.
第三节 回归方程的显著性检验
3. 相关系数检验法
检验回归方程的显著性，也可通过检验相关系数的显著性来进行.称统计量
第三节 回归方程的显著性检验
为样本的相关系数，它是总体相关系数的估计量.
回归方程显著性检验的步骤为：
（1）根据（x，y）的独立观测值（xi，yi）（i=1，2，…，n），计算lxx，lxy和lyy，并计算R的值R0.
（2）对于给定的显著性水平α，查相关系数表求得临界值rα（n-2）.
（3）若|R0|＞rα（n-2），拒绝H0，即回归效果显著；若|R0|≤rα（n-2），接受H0，即回归效果不显著.
第三节 回归方程的显著性检验
如果随机变量Y与变量x之间的线性相关系显著，则利用观测值（xi，yi）（i=1，2，…，n）求出经验回归方程y～=a∧+b∧x
大致反映了变量Y与变量x之间的变化规律.但是，由于它们之间的关系不是确定性的，所以对于x的任一给定值x0，由经验回归方程只能得到相应的y0的估计值y～0=a∧+b∧x0.
我们需要对于给定的置信度1-α，确定y0的置信区间，称为预测区间.即寻找一个正数δ，使得估计值y0以1-α的置信度落在区间（y∧0-δ，y∧0+δ）内，这就是预测问题.
第四节 预测与控制
假设Y～N（a+bx，σ2），
有y0～N（a+bx0，σ2）.
将x0代入y～-y=b∧（x-x），可得y～0=y+b∧（x0-x）.
由上式，则有
E（y～0）=E（y）+（x0-x）E（b∧）=a+bx+（x0-x）b.
可见，y～0=a∧+b∧x0作为y0的点估计是无偏估计.
第四节 预测与控制
第四节 预测与控制
第四节 预测与控制
第四节 预测与控制
由此可见，当样本观测值及置信度1-α给定后，δ（x0）仍然依x0而变，x0越靠近x，δ（x0）就越小，预测就越精密.
如果把式中的x0换成x，即可得到Y的1-α预测区间（y～-δ（x），y～+δ（x））.
第四节 预测与控制
第四节 预测与控制
形成了一个含有回归直线y～=a∧+b∧x的带域，表示预测值的波动范围，可见其在x=x处最窄.
当n比较大，x离x较近时，Y的1-α预测区间可近似为（y～-u1-α2s，y～+u1-α2s）.
从以上分析，预测区间的长度直接关系到预测的效果，而预测区间的长度主要由s的大小所确定，因此，s在预测问题中是一个重要的量.
要注意，预测只能对x的观测数据范围内的x0进行预测，对于超出观测数据范围的x0进行预测常常是没有意义的.
第四节 预测与控制
设随机变量y与普通变量x1，x2，…，xm（m≥2）具有线性关系：
第五节 多元线性回归分析
这里β0，β1，…，βm，σ2都是未知参数，m为正整数，称式为m元线性回归的数学模型.
记y～=β0+β1x1+…+βmxm.称上式为随机变量y关于普通变量x1，x2，…，xm的线性回归方程，称x1，x2，…，xm为回归变量，称β0，β1，…，βm为回归系数.对x1，x2，…，xm及y做n次独立观测，可以得到n组观测值，记为（xi1，xi2，…，xim，yi）（i=1，2，…，n）.
第五节 多元线性回归分析
其中，ε1，ε2，…，εn相互独立，且εi～N（0，σ2），i=1，2，…，n.
为了以后讨论问题方便，上式可以写成矩阵的形式.Y=Xβ+ε
第五节 多元线性回归分析
与一元回归分析类似，我们直接应用最小二乘法求未知参数β0，β1，…，βm的估计，引入离差平方和.
第五节 多元线性回归分析
最小二乘估计就是求β∧0，β∧1，…，β∧m，使得当β0=β∧0，β1=β∧1，…，βm=β∧m时，Q达到最小.
因为Q是β0，β1，…，βm的非负二次型，根据高等数学的微分学知识可知，Q的最小值一定存在.对Q分别关于β0，β1，…，βm求偏导，并令它们等于零可得
第五节 多元线性回归分析
将方程组改写为
第五节 多元线性回归分析
第五节 多元线性回归分析
这里称A为系数矩阵，B为常数项向量，XT表示矩阵X的转置.向量Y和β的定义见式.
于是正则方程组可以表示为
第五节 多元线性回归分析
β∧就是β的最小二乘估计，即β∧为线性回归方程y∧=β∧0+β∧1x1+…+β∧mxm的回归系数.
谢谢观看

展开更多......

收起↑