资源简介

(共40张PPT)
统计学：思想、方法与应用
第8章 相关和回归分析
8.1 两个变量间是什么关系
8.2 两个变量间的关系强度
8.3 回归分析
8.4 总体中的关系
8.5 多元回归分析
8.6 虚拟变量
学习目标
了解相关分析，能计算和解释相关系数与判定系数；
了解回归分析方法的统计思想；
能对回归模型进行参数估计和有关假设检验；
相关理论在统计学软件中的应用；
相应统计分析结果的解读。
对于现实世界，不仅要知其然，而且要知其所以然。
发现变量之间的统计关系，并且用此规律来帮助我们进行决策才是统计实践的最终目的。
一般来说，统计可以根据目前所拥有的信息（数据）来建立人们所关心的变量和其他有关变量的关系。这种关系一般称为模型（model）。
假如用Y表示感兴趣的变量，用X表示其他可能与Y有关的变量（X也可能是若干变量组成的向量），则需要的是建立一个函数关系Y=f(X)。
这里Y称为因变量或响应变量(dependent variable, response variable)，而X称为自变量，也称为解释变量或协变量(independent variable, explanatory variable, covariate)。
建立这种关系的过程就叫做回归(regression)。
一旦建立了回归模型，除了对变量的关系有了进一步的定量理解之外，还可以利用模型（函数）通过自变量对因变量做预测（prediction）。
这里所说的预测，是用已知的自变量的值通过模型对未知的因变量值进行估计；它并不一定涉及时间先后。
8.1 两个变量间是什么关系
表8.1 偷税识别中的销售收入和工人工资总额
企业 销售收入（万元） 工人工资总额（万元）
1 271.5 76.1
2 155.1 45.6
3 318.2 87.5
4 923.3 253.9
5 202.6 60.5
6 443.3 129.2
7 1325.5 371
8 648.2 194.5
9 553.6 155
10 337.9 98.4
8.1 两个变量间是什么关系
从表8.1出发，我们能在多大程度上回答销售收入和工资有怎样的关系这个问题呢？
大致地看一下数据，我们发现高销售收入的企业的工资总额也较高，而低销售收入的企业的工资总额则较低，这两个变量看上去是相关的。
但要得到数据包含的详细信息——例如，一家企业如果销售收入是另一家企业的两倍，其工资是否也为另一家企业的两倍呢——我们要利用回归分析和相关分析。
8.1 两个变量间是什么关系
怎样才能发现两个变量有没有关系呢？
最简单的直观办法就是画出它们的散点图。下面是四组数据的散点图；每一组数据表示了两个变量x和y的样本。
不相关
正线性相关
负线性相关
相关但非线性相关
8.1.1散点图
散点图8.1表明，一家企业中销售收入越高，工人工资总额也越高。图中点的趋势说明两变量间确实存在一定的关系。这个图支持了我们仅仅从数据表所得出的结论，从这个图我们确信这两个变量是相关的。
另外，由于这些点散布在从左下角到右上角的区域，说明这两个变量是正相关的，也就是说，一家企业中销售收入越高，工人工资总额也越高。
8.1.2 线性关系
再考虑另一个问题：当x值(销售收入)增加或减少时，y值(工人工资总额)如何变化。
我们取自变量销售收入的一些值，看看因变量(工人工资总额)的相应的值。
例如，对销售收入为202.6万元时，相应的工人工资总额平均值为60.5万元，销售收入为大约1325.5万元时，相应的工人工资总额平均值大约为371万元。
回归分析就是基于对于自变量的不同取值，因变量相应的平均值也不同这一事实。如果数据足够——对于销售收入的每一个值，工人工资总额变量都有许多值——我们就可以对销售收入变量的每一个值来计算工人工资总额的实际平均值了。
8.1.2 线性关系
如果对销售收入不同的值，工人工资总额平均值也彼此不同，那么我们可以认为这两个变量是相关的。
另外，在一个散点图中代表平均值的那些点分布在通过散点图中心的一条直线旁，我们就可以对这些数据用回归分析和相关分析。
在这里我们没有足够的数据来计算平均值，但这些数据点多少分布在一条直线旁边，我们可以继续作下去。如果散点图中的点的分布看上去像一条曲线，我们就不能用这些分析了。如果这些点像云一样，没有任何模式，这些数据也许是随机的，而变量间没有任何关系。
8.2 两个变量间的关系强度
如何在数量上描述相关呢？下面引进几种对相关程度的度量。
Pearson相关系数（Pearson’s correlation coefficient）又叫相关系数或线性相关系数。它一般用字母r表示。它是由两个变量的样本取值得到，这是一个描述线性相关强度的量，取值于-1和1之间。当两个变量有很强的线性相关时，相关系数接近于1（正相关）或-1（负相关），而当两个变量不那么线性相关时，相关系数就接近0。
8.2 两个变量间的关系强度
Kendall t 相关系数（Kendall’s t）这里的度量原理是把所有的样本点配对（如果每一个点由x和y组成的坐标(x,y)代表，一对点就是诸如(x1,y1)和(x2,y2)的点对），然后看每一对中的x和y的观测值是否同时增加（或减少）。比如由点对(x1,y1)和(x2,y2)，可以算出乘积(x2-x1)(y2-y1)是否大于0；如果大于0，则说明x和y同时增长或同时下降，称这两点协同（concordant）；否则就是不协同。如果样本中协同的点数目多，两个变量就更加相关一些；如果样本中不协同（discordant）的点数目多，两个变量就不很相关。
8.2 两个变量间的关系强度
Spearman 秩相关系数（Spearman rank correlation coefficient 或Spearman’s r）它和Pearson相关系数定义有些类似，只不过在定义中把点的坐标换成各自样本的秩（即样本点大小的“座次”）。Spearman相关系数也是取值在-1和1之间，也有类似的解释。通过它也可以进行不依赖于总体分布的非参数检验。
8.2 两个变量间的关系强度
人们可能会问，上面的三种对相关的度量都是在其值接近1或-1时相关，而接近于0时不相关。到底如何才能够称为“接近”呢？
这很难一概而论。但在计算机输出中都有和这些相关度量相应的检验和p-值；因此可以根据这些结果来判断是否相关。
8.2 两个变量间的关系强度
这三个统计量相关的检验(零假设均为不相关)全部显著，p-值都是0.000。注意这种0.000的表示并不表示这些p-值恰好等于零，只是小数点前三位是0而已。
8.2 两个变量间的关系强度
我们已经知道相关系数r度量两个变量的关系强度，然而，很难给出一个对r的确切解释。
例如，r=0.91意味着两变量间有很强的关系，r=0.41则代表适中的相关关系。但除了强和适中这些描述以外，r到底意味着什么？
一种更易于解释的度量尺度便是判定系数。判定系数（coefficient of determination，也叫测定系数或可决系数）是指因变量的总变差中能被自变量的变差所解释或说明的比例。
判定系数是由相关系数的平方计算得到的，一般记为R2。对销售收入和工人工资总额的例子，R2=0.9992=0.998，0.998有一个很具体的解释，即0.998说明工人工资总额的99.8％的变异可以被销售收入的变异解释或说明。
8.3 回归分析
对前面例子中的两个变量的数据进行线性回归，就是要找到一条直线来适当地代表散点图8.1中的那些点的趋势。
首先需要确定选择这条直线的标准。这里介绍最小二乘回归（least squares regression）。古汉语“二乘”是平方的意思。
这就是寻找一条直线，使得所有点到该直线的豎直距离的平方和最小。用数据寻找一条直线的过程也叫做拟合（fit）一条直线。
8.3 回归分析
例8.1（继续）根据计算，找到销售收入与工人工资总额的回归直线。计算机输出给出来截距（Constant）3.457和斜率(销售收入的系数) 0.277。
截距=3.457; 斜率=0.277
8.3 回归分析
这个直线实际上是对所假设的下面线性回归模型的估计（这里的e是随机误差）：
我们得到的截距和斜率（ 3.457和0.277 ）是对b0和b1的估计。
8.3 回归分析
对于该例，判定系数R2=0.998；这说明这里的自变量可以大约解释63％的因变量的变化。
R2越接近1，回归就越成功。
由于R2有当变量数目增加而增大的缺点，人们对其进行修改；有一修正的R2（adjusted R square）。
8.4 总体中的关系：t检验
由于不同的样本产生不同的估计，所以估计量是个随机变量，它们也有分布，也可以用由他们构造检验统计量来检验b0和b1是不是显著。拿回归主要关心的来说，假设检验问题是
计算机输出也给出了这个检验：t检验统计量为61.188，而p-值为0.000。
8.4 总体中的关系：置信区间的方法
这个置信区间最值得注意的一点是它不包含0。
我们提及这一点是说明0不是总体回归系数的一个可能的值。既然β不可能等于0，我们可以认为β一定与0有差别。如果总体的直线的斜率不等于0，则对于包含所有企业的总体（而不仅仅是样本），两个变量销售收入和工人工资总额间一定存在一定的关系。
注意表8.5的置信区间上限是0.288，不是0.287，这其实没有本质差异，只是两种方法计算过程中在不同阶段保留小数位数导致的差异。
模型 非标准化系数 标准系数 t Sig. B 的 95.0% 置信区间
B 标准误差 下限 上限
1 (常量) 3.457 2.827 1.223 .256 -3.063 9.976
销售收入 .277 .005 .999 61.188 .000 .267 .288
因变量: 工人工资总额
8.4 总体中的关系：F检验
此外，计算机还计算了一个在零假设下有F分布的检验统计量，它是用来检验回归拟合好坏的（零假设是因变量和自变量没有关系）。
8.5 多元回归分析
和简单回归模型类似，一般的有k个（定量）自变量x1, x2…, xk的对因变量y的线性回归模型为（称为多元回归）
这里b0, b1,…, bk称为回归系数。对计算机来说，计算多个自变量的回归和计算一个自变量的情况类似，计算机也会自动输出相应的检验结果。
8.5 多元回归分析
并且用数据来拟合所选的一个模型时，并不一定所有的变量都显著(并不一定所有的系数都有意义)。
软件有一种一边回归，一边检验的所谓逐步回归（stepwise regression）方法。
该方法或者从只有常数项开始，逐个地把显著的变量加入；或者从包含所有变量的模型开始，逐步把不显著的变量减去。注意不同方向逐步回归的结果也不一定相同。
8.6 虚拟变量：自变量中有定性变量的回归
有50个从初中升到高中的学生。为了比较初三的成绩是否和高中的成绩相关，得到了他们在初三和高一的各科平均成绩(数据在highschool.txt)。
还有一个自变量是收入，但它是定性变量，以虚拟变量或哑元（dummy variable）的方式出现。（这里收入的“低”，“中”，“高”，用1，2，3来代表）
8.6 虚拟变量：自变量中有定性变量的回归
如果要用这种哑元进行前面的回归就没有道理了。可以用下面模型描述：
8.6 虚拟变量：自变量中有定性变量的回归
注意，哑元的各个参数a1, a2, a3本身只有相对意义，无法三个都估计，只能够在有约束条件下才能够得到估计。约束条件可以有很多选择，一种默认的条件是把一个参数设为0，比如a3=0，这样和它有相对意义的a1和a2就可以估计出来了。对于例7.1得到
对b0, b1, a1, a2, a3的估计分别为28.708, 0.688, -11.066, -4.679, 0。
8.6 虚拟变量：logistic回归
但是如果因变量为取两个值的定性变量，前面介绍的回归模型就无法解决了。
我们通过例子来介绍另一种回归，即Logistic回归（logistic regression）。
8.6 虚拟变量：logistic回归
这是200个不同年龄和性别的人对某项服务产品的认可的数据（logi.txt）。这里年龄是连续变量，性别是有男和女（分别用1和0表示）两个水平的定性变量，而变量观点则为包含认可（用1表示）和不认可（用0表示）两个水平的定性变量。
8.6 虚拟变量：logistic回归
想要知道的是年龄和性别对观点有没有影响，有什么样的影响，以及能否用统计模型表示出这个关系。
年龄和观点的散点图(左)和性别与观点的条形图；
8.6 虚拟变量：logistic回归
对此，人们通常会考虑下面的模型（称为logistic回归模型）
为了循序渐近，先拟合没有性别作为自变量（只有年龄x）的模型
8.6 虚拟变量：logistic回归
很容易得到b0和b1的估计分别为2.381和-0.069。拟合的模型为
8.6 虚拟变量：logistic回归
下面再加上性别变量进行拟合，得到对b0, b1和a0, a1的估计（同样事先确定为a1=0）分别为1.722, -0.072, 1.778, 0。对于女性和男性，该拟合模型分别可以表示为

展开更多......

收起↑