资源简介

(共17张PPT)
回归分析
1
2
3
回归分析的基本概念
回归分析的参数计算
编程举例说明
备用：深度学习：人工智能 展望与挑战
未来的深度学习
在现实生活中，往往需要分析若干变量之间的关系，如碳排放量与气候变暖之间的关系、某商品的广告投人量与销售量之间的关系等，这种分析不同变量之间存在关系的研究叫回归分析，刻画不同变量之间关系的模型称为回归模型。
一旦确定了回归模型，就可以进行预测等分析工作，如从碳排放量预测气候变化程度、从广告投人量预测商品销售量等。
回归分析
二氧化碳浓度在逐年缓慢增加，→二氧化碳浓度=a*年份+b
设时间年份为x、二氧化碳浓度为y，即y=ax+b。
利用表中8组数据可确定模型中参数a和b的值，一旦求解出a和b的值，输入任意的时间年份(甚至是1970年之前的时间年份)，该模型可估算出该时间年份所对应的二氧化碳浓度值。这种建立变量之间关联关系，且利用这种关联关系进行预测分析的方法叫回归分析。
2.5.1回归分析的概念
监督学习: 利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程。
无监督学习: 根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题的过程。
“监督学习”与“无监督学习”区别
在回归分析中，刻画数学关系的模型包含了一些未知参数(如y=ax+b中的参数a和b )这些参数需要从已有数据中计算得到。
那么如何预设一个合理的模型 又如何对模型中的
未知参数进行计算呢
说明：为了简化问题，往往假设模型是符合线性分布
最简单的线性回归模型就是一元线性回归模型，只包含一个自变量x和一个因变量y，并且假定自变量和因变量之间存在如y=ax+b的线性关系。
一元线性回归分析实际上就是寻找“ax+b”形成的一条直线，使得这条直线尽可能靠近或穿过这8组(x,y)数据，即能够以最小的误差来拟合这8组(x,y)数据。
如何计算参数a和b使误差最小化？
如何表示误差
2.5.2回归分析中参数计算
一旦给定了参数a和b,通过计算ax+b得到的值记为=ax+b，接着计算y和之间差的绝对值|-y|,将这个差的绝对值作为对应的真实值(即y)和模型预测值(即)之间的误差，这个误差通常称为“残差”。
为了计算方便，在实际中一般使用(-y)2而不是|-y|引作为“残差”。这样对于给定的n组(x,y)数据，可用不同的a和b来刻画这n组数据所隐含的y=ax+b关系。对于这些不同的参数，最佳回归模型是最小化残差平方和的均值，即要求n组(x,y)数据得到的残差平均值最小。
从残差的定义可看出，残差平均值最小只与参数a和b有关，最优解即使得残差最小所对应的a和b的值。
2.5.2回归分析中参数计算
可通过最小二乘法(leastsquare)来求解使得残差最小的a和b。
8组(x,y)样本数据点记为(x1,y1),(x2,y2),(x8,y8)，时间年份变量x的平均值记为,因变量y的平均值记为,那么a和b值的计算公式如下:
预测莫纳罗亚山地区二氧化碳浓度的一元线性回归模型为:
二氧化碳浓度=1.5344x时间年份-2698.9，即y=1.5344x-2698.9。
2.5.2回归分析中参数计算
最小二乘法是一种机器学习的优化技术，其将残差平方之和最小化作为目标，找到最优模型来拟合已知的观测数据，使得模型所预测的数据与实际数据之间误差的平方和最小，一般有线性最小二乘法和非线性最小二乘法两种方法。
用线性最小二乘法来解决线性回归模型存在封闭形式(closed-formsolution)唯一解，这个解得到的回归模型使得所有观测数据都在一条直线上或直线附近。非线性最小二乘法需要用数值方法来求解，比如随机梯度下降或者牛顿法等。
拓展链接——最小二乘法
梯度下降:是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。
二氧化碳浓度的一元线性回归模型 y=1.5344x-2698.9
对莫纳罗亚山地区1970年之前和2005年之后的二氧化碳浓度进行估算：
2.5.2回归分析——实例分析
进一步探究地球气温变化与二氧化碳浓度之间的关系
二氧化碳浓度和温度之间有怎样的一元线性关系呢
2.5.2回归分析——实例分析
【演示python程序】
任务1：使用matplotlib工具包将当前二氧化碳浓度和温度数据绘制散点图
2.5.2回归分析——实例分析
任务2：根据最小二乘法计算公式，使用当前给定的数据来计算参数a和b。在散点图代码之前添加一段计算参数的代码，绘制拟合直线。
2.5.2回归分析——实例分析
由图可以看出，计算所得直线是符合数据点变化趋势的。这说明了最小二乘法在一元线性回归中的有效性。
摄氏温度(°C)和华氏温度(°F)是两种计量温度的标准。表2.5.4给出了两种温度之间的若干关系，如摄氏温度0°C等于华氏温度32°F。
判断摄氏温度和华氏温度之间是否符合线性关系。
如符合，请通过回归分析计算出摄氏温度和华氏温度之间的线性回归方程。
2.5.2回归分析——课后练习
本课小结

展开更多......

收起↑