第11讲简单线性回归.ppt

《第11讲简单线性回归.ppt》由会员分享，可在线阅读，更多相关《第11讲简单线性回归.ppt（52页珍藏版）》请在优知文库上搜索。

1、简单线性回归Linear regressionn回归是设法找出变量间在数量上的依存变化关系,用函数表达式表达出来，这个表达式称之为回归方程。两变量间的关系n确定性关系：两变量间的函数关系 圆的周长与半径的关系：C2R 速度、时间与路程的关系：LST X与Y的函数关系：Ya+bX n非确定性关系：两变量在宏观上存在关系，但并未精确到可以用函数关系来表达。青少年身高与年龄的关系；身高与体重的关系:标准体重(kg)=身高(cm)-105 药物浓度与反应率的关系；一、线性回归的概念一、线性回归的概念n当两个变量存在当两个变量存在准确、严格的准确、严格的直线关系时，可以用直线关系时，可以用Y=a+bX，

2、表示两者的函数关系。表示两者的函数关系。n其中其中X 为为自变量（自变量（independent variable）；）；Y是因变量是因变量（dependent variable）。）。n但在实际生活当中，由于其它因素的干扰，许多双变量之但在实际生活当中，由于其它因素的干扰，许多双变量之间的关系并不是严格的函数关系，不能用函数方程来准确间的关系并不是严格的函数关系，不能用函数方程来准确反映，为了区别于两变量间的函数方程，我们称这种关系反映，为了区别于两变量间的函数方程，我们称这种关系为回归关系，用直线方程来表示这种关系称为回归直线或为回归关系，用直线方程来表示这种关系称为回归直线或线性回归。线

3、性回归。Yabx小插曲：为什么叫”回归“？F.Galton K.Pearson二、回归参数的估计二、回归参数的估计n式中的式中的 是由自变量是由自变量X推算应变量推算应变量Y的估计值，的估计值，a是回归直是回归直线在线在Y 轴上的轴上的截距截距；b为样本的为样本的回归系数回归系数，即回归直线的斜，即回归直线的斜率，表示当率，表示当X变动一个单位时，变动一个单位时，Y平均变动平均变动b个单位。个单位。n计算原理：计算原理：最小二乘法最小二乘法，即保证各实测点到回归直线的纵，即保证各实测点到回归直线的纵向距离的平方和最小，并使计算出的回归方程最能代表实向距离的平方和最小，并使计算出的回归方程最能代

4、表实测数据所反映出的直线趋势。测数据所反映出的直线趋势。YabxY22YYYabXXbYaXXXYllXXYYXXb 2)()(例例12-1 某医师为了研究正常成年男性的运动某医师为了研究正常成年男性的运动后最大心率与年龄的关系，测得后最大心率与年龄的关系，测得20名正常成年男名正常成年男性的有关数据，散点图如下。性的有关数据，散点图如下。年龄504846444240383634心率200190180170160150140130年龄与运动后最大心率的回归方程 41.8 166.8381.2 4477.2 1226.8XXYYXYX Ylll=-1226.8 3.218381.2XYXXlbl

5、-=-301.31243.218YX=-166.8-(-3.218)41.8301.3124a=回归系数和回归方程的意义及性质回归系数和回归方程的意义及性质nb 的意义na 的意义n 的意义n 的意义n 的意义bXaY YY niiiYY12 Yb 的意义n斜率(slope)n 301.3124-3.218 Xn 年龄每增加 1 岁，其运动后最大心率平均减少 3.218（次/分钟)nb 的单位为(Y的单位/X的单位)Y b0，y increase with the increase of X b0b F0.05（1，18），P0.05，拒绝拒绝H0 H0：=0 H1：0 =0.05t检验法22

6、,0()/bbvnSy xblxxbXXSSvtss剩余剩余 Sb是样本回归系数的标准误是样本回归系数的标准误nH 0：0，nH 1：0，n=0.05。()2.529.0409529.0409,5.42142025.42140.2777381.23.21811.588,18,P0.0010.2777Y XbbYYsstv-=-=-=-=年龄与运动后最大心率间存在回归关系。决定系数决定系数(coefficient of determination)n 取值在0到1之间，反映了回归贡献的相对程度。n决定系数除了作为回归拟合效果的概括统计量，还可利用它对回归方程做假设检验。2SSRSS回总2R22(

7、1)(2)MSRkFRnMS回剩四、回归问题的区间估计四、回归问题的区间估计n回归系数的可信区间估计n估计值 的可信区间估计n个体Y值的容许区间估计 Y 总体回归系数 的可信区间估计n根据 t 分布原理估计：n-3.2182.1010.2777-3.8014-2.63462 0 nsbtbb，bnstb2,的可信区间估计总体回归线的95%置信带 Y 样本 总体Y的总平均给定X时Y的平均 (Y的条件均数)YYY 22.2,2,)()(1XXXXnstYstYXYnYn n根据 t 分布原理：的容许区间估计个体Y值的容许区间 22.2,2,)()(11XXXXnstYstYXYnYn n给定 X

8、时 Y 的估计值是 Y 的均数 的一个估计。n给定X 时 Y 值的容许区间是 Y 值的可能范围。n 的100(1-)%容许限:Y Y Y 的可信区间与Y的容许区间n可信区间是针对条件均数的，而容许区间是针对Y的取值范围的。nX=46时，的可信区间为：149.7501156.8187(次/分),表示：年龄为46岁的男子，估计其运动后最大心率为153.2844，95可信区间为（149.7501，156.8187)(次/分),n X=46时，Y的容许区间为：141.7543164.8145(次/分),表示：年龄为46岁的男子，估计有95的人其运动后最大心率在141.7543164.8145(次/分)

9、之间。Y Y 可信区间与容许区间示意(confidence band&tolerance band)1112131415164.55.05.56.06.57.0五、残差分析五、残差分析线性回归的应用条件(LINE)：n(1)线性(linear)n(2)独立(independent)n(3)给定X时，Y正态分布(normal)n(4)等方差(equal variance)可通过散点图、残差图等方法来判断数据是否满足可通过散点图、残差图等方法来判断数据是否满足这些条件。这些条件。给定X时，Y是正态分布、等方差示意图给定X时，Y是正态分布、不等方差示意图残差及残差分析n残差是指观察值Yi与预测值 之

10、间的差值，其表达式为：n它反映了方程拟合数据优劣的信息。n残差分析（residual analysis）旨在通过残差深入了解数据与方程之间的关系，评价实际资料是否符合回归方程的假设，识别离群值等。iiieYYiY残差图n标准残差：（残差均值）/标准差n以自变量（或因变量）为横坐标，标准残差为纵坐标，构成的散点图称之为残差图。n运动后最大心率Y和回归残差图残差图示意图残差图示意图含义n以上给出几种以自变量取值为横坐标、以标准化残差为纵坐标的残差图的常见类型。n在此残差图中：n 情况（a）、情况（b）和情况（f）表示残差不满足等方差的条件；n 情况（c）显示存在非线性关系；n 情况（d）显示有点处

11、于2倍标准差以外，可能是离群值；n 只有情况（e）显示残差呈随机分布，满足回归条件。六、线性回归分析的注意事项六、线性回归分析的注意事项1.进行相回归分析要有实际意义。进行相回归分析要有实际意义。2.充分利用散点图。充分利用散点图。3.在回归分析中要求因变量在回归分析中要求因变量Y是随机变量，服从正态是随机变量，服从正态分布，自变量分布，自变量X可以是随机变量也可以是给定的可以是随机变量也可以是给定的变量。变量。4.自变量的选择：自变量的选择：因果中的因、容易测量的、变异小因果中的因、容易测量的、变异小的。的。4.注意线性回归模型的应用条件：注意线性回归模型的应用条件：LINE5.建立回归方程

12、后，须对回归系数进行假设检验。建立回归方程后，须对回归系数进行假设检验。6.使用回归方程估计时，在建立方程时的自变量使用回归方程估计时，在建立方程时的自变量的取值范围内。的取值范围内。七、线性相关和回归的 区别和联系联系联系：1.b和r符号一致 2.b和r的检验是等价的 3.用回归解释相关2SSrSS回总brttF区别区别1.资料要求不同：回归要求资料要求不同：回归要求y服从正态分布，服从正态分布，x是可以是可以精确测量和严格控制的变量，一般称为精确测量和严格控制的变量，一般称为型回归；型回归；相关要求两个变量服从双变量正态分布。这种资料相关要求两个变量服从双变量正态分布。这种资料若进行回归分

13、析称为若进行回归分析称为回归，可计算两个方程。回归，可计算两个方程。nI型回归：X是精确控制的；nII型回归：X是随机的。n由X推算Y：n由Y推算X：2.2.研究目的不同：回归用来说明两变量数量上的依存研究目的不同：回归用来说明两变量数量上的依存变化关系，相关说明变量间的相关关系。变化关系，相关说明变量间的相关关系。YbaXXbaYYXYXXYXY.小结小结n简单线性回归是研究两个变量间线性关系的数量表简单线性回归是研究两个变量间线性关系的数量表达式。根据最小二乘法原则，计算回归方程。达式。根据最小二乘法原则，计算回归方程。n进行简单线性回归分析需要满足进行简单线性回归分析需要满足线性、独立线

14、性、独立、正态、正态 与等方差与等方差4个条件。个条件。n在简单线性回归分析中，对回归方程的检验等价于在简单线性回归分析中，对回归方程的检验等价于对回归系数的假设检验，可通过方差分析或对回归系数的假设检验，可通过方差分析或t检验检验完成。完成。案例n原文题目高效毛细管电泳法测定血浆中布比卡因的浓度，采用毛细管电泳法，于0.5ml空白血浆中分别加入0.05，0.1，0.2，0.3，0.4，0.5g的布比卡因进行测定，原作者以样品峰的峰面积与内标峰的峰面积之比（Y）对样品量（X）进行相关分析，线性关系良好（r0.99）习题 1.在简单线性回归分析中，得到回归系数为-0.30，经检验有统计学意义，说

15、明（）A.Y增加一个单位，X平均减少30%B.X增加一个单位，Y平均减少30%C.X增加一个单位，Y平均减少0.30个单位 D.Y增加一个单位，X平均减少0.30个单位 E.X对Y的影响在变异的30%2.对两个定量变量同时进行了线性相关和线性回归分析，r有统计学意义，则（）A.b无统计学意义 B.b有高度统计学意义 C.b有统计学意义 D.不能肯定b有无统计学意义 E.a有统计学意义 3.最小二乘估计方法的本质要求是（）A.各点到直线的垂直距离的和最小B.各点到x轴的纵向距离的平方和最小C.各点到直线的垂直距离的平方和最小D.各点到直线的纵向距离的平方和最小E.各点到直线的纵向距离的平方和最大