第12章简单线性回归.ppt

《第12章简单线性回归.ppt》由会员分享，可在线阅读，更多相关《第12章简单线性回归.ppt（72页珍藏版）》请在优知文库上搜索。

1、第十二章 简单线性回归n对于考察变量与变量之间关系时，我们采用回归分析的方法建立模型或方程进行变量间关系的分析。n因变量：被预测的变量n自变量：进行预测的变量n简单线性回归模型（对总体而言）n 为未知参数，为随机误差项，反映其它未列入回归模型的变量对因变量的影响。XY1021，n关于简单线性回归模型的标准假设：n1.，可推知，该方程称为回归方程。n2.对于所有的X，误差项 的方差 一样：即同方差假定。n3.误差项 独立。其协方差为零，n4.自变量是给定的变量，与误差项线性无关。n5.误差项 服从正态分布，从而说明Y服从正态分布0)(EXYE10)(20)cov(jin对于总体的线性回归模型，由

2、于总体参数未知，我们只能利用样本数据进行估计，得到样本回归模型（对样本而言）。n 分别为 的估计。n其中真实值与估计值之间的差距用e来表示：n 是y的一个估计值。exbby10y iiiiixbbyyye1010,bb21，我们称下式为估计回归方程：xbby10n估计回归方程与总体回归模型之间的区别。n总体回归模型是未知的，它只有一个。而估计回归方程则是根据样本数据拟合的，每抽取一组样本，便可以拟合一个样本估计方程。n总体回归模型中的1和2是未知的参数，表现为常数。而回归估计方程中的 和 是随机变量，其具体数值随所抽取的样本观测值不同而变动。n总体回归模型中的E是Y 与未知的总体回归线之间的纵

3、向距离，它是不可直接观测的。而样本回归模型中的e 是Y 与估计回归线之间的纵向距离，当根据样本观测值拟合出估计回归方程之后，可以计算出e 的具体数值。0b1b最小二乘估计法n该法的目的：使残差平方和达到最小n残差：因变量y的观察值与估计值之间的距离n求该式对应的b0,b1n可以根据微分的方法求解最优解。2102)(min)(miniiiixbbyyyn令niiiniixbbyeQ121012)(niiiiniiixbbyxbQxbbybQ110111000)(20)(2xxxyiiiiiiiiiSSnxxnyxyxxxyyxxb/)(/)()()(2221xbyb10披萨连锁店的销售量与学生人

4、数的回归方程连锁店12345678910学生人数2688121620202226销售收入5810588118117137157169149202序号xyx-x均值y-y均值(x-x均值)*(y-y均值)(x-x均值)21258-12-7286414426105-8-25200643888-6-422523648118-6-127236512117-2-132646161372714472015762716236820169639234369221498191526410262021272864144x均值y均值 SUM SUM141302840568x求和y求和140130055682840)

5、()(21xxyyxxbiii601413010bb模型的拟合度n判定系数：用来判断估计回归方程的拟合程度。n误差平方和SSEn总平方和SSTn回归平方和SSRnSST=SSR+SSE n判定系数2)(yySSEi2)(yySSTi2)(yySSRiSSTSSRr 2nSST=SSR+SSE WHY?)()(2)()(2)()()()(2222yyyySSRSSEyyyyyyyyyyyyyySSTiiiiiiii0)()()()()()(10110110101101iiiiiiiiiiiiiiiixbbyxbxbbyxbxbbyxxbbyxbxbbyxxbyyyy序号xyy估计x-x均值y-y

6、均值(x-x均值)*(y-y均值)(x-x均值)2(y-y均值)2(y-y估计)2125870-12-7286414451841442610590-8-25200646252253888100-6-4225236176414448118100-6-127236144324512117120-2-132641699616137140271444997201571606271623672998201691606392343615218192214917081915264361441102620219012728641445184144x均值y均值SUMSUMSUMSUM14130284056815

7、730142001530 x求和y求和SSTSSRSSE1401300判定系数=SSR/SST0.902734n在该披萨店的例题中，由样本估计得到的回归方程的判定系数为：0.9027n我们认为：该估计回归方程n有90.27%的总平方和可以通过估计回归方程来解释，我们认为该模型较好的拟合了学生人数与销售额之间的线性关系。xy560n判定系数与相关系数的关系：xxxyiiiiiiiiiiiiiiiSSxnxyxnyxxnxxnxyxnyxxxbSSR222222222221)(1)(1()(1()(1)(1()(yyiiSynySST)(122n从而有：n判定系数=SSR/SST=n回忆相关系数的

8、计算公式：n 本例中：r0.9501yyxxxySSS2yyxxxyiiiiSSSyyxxyyxxyxyxr22)()()()var()var(),cov(2rr模型的显著性检验n在模型进行估计以后，得到了估计回归方程。由于估计回归方程是由样本信息得到的，具有随机性。为了由样本推及总体，我们需要对估计参数进行显著性检验。因此可以利用之前介绍的假设检验的统计方法来判断。1.估计回归模型中残差项的方差n之前的假设中，令误差项 的方差记为n可得，n因此 也代表了y值的方差。n数学上可以证明，方差 的无偏估计为MSE(mean square error)2222102)()()()(EXYEYEYEY

9、D22222nSSEMSEsiiiiiiiiiiiiiyxbybyxbbyyeyexbbyyySSE10210102)()()(n其中SSE的自由度为n-2，受两个约束(b0,b1)nMSE=SSE/(n-2)n s称为估计量的标准误差npizza店的例子中，计算得到SSE=1530,n因此方差 的一个无偏估计，225.191)210/(15302s2nSSEMSEs2.T检验及相应的抽样分布nT检验:用来判定 是否显著为零。nH0：=0;Ha:0n如果x和y相关，则有 0.n如果通过假设检验，我们拒绝了H0，可以相应得到 0的结论。n由于 是唯一的，是未知总体的参数，我们需要借助样本计算得到

10、的斜率b1来进行判断。111111n考察b0,b1的抽样分布：n可以证明，在标准假定能够得到满足的条件下，回归系数的最小二乘估计量的期望值等于其真值，即有：00)(bE11)(bE0222021()()bixVar bnxx22212()()btVar bxxn我们给出截距项估计参数的推导公式：n以上公式的推导，是由于:n令21221)()()()()()(xxexxxxyxxxxyyxxbiiiiiiiii2)()(xxxxwiitiiiiiiiiyxxyyxxxxxxxxx)()()()()(0)(2n推导：111111()()()()0tttttE bEweE bw E ew222222

11、211)(1)()()()(xxweEwewEewVarbVaritttttttn由于总体方差未知，我们用之前说过的MSE来渐近估计总体方差：n代入估计参数的方差和标准差公式：12222()bixxssxxS12()bxxisssSxxn构造统计量T，n在H0为真是，T统计量服从自由度为(n-2)的t分布。n显著水平下的拒绝规则：如果Tt(a/2;n-2),拒绝H0的初始假定。说明 显著非零。xxbSsbsbT11111n披萨店的例子，我们来看人数的估计参数是否显著，也就是看学生人数是否真的与销售量有显著关系：显著水平为0.01nH0:=0;Ha:0n在H0为真的前提下，有统计量T服从自由度为

12、8的t分布。1162.8568251915.Tn比较T与临界值t(0.005,8)，T3.36n从而可以拒绝H0的假定，统计上提供依据可以认为学生人数与披萨店的销售量有显著相关关系。3.F检验及相关抽样分布nF检验是针对整体模型是否显著而设计的假设检验。在一元简单回归模型中，F检验的对象与T检验一致，结果也一致。但在多元回归模型中，F检验是对所有自变量的显著性同时进行检验。nF检验的原理：类似于方差分析的构造方式，总体方差有两个独立的估计量。n之前介绍的MSE是总体方差 的无偏估计，的另一个独立估计量为MSRnMSR=SSR/(k-1)nk为模型待估参数个数。n在一元回归模型中，k=222n当

13、H0:为真时，两个估计量应当相当接近，且MSR和MSE相除后得到的统计量服从F分布，自由度为(k-1,n-2)n我们依照该分布的特点，且在一定显著水平下，找到统计值落入小概率事件的区域。nF=MSR/MSEF(a;k-1,n-2)n拒绝原则：如果FF临界值，则拒绝H0，从而可以认为模型整体通过显著检验。01n类似于方差分析，我们同样可以列出ANOVA表：方差来源平方和自由度均方(mean square)F统计量回归方程SSRk-1MSR=SSR/(K-1)MSR/MSE误差SSEn-2MSE=SSE/(n-2)合计SSTn-1n披萨店的例子：k-1=1n由之前的计算，有MSR=14200,MS

14、E=1530/8=191.25nF=14200/191.25=74.25n通过比较F与临界值，有F11.26,相应拒绝H0原假设，认为模型整体通过显著检验。nF检验结果与T检验一致。n对一元线性回归模型而言，F检验与T检验的关系：2212212)(/tsSbsSbsSSRMSEMSRFxxxx)()()|(|)()(22,2/22,1;2,2/22,2/22,1;nnnnnttPFFPttPttPFFP4.回归模型中参数的区间估计n样本回归模型中的b1是由（x,y）的一组样本数据计算得到的，类似于点估计，n那么对总体回归模型中的 是未知参数，我们通过样本估计b1来估计，其区间估计为：置信度(1

15、-)1,112/12/11bbstbstb5.关于显著性检验的几点问题n1.变量x和y之间有显著性关系，并不能得出x和y之间存在因果关系的结论。我们可以说，x的变化是y产生变化的最大可能。n2.x和y之间存在显著性关系，不能说明x和y之间存在线性关系。只能说明在样本观察值范围内有一近似线性关系。利用估计回归方程进行估计和预测n前面的章节对模型的拟合度、参数估计显著性进行的分析，在我们得到较高的拟合度以及明显的变量间关系以后，可以利用估计回归方程进行估计和预测。n估计：因变量的点估计和区间估计n预测：观测样本以外的因变量预测n1.E(y)的点估计：n利用估计回归方程给出某一特定的x对应的y的均值

16、的点估计。n由披萨店的例子，我们估计当x=10时的y均值的点估计。n说明：所有位于有1万名学生的校园附近的餐馆平均每季度销售额为11万美元。ppxbby1011010560560pxyn因为：n 是 的无偏估计。n所以给出的是在某个对应点上因变量的均值。)()()(1010ppppyExxbbEyEpy)(pyEn2.E(y)的区间估计n在已知了E(y)点估计 的基础上，我们可以构造E(y)的区间估计：点估计加减抽样极限误差n抽样极限误差与点估计 的标准差有关。py py xxpyxxpySxxnssSxxnpp22)(1)(1n因为：)(1()21(),var(2)()()(2)()()()()()(2222210120110021122002101022xxpxxpxxpxxpppppppppppSxxnSxxSxSxnbbxbDxbDbbExbExbExxbbEyEyEyEyEyDnE(y)的置信区间的估计公式为：n求位于有1万名学生的校园附近的连锁店平均销售收入的95%置信区间：n（98585，121415）xxppypSxxnstystyp22/2/)(1415.111105