岭回归理论知识.docx

上传人:王** 文档编号:841005 上传时间:2024-01-23 格式:DOCX 页数:3 大小:18.14KB
下载 相关 举报
岭回归理论知识.docx_第1页
第1页 / 共3页
岭回归理论知识.docx_第2页
第2页 / 共3页
岭回归理论知识.docx_第3页
第3页 / 共3页
亲,该文档总共3页,全部预览完了,如果喜欢就下载吧!
资源描述

《岭回归理论知识.docx》由会员分享,可在线阅读,更多相关《岭回归理论知识.docx(3页珍藏版)》请在优知文库上搜索。

1、一、普通最小二乘估计带来的问题当自变量间存在多重共线性时,回归系数估计的方差就很大,估计值就很不稳定。此时模型或数据的微小变化有可能造成系数估计的较大变化,对预测值产生较大影响。下面进一步用一个模拟的例子来说明这一点。例1假设勺,与y的关系服从线性回归模型y=10+2xl3x2+给定占,的io个值,如下表:表1.现在我们假设回归系数与误率是未知的,用普通最小二乘法求回归系数的估计值得0=ll.292,1=ll.307,2=-6,591而原模型的绒BCFl0,Bl=2,Bj3看来相差太大。计算X1,X2的样本相关系数得rm.986,表明XI与2之间高度相关。二.、岭回归提出的背景岭回归是1970

2、年由Hoerl和Kennard提出的,它是一种有偏估计,是对最小二乘估计的改良。设有多重线性回归模型y=由+,参数夕的最小二乘估计为6=(W1zy那么(|/-耶=2tr(ZT)-1当自变量出现多重共线性时,普通最小二乘估计明显变坏。当MrlnO时,J就会变得很大,这时,尽管6是夕的无偏估计,但力很不稳定,在具体取值上与真值有较大的偏差,甚至会出现与实际意义不符的正负号。设想给无T加上一个正常数矩阵A/(k0,那么X*+A/接近奇异的程度就会变小。先对数据作标准化,标准化后的设计阵仍用X表示。称沙岭砌出eo速躲加A成为岭参数。当A=0时的岭回归估计就是普通的最小二乘估计。因为岭参数力不是唯一确定

3、的,所以我们得到的岭回归估计方(Q实际是回归参数夕的一个估计族,取不同的4值时6(Q的取值不同。以女为横坐标,方(为为纵坐标的直角坐标系,可分析尸估计族的稳定性。优点:比最小二乘估计更稳定三、岭迹分析在岭回归中,岭迹分析可用来了解各自变量的作用及自变量之间的相互关系。下列图所反映的几种有代表性的情况来说明岭迹分析的作用。图1.岭迹图四、岭参数的选择(一)方法1 .由残差平方和来确定左值2 .Hoerl-Kennard公式3 .方差扩大因子法4 .岭迹法岭迹法的直观考虑是,如果最小二乘估计看来有不合理之处,如估计值以及正负号不符合经济意义,那么希望能通过采用适当的方(外来加以一定程度的改善,女值

4、得选择就显得尤为重要。选择A值得一般原那么是:(1)各回归系数的岭估计根本稳定;(2)用最小二乘估计时符号不合理的回归系数,其岭估计的符号变得合理;(3)回归系数没有不符合经济意义的绝对值;(4)残差平方和增大不太多。图2如上图,当A取。时,各回归系数的估计值根本上都能到达相对稳定。缺点:用岭迹法来确定k值缺少严格的令人信服的理论依据,存在一定的主观人为性.优点:恰好发挥定性分析与定量分析有机结合.(二)岭回归选择变量的原那么:(1)在岭回归中设计矩阵X已经中心化和标准化了,这样可以直接比拟标准化岭回归系数的大小。可以剔除掉标准化岭回归系数比拟稳定且绝对值很小的自变量。(2)随着A的增加,回归系数不稳定,震动趋于零的自变量也可以剔除。(3)如果依照上述去掉变量的原那么,有假设干个回归系数不稳定,究竟去掉几个,去掉哪几个,这并无一般原那么可循,这需根据去掉某个变量后重新进行岭回归分析的效果来确定。讲稿一一岭迹图解说丫有显著影响

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 文学/艺术/历史 > 中国史

copyright@ 2008-2023 yzwku网站版权所有

经营许可证编号:宁ICP备2022001189号-2

本站为文档C2C交易模式,即用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。装配图网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知装配图网,我们立即给予删除!