回归分析3逐步回归分析.ppt
《回归分析3逐步回归分析.ppt》由会员分享,可在线阅读,更多相关《回归分析3逐步回归分析.ppt(48页珍藏版)》请在三一办公上搜索。
1、43(1),回归分析(三)逐步回归分析,43(2),最优回归方程的问题,寻求最优回归方程的问题在有p个自变量的情况下,根据自变量的不同组合可能建立2p-1个回归方程。这些回归方程的效果有好有坏,而人们希望的是回归效果最好的,即“最优”的回归方程最优回归方程的要求回归效果最佳自变量的个数最少选择一个最佳的变量组合一方面对因变量起显著作用的自变量都选进回归方程,另一方面对因变量作用不显著的自变量都剔除回归方程,,43(3),选择最优回归方程的方法,方法一:穷尽法从所有可能的变量组合中,选择其中最优的回归方程这种方法一定能选出一个最优组合,但工作量特别大方法二:逐步剔除法基本步骤:从包含全部p个自变
2、量组合的回归方程中逐个检验回归系数,剔除对因变量作用不显著的自变量;对剔除后剩下的q个自变量建立对因变量的多元回归方程,再逐个检验回归系数,剔除不显著的变量;重复上述步骤,直到保留在回归方程中自变量的作用都显著为止缺点:一开始把全部自变量都要引入回归方程,计算量很大,实际上有些不重要的就不必引入,43(4),方法三:逐步引入法,(1)基本步骤:,先逐个比较 xl,xp 对 y 的回归方程那些是显著的,从显著的方程中挑选 F 值最大的,相应的自变量 x 就被“引入”方程。无妨设 x 就是x1,再逐个比较(x1,x2)、(x1,x3)、(x1,xp)对y的回归方程,看有没有F值显著的,此时的F就是
3、考虑添加xi之后,xi的回归系数是否显著地不为0,将显著的F中最大的F所相应的变量“引入”方程。无妨设第二次“引入”的自变量是x2,再考察以x1、x2为基础,逐个添加x3、x4、xp之后的回归方程,是否较x1、x2的方程有显著的改进,有就再“引入”新的自变量,这样下去,终于到某一步就没有可以再“引入”的自变量了。这时就获得了最后的回归方程,43(5),方法四:逐步回归分析方法按照自变量对因变量所起作用的显著程度,从大到小逐个地引入回归方程当每一变量引入以后,若先前已经引入的变量由于后来变量的引入而使其作用变得不显著时,就及时从回归方程中剔除出去,直到作用显著的变量都引入到回归方程,而作用不显者
4、的变量都剔出回归方程,得到一个最佳的变量组合为止,(2)“逐步引入“法的缺点:不能反映后来变化的状况,设想x1、x2、x3引入后,又引入了x6,也许x3、x6引入后,x1的作用就不重要了,应该予以剔除,而“逐步引入”法不能达到这个要求,43(6),逐步回归分析的几个问题,一、建立标准正规方程组二、变量的引入、剔除与消去法的关系,43(7),一、建立标准正规方程组,为了分辨 p个自变量对因变量 Y 所起影响(或作用)的大小,一个自然的想法是比较各自变量回归系数(j1,2,p)的绝对值的大小。根据回归系数的含义,Xj 的回归系数 是在其余p1个自变量保持不变的条件下,Xj 改变一个单位所引起 Y
5、平均变化的大小。因而回归系数绝对值的大小反映了它所代表的因素的重要程度由于回归系数和自变量所取的单位(或数量级)有关,而各个自变量取不同的量纲的情况是常见的,因而不能将回归系数直接进行比较,43(8),建立标准正规方程组,为了消除这个影响,对自变量和因变量都要加以标准化标准化的方法经过标准化的变量,其均值为 0,标准离差Lxjxj为 1,事实上,,43(9),标准正规方程组,由标准化数据建立的正规方程组的系数矩阵即为变量间的相关系数矩阵,称为标准化正规方程组标准化正规方程组为:,43(10),标准正规方程组,标准化正规方程组的解 称为标准回归系数,其常数项 为0由于因变量也进行了标准化,其总离
6、差平方和 Lyy=1求解标准化正规方程组还需要解决以下两个问题 引入变量和剔除变量的标准;引入变量与剔除变量的方法。,43(11),二、变量的引入、剔除与消去法的关系,假定已有 l 个自变量引入到回归方程,即,相应的平方和分解公式是,为了表明 U 和 Q 与引入的自变量是有关的,分别用符号U(x1,xl)和 Q(x1,xl)表示,43(12),当增加一个自变量 xi(i=l+1,p)后,有了新的回归方程,相应的平方和分解公式是,原来的分解公式是,注意到上两式左端 Lyy 是一样的,当xi 引入后,回归平方和从 U(x1,xl)增加到U(x1,xl,xi),而残差平方和从 Q(x1,xl)降到
7、Q(x1,xl,xi),43(13),因此,有,记,ui就是回归方程中引入 xi 后对回归平方和的贡献,即偏回归平方和,且有,43(14),经F 检验,当 xi 作用显著时,可将其引入。,同理,如果 xi 原来已经在回归方程中,若检验后其作用不显著,可及时从回归方程中剔除出去。,利用统计量,因此,取剔除和引入变量 xi的标准相同,即,43(15),在逐步回归中引入一个变量与剔除一个变量都涉及变换,变换公式相同,采用求解求逆紧凑格式,在第s 次对第k 列消去的变换公式是:,二、变量的引入、剔除与消去法的关系,43(16),由相关矩阵构成的系数矩阵中,第 i 个变量的偏回归平方和ui(s)为:,由
8、 可推倒出来,ui(s)为下一步引进变量的指标,每一步引入都是从未出现在回归方程的剩余变量中挑选ui(s)的最大者,进行上述变换后,回归分析中的剩余平方和Q的值即为系数矩阵中ryy位置所得的结果。即有,,(证明),43(17),式中,l 为先前已经引入到回归方程中的变量个数,Fi 服从F(1,n-l-2)分布。如果已引进的变量中有不显著的,则选其最不显著者作剔除变换,然后再检验。在未引入的变量中检验有无回归显著的变量,若有,则挑选最显著的作引入的消去变换,然后再检验。反复进行,直到没有变量可以引进,也没有变量可以从方程中剔除为止。,构造检验统计量,43(18),用消去法求解正规方程组的过程,二
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 回归 分析 逐步回归
链接地址:https://www.31ppt.com/p-6381076.html