自变量选择和逐步回归.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,自变量选择和逐步回归,主要内容,逐步回归,自变量选择对估计和预测的影响,所有子集回归,逐步回归与多元线性回归模型选择,逐步回归的基本思想：将变量一个一个引入，同时每引入一个新变量后，对已选人的变量要进行逐个检验，将不显著的变量剔除，以保证最后所得的变量子集中的所有变量都是显著，这样经若干步便得“最优”变量子集。,逐步回归的数学模型,逐步回归的数学模型,检验新变量的显著性,逐步回归的数学模型,逐步回归的数学模型,检验新变量的显著性,检验新变量的显著性,检验新变量的显著性,剔除变量,逐步回归的每一个步骤，不但要入选变量，而且要对已入选变量进行检验，看每一个变量的重要性是否发生变化。,不重要的变量要剔除。,剔除变量的准则和方法,剔除变量的准则和方法,剔除变量的准则和方法,剔除变量的准则和方法,剔除变量的准则和方法,按照以上方法选入和剔除变量，经过若干步骤，直到没有应选入的变量也没有应剔除的变量为止，结束选择变量的过程。,接下来计算回归系数，给出估计值。,逐步回归的计算方法,数据标准化,标准化数据的模型及回归步骤,自变量选择的准则,在多元回归分析中，自变量的选择很重要。,遗漏了重要变量，回归分析的效果一定不好。,变量过多，会把对,y,影响不显著的变量也选入，影响回归方程的稳定性。,自变量选择的方法,除逐步回归分析方法外，大体分为三类,:,前进法,后退法,最优子集法,前进法,变量由少变多，每次增加一个，直至全部变量都进入回归方程为止。,先在,p,个变量中选一个使残差平方和最小的变量设为,建立回归方程；,然后在剩余的,p-1,个变量中再选一个,使由 建立的二元回归方程残差平方和最小。,前进法,前进法,在以上过程中，每一步得到的新的变量子集都包含前一步的变量子集，所以全部过程中使用的所有变量子集是一个由小到大的套结构。,后退法,后退法,在以上过程中，每剔除一个变量得到一个新变量子集都包含在前一步的变量子集之中，这也是一种套结构，变量子集是一个由大到小的套结构。,最优子集法,设有,p,个变量，产生一切可能的回归，这些回归中有包含一个自变量的回归，包含两个自变量的回归，,包含全部,p,个自变量的回归，在所有这些回归中找出一个最好的，它所包含的变量即为所求。,最优子集法,对于有,p,个自变量的回归建模问题,一切可能的回归子集有,2,p,个,在这些回归子集中，最优子集的标准是什么,?,关于自变量选择的几个标准,对于有,p,个自变量的回归建模问题,一切可能的回归子集有,2,p,个,在这些回归子集中，最优子集的标准是什么,?,原则,1,：修正的复决定系数最大,修正的复决定系数,修正的复决定系数最大,修正的复决定系数最大,修正的复决定系数最大,修正的复决定系数最大,修正的复决定系数最大,全模型与,选模型,准则,2,：统计量达到最小,准则,2,：统计量达到最小,准则,2,：统计量达到最小,准则,3,：赤池信息量,AIC,达到最小,除以上准则外，还有其它准则。,SPSS,中只给出以上三准则的相关统计量。,平均而言，最优子集法求的结果最好。,一般，这三种方法以及逐步回归方法所得的结果是不同的。这三种方法进行比较不是容易的事，从理论上讲最优子集法求的解应是全局最优的，而其他方法的解是局部最优的；但由于试验误差的干扰，最优回归子集法不一定能求得全局最优解。这是造成问题的复杂性所在。,上机实例,国际旅游外汇收入是国民经济发展的重要组成部分，影响一个国家或者地区旅游收入的因素包括自然、文化、社会、经济、交通等多方面的因素，本例就是研究第三产业对旅游外汇收入的影响。,中国统计年鉴,把第三产业规划分为,12,个组成部分，分别为,x,1,x,2,x,3,x,4,x,5,x,6,x,7,x,8,x,9,x,10,x,11,x,12,农林牧渔服务业,地质水利管理业,交通邮电通信业,批发零售餐饮业,金融保险业,房地产业,社会服务业,卫生体育福利业,教育艺术广播业,科学研究,党政机关,其他行业,上机实例,选取,1998,年我国,31,个省、市、自治区的数据，以国际旅游外收入（百万美元）为因变量,y,以如上,12,个行业为自变量作多元线性回归，数据见数据文件（,p72li3.1),。,例,3.1,回顾,单个自变量对因变量的分析中，每个,xj,对,y,都无显著性影响，选择,|t|,值最小或,P,值最大者，逐个剔除因变量。,例,3.1 SPSS,分析,SPSS,结果分析,每一个变量对因变量,y,都无显著性影响，最小,p,值为,0.0530.05,，在取显著性水,平,0.05,时通不过显著性检验；,该例子说明尽管方程通过显著性检验，但是也会出现有些甚至全部变量对,y,不显著的情况,解决方案,剔除变量：首先剔除,p,值即,sig,值最大的量,因为,p,1,=0.951,最大，因此剔除,X1,，那么重新作回归得到新的结果。（见,word,文档）,自变量,x9,和,x11,的,P,值小于,0.05,，,解决方案,剔除,x1,后，其余自变量的显著性发生了变化，这时,p2=0.894,最大，因此剔除,x2,依次剔除最终方程只保留,x3,x8,x9,x11,结果如下：,P,值最大剔除,剔除,将,P,值大于,0.05,的相应变量逐个剔除，最终方程只保留,x3,x8,x9,x11,其回归系数表如下：,所有,P,值均小于,0.05,最后保留的变量,前进法,-forward,变量选择过程,前进法结果分析,前进法缺点,若某个自变量对,y,的作用开始时是明显的。但引入其它自变量后它变得不显著了却没有机会剔除。,后退法,-Backward,后退法结果分析,后退法优缺点,若单个自变量对,y,的作用不明显。而自变量的联合效应对,y,有重要作用时，后退法可保留这些变量。,开始引入所有变量，计算量大；一旦剔除某一变量，没有机会再进入。,逐步回归,-Stepwise,逐步回归,-Stepwise,逐步回归,-Stepwise,逐步回归结果分析,逐步回归,-Stepwise,有进有出，逐步检验。,