统计分析与方法第七章回归分析异方差与自相关.ppt

,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,回归分析,异方差与自相关分析,应用最小二乘法的前提,符合高斯假设,只有满足高斯假设，用最小二乘法估计出来的回归参数才是无偏的，有效的。,高斯假设主要是针对随机误差项的。,回归模型的基本假设,假定随机误差项 具有相同的方差，独立或不相关，即对于所有样本点，有,但在建立实际问题的回归模型时，经常存在与此假设相违背的情况，一种是计量经济建模中常说的异方差性，,异方差性和自相关性,即,:,另一种是自相关性，即,:,如果违背了模型中的残差项上述假定时，则我们所利用的最小二乘法估计出来参数就不是有效估计！,异方差性和自相关性,如何判断这些假设是否成立？即如何判断回归模型是否有异方差性和自相关性？,最简单的直观方法就是利用残差图。,残差概念与残差图,残差就是实际观测值,y,与通过回归方程给出的回归值之差：,残差可以看做是误差项的估计值，,残差：,误差项：,比较两个表达式可以正确区分残差与误差项的异同。,回归模型满足基本假设的残差图,残差在,e=0,附近随机变化,残差中存在异方差,Y,和,x,之间呈非线性关系,或,y,存在自相关,蛛网现象,y,具有自相关,残差的计算,Spss,中的参残差计算：,在回归分析中：,StatisticsRegressionLinear,选择,Save,对话框，点选,Residuals,下的,Unstandardied,选项即可。,选择Save对话框，点选Residuals下的,将因变量y与自变量x各自选入各自的变量框，再把x选入Weight变量框，幂指数（power）取默认值，得出以下结果：,自相关问题的处理方法-迭代法,对自相关系数的检验-DW检验,残差就是实际观测值y与通过回归方程给出的回归值之差：,DW检验只能用于检验误差项具有一阶自回归形式的序列相关问题。,经济变量的滞后性会给序列带来自相关性,Log-likelihood Function=-211.,149306 .,另一种是自相关性，即:,如果误差项确实是一阶自相关模型，通过以上变换，可以消除自相关，迭代到此结束。,消除异方差性的方法加权最小二乘法,自相关问题的处理方法-迭代法,最简单的直观方法就是利用残差图。,如果误差项确实是一阶自相关模型，通过以上变换，可以消除自相关，迭代到此结束。,自相关性产生的背景和原因,257523 POWER value=.,在回归分析中的Statistics中选择：Durbin-Watson,但是要自己查检验表,违背基本假设的情况,异方差性,自相关性,异方差性产生的背景和原因,例如：在研究城镇居民收入与购买量的关系时，居民收入与消费水平有密切关系。,用表示第,i,户的收入量，表示第,i,户的消费额，,则消费模型为：,因为各户的收入不同，消费观念和习惯的差异，通常存在明显的异方差性。,一般情况下，低收入的家庭购买差异比较小，大都买生活必需品，但高收入的家庭购买行为差异就很大，导致消费模型的随机项具有不同的方差。,又如：利用某行业的不同企业的截面样本数据估计,C-D,生产函数,由于这里的 表示了不同企业的设备、工艺、地理条件、工人素质、管理水平的差异以及其他因素，对于不同企业，这些因素对产出影响的程度不同，引起偏离均值的程度不同，出现了异方差。,引起异方差的原因很多，当样本数据为截面数据时容易出现异方差性。,异方差性带来的问题,当一个回归问题存在异方差性时，如果仍用普通最小二乘法估计未知参数，将会导致最小二乘估计量不再具有最小方差的优良性，即最小二乘估计的有效性被破坏了。,进一步来说，异方差性会导致回归系数的,t,检验值高估，,可能造成本来不显著的某些回归系数变成显著。,异方差性带来的问题,当存在异方差时，普通最小二乘估计存在以下问题：,参数估计值虽是无偏的，但不是最小方差线性无偏估计；,参数的显著性检验失效；,回归方程的应用效果极不理想。,异方差性的检验,残差图分析法,等级相关系数,残差图分析法,当回归模型存在异方差时，,残差图上的点的散布呈现,出相应的趋势。,另外，残差,e,值也可能随,y,值,的增大而减小，这种情况同,样属于异方差。,等级相关系数法,第一步：进行,y,关于,x,的普通最小二乘回归，求出残差的估计值，即 的值；,第二步：取 的绝对值，即 ，将 和 进行等级相关系数的计算；,第三步：进行等级相关系数的显著性检验。,如果相关性显著,，则说明存在异方差性。,消除异方差性的方法,加权最小二乘法,在等方差的条件下，平方和中的每一项的地位是相同的。然而，在异方差的条件下，平方和的地位是不相同的，误差项大的项，平方和的作用就偏大，因而普通最小二乘估计的回归线就被拉向方差大的项，而方差小的拟合程度就差。,加权最小二乘估计的方法是在平方和中加入一个适当的权数，以调整各项在平方和中的作用。,一元加权最小二乘估计,普通最小二乘法的离差平方和为：,加权最小二乘的离差平方和为：,一元加权最小二乘法例题,某地区的居民收入与储蓄额的 统计数据如下表：,残差图,误差随着,x,的增加而增加！,Spearman,等级相关系数,相关性显著，所以存在异方差性,加权最小二乘法,-,寻找最优权数,可以利用,spss,软件寻找最优权数,StatisticsRegression Weight Estimation,将因变量,y,与自变量,x,各自选入各自的变量框，再把,x,选入,Weight,变量框，幂指数（,power,）取默认值，得出以下结果：,寻找最优权数,Source variable.,居民收入,Dependent variable.,储蓄,Log-likelihood Function=-213.856272 POWER value=.000,Log-likelihood Function=-211.773375 POWER value=.500,Multiple R .96744,R Square .93595,Adjusted R Square .93374,Standard Error .12532,加权最小二乘法的运算结果,普通最小二乘法运算结果,Analysis of Variance:,DF Sum of Squares Mean Square,Residuals 29 .4554477 .0157051,F=423.74135 Signif F=.0000,加权最小二乘法的运算结果,普通最小二乘法运算结果,T,检验结果,-Variables in the Equation-,Variable B SE B Beta T Sig T,居民收入,.087931 .004272 .967443 20.585 .0000,(Constant)-719.12 78.316 -9.182 .0000,加权最小二乘法的运算结果,普通最小二乘法运算结果,多元加权最小二乘估计,多元线性回归有多个自变量，通常取权函数,W,为某个自变量的幂函数,但是应该取哪一个自变量呢？,这只需计算每个自变量与普通残差的等级相关系数，选取等级相关系数最大的自变量构造权函数。,多元加权最小二乘估计例题,研究北京市各经济开发区经济发展与招商 的关系,因变量y：各开发区的销售收入（百万元）,自变量x：,x1为各开发区累计招商数目,x2为招商企业注册资本（百万元）,自变量与误差绝对值之间的等级相关系数,因此选取注册资本构造权函数,最优权数的幂指数确定,Source variable.,注册资本,Dependent variable.,销售收入,Log-likelihood Function=-112.257523 POWER value=.000,Log-likelihood Function=-109.297553 POWER value=.500,模型的评估,Multiple R .92163,R Square .84941,Adjusted R Square .82431,Standard Error .03238,方差分析,Analysis of Variance:,DF Sum of Squares Mean Square,Regression 2 .07096521 .03548261,Residuals 12 .01258145 .00104845,F=33.84278 Signif F=.0000,T,检验,-Variables in the Equation-,Variable B SE B Beta T Sig T,招商数目,1.696439 .404370 .587146 4.195 .0012,注册资本,.470312 .149306 .440853 3.150 .0084,(Constant)-266.962 106.742 -2.501 .0279,自相关性问题及其处理,自相关性产生的背景和原因,遗漏关键变量时会产生序列的自相关性,例如：利用建国以来的有关统计数据建立我国居民消费模型时，居民可支配收入是一个重要的变量，它对居民的消费产生重要的影响，如果把这个重要的变量漏掉了，就可能使得误差项正自相关，因为居民可支配收入对居民消费的影响很可能是时间上正相关的。,自相关性产生的背景和原因,经济变量的滞后性会给序列带来自相关性,例如物价指数、基建 、国民收入、消费、货币发行量等都有一定的滞后性。,在这样的时间序列数据中，顺序观测值之间的相关现象是很自然的。经济现象中的自相关一般是正的。,自相关性产生的背景和原因,采用错误的回归函数形式也可能引起自相关性,例如假定某实际问题的正确函数应由指数形式表示，,但是，研究者误用线性回归模型表示，,这时，误差项也表现为自相关性。,自相关性产生的背景和原因,蛛网现象可能带来序列的自相关性,蛛网现象是微观经济学中研究商品市场运行规律的一个名词，,它表示某种商品的供给量因受前一期价格影响而表现出来的某种规律性，即成蛛网状收敛或发散于供需的均衡点。,如许多农产品的供给反映出蛛网现象，即供给量受前一时期价格的影响。,因对数据加工整理而导致误差项之间产生自相关性,例如在对具有季节性的时序资料建模中，常常要消除季节性变动的影响，对数据做修匀处理，但如果采用不恰当的方法，就会导致序列相关。,自相关性带来的问题,参数的估计值不再具有最小方差线性无偏性,均方误差,MSE,可能严重低估误差项的方差,容易导致对,t,值评价过高，常用的,F,检验和,t,检验失效,如果应用模型，则会带来较大的方差和得出错误的解释,自相关性的诊断,图示检验法,自相关系数法,DW,检验,图示检验法,绘制 的散点图。,如果大部分落点在,第一、三象限，表,明随即扰动项存在,正的自相关；,图示检验法,如果大部分落点,在第二、四象限，,表明随即扰动项,存在负的自相关。,利用残差图来判断,例题-居民收入与消费,残差图,在实际中，由误差项的估计值来代替，得自相关系数的估计值为,962 106.,可以利用spss软件寻找最优权数,最简单的直观方法就是利用残差图。,149306 .,316 -9.,x2为招商企业注册资本（百万元）,DF Sum of Squares Mean Square,297553 POWER value=.,Analysis of Variance:,应用最小二乘法的前提 符合高斯假设,Log-likelihood Function=-213.,它表示某种商品的供给量因受前一期价格影响而表现出来的某种规律性，即成蛛网状收敛或发散于供需的均衡点。,由于这里的 表示了不同企业的设备、工艺、地理条件、工人素质、管理水平的差异以及其他因素，对于不同企业，这些因素对产出影响的程度不同，引起偏离均值的程度不同，出现了异方差。,Source variable.,自相关系数法,计算误差项序列的自相关系数：,在实际中，由误差项的估计值来代替，得自相关系数的估计值为,对自相关系数的检验,-DW,检验,DW,检验是,J.Durbin(,杜宾,),和,G.S.Watson(,沃特森,),于,1951,年提出的一种适用于小样本的一种检验方法。,DW,检验只能用于检验误差项具有一阶自回归形式的序列相关问题。,是否存在误差序列相关检验,在回归分析中的,Statistics,中选择：,Durbin-Watson,但是要自己查检验表,检验表,n,为样本量,:n=19,k,为变量个数：,k=2,在置信水平下：,拒绝,H,0,拒绝,H,0,0,d,L,d,U,2,4-d,U,4-d,L,4,无序列相关,正序列相关,负序列相关,d,L,=1.18,d,U,DW检验的局限,DW,检验有两个不能确定的区域，一旦,DW,值落在这两个区域，就无法判断。这时只有增大样本量或采用其他方法；,DW,统计量的上下界表要求,n15,这是因为样本如果再小，利用残差很难对自相关的存在性作出比较正确的诊断；,DW,检验不适应随机项具有高阶序列相关的检验。,自相关问题的处理方法,-,迭代法,用自相关系数进行调整,自相关系数：,然后用,自相关问题的处理方法-迭代法,再用最小二乘法进行回归。,如果误差项确实是一阶自相关模型，通过以上变换，可以消除自相关，迭代到此结束。,本例中：,说明误差项中存在中度自相关,自相关问题的处理方法,-,迭代法,在实际问题中，有时误差项并不是简单的一阶自相关，而是更复杂的自相关形式，迭代完一次后可能还存在自相关，这时就需要进一步对误差项做,DW,检验，以判断是否存在自相关。如果还存在自相关，则继续迭代，直到最终消除误差项自相关。,例题-收入与消费,用迭代进行回归：,查,DW,表，得,d,L,，,d,U,由于，所以,DW,检验落入不确定区域,例题-收入与消费,进行第二步迭代，此时，,由于,d,L,，,d,U,，,所以，,因此，,DW,值落在无自相关区域。,自相关问题的处理方法,-,差分法,差分法就是用增量数据代替原来的样本数据，将原来的回归模型变为差分形式的模型。,一阶差分法的应用条件是自相关系数,=1,，在实际应用中，接近,1,时就采用差分法而不用迭代法,做过原点的回归，在,option,选项里选择即可,DW=1.569,1.569d,U,可知残差序列不存在自相关。,但是差分法的标准误差为，大于一步迭代法的误差,因为本例中的自相关系数，远小于,1,，因此差分法的效果低于迭代法。,