SAS 逐步回归.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,1,SAS-,逐步回归,南京医科大学流行病与卫生统计学系 柏建岭,2,reg,过程,reg,过程是专门用于回归分析的,SAS,过程，可提供绝大多数常用的线性回归分析功能；,reg,过程只是,SAS,中众多关于回归的过程之一，它适用于通常意义上的回归分析；,reg,过程可提供多达九种模型选择方法；,可执行有关线性假设和多元假设的假设检验；,可执行共线性诊断的功能；,可计算预测值、残差、学生化残差、可信区间以及影响度等统计量；,reg,过程具有统计绘图功能。,3,reg,过程可包含的语句,PROC REG ;,MODEL,dependents,=;,BY,variables,;,FREQ,variable,;,ID,variables,;,VAR,variables,;,WEIGHT,variable,;,MTEST ;,OUTPUT,keyword,=,names,;,PLOT ;,PRINT ;,TEST,equation,;,RUN;,4,proc reg,语句,proc reg,语句用于调用,reg,过程。其中的语句选项较多，功能复杂；,此处的选项将会对同一,reg,过程步中所有的,model,语句发生作用。,proc reg,语句的主要选项及其功能和用法见下表。,5,proc reg,语句的主要选项,选 项,功能和用法,alpha=,为当前过程步中所创建的各种可信区间指定其置信水平（除某些语句中另外设置了置信水平者外）。须设置为,01,之间的值，默认值为,0.05,。,corr,给出有关,model,语句和,var,语句中的所有变量的相关矩阵。,outest=,将参数估计值以及模型拟合过程的相应统计量（可选）输出到所指定的数据集中。,ridge=,须设置为一个非负数所组成的列表（或单个数值），以列表中的每一个数值作为岭常数,K,进行岭回归分析，并将每一次岭回归分析所得的参数估计值输出到“,outest=”,选项所指定的输出数据集中。输出数据集中岭常数,K,存储在变量“,_RIDGE_”,下，相应估计值所对应的“,_TYPE_”,变量值为“,RIDGE”,。设置此选项时，,restrict,语句将被忽略。,simple,将,reg,过程中所用到的变量的合计值、均数、方差、标准差以及未校正的离均差平方和等在结果中显示。,tableout,将参数估计值的标准误、可信区间、,t,值（针对参数为零的检验假设）以及相应的,P,值输出到“,outest=”,选项所指定的输出数据集中。,6,model,语句,语句形式：,MODEL,dependents,=;,用来对所要拟合的回归模型进行定义；,“,label,”,项代表所定义模型的标签，用来对当前,model,语句所定义的模型进行标识；,以等号相连的两段内容为模型表达式，用来定义所要拟合的回归模型；,可设置众多的选项，其中相当一部分和,proc reg,语句的选项相同，功能也基本相似，只是作用的范围有所不同。,7,model,语句选项（,1,）,选 项,功能和用法,selection=,指定模型选择的方法，可以是前进法（,forward,）、后退法（,backward,）、逐步法（,stepwise,）等九种方法。,best,=,在模型选择方法为,RSQUARE,、,ADJRSQ,或,CP,时使用。当模型选择方法为,ADJRSQ,或,CP,时，此选项用来指定最佳模型的最大个数；当模型选择方法为,RSQUARE,时，此选项用来为每一种大小的模型指定其最佳模型的最大个数。这些最佳模型将在结果中显示或输出到“,outest=”,选项所指定数据集中。,include=,要求在变量筛选时必须将,model,语句中所列自变量中的前,n,个包括在模型中，变量筛选过程仅在剩余的自变量中进行。当模型选择方法为,NONE,时此选项无效。,maxstep=,须设置为正整数。在模型选择方法为,FORWARD,、,BACKWARD,或,STEPWISE,时，用来指定进行变量筛选的最大步数。对于,FORWARD,或,BACKWARD,方法，此选项的默认值为模型中所包含的自变量个数，而对于,STEPWISE,方法，此默认值为上述默认值的三倍。,noint,要求模型拟合时不包含截距项。,slentry,=,当模型选择方法为,FORWARD,或,STEPWISE,时，用来指定变量的入选标准（变量进入模型所需达到的显著性水平），对于,FORWARD,法默认值为,0.5,，对于,STEPWISE,法默认值则为,0.15,。,slstay,=,当模型选择方法为,BACKWARD,或,STEPWISE,时，用来指定变量的剔除标准（模型中的变量剔除出模型所需达到的显著性水平），对于,BACKWARD,法默认值为,0.1,，,STEPWISE,法默认值则为,0.15,。,8,model,语句选项（,2,）,选 项,功能和用法,start=,须设置为“,start=s”,的形式（,s,须为正整数）。在模型选择方法为,MAXR,、,MINR,或,STEPWISE,等方法（须进行模型的比较和自变量的替换过程）时，要求最初的模型中包括,model,语句中的前,s,个自变量，此时默认值为,0,。当模型选择方法为,RSQUARE,、,ADJRSQ,或,CP,等方法时，此选项的功能是要求给出的模型子集中每个模型的自变量个数应至少为,s,个，此时默认值为,1,。对于不在上述方法之列的模型选择方法，此选项将无效。,stop=,须设置为“,stop=s”,的形式（,s,须为正整数）。在模型选择方法为,MAXR,或,MINR,方法时，限定最终的模型中最多可包含的自变量个数为,s,个。当模型选择方法为,RSQUARE,、,ADJRSQ,或,CP,等方法时，此选项的功能是要求给出的模型子集中每个模型的自变量个数应最多为,s,个。此选项的默认值为,model,语句中包含的自变量个数。对于不在上述方法之列的模型选择方法，此选项将无效。,adjrsq,对于每一个所选择的模型计算其自由度校正的,R,2,。,aic,对于每一个所选择的模型计算其,AIC,（,Akaikes information criterion,）统计量。,b,当模型选择方法为,RSQUARE,、,ADJRSQ,或,CP,等方法时，对于每一个所选择的模型计算其回归系数。,bic,对于每一个所选择的模型计算其,BIC,（,Sawas Bayesian information criterion,）统计量。,cp,对于每一个所选择的模型计算其,Mallows Cp,统计量。,stb,给出标准化回归系数。标准化回归系数的计算方法是令回归系数除以应变量的样本标准差和自变量的样本标准差之比。,clb,给出参数估计值的可信区间。,cli,给出单个预测值的可信区间。,clm,给出每条观测（即固定了自变量的情况）下应变量期望值（均数）的可信区间。,partial,针对每一个自变量（包括截距项）绘制其对应变量的偏回归杠杆图。,r,进行残差分析并给出分析结果。,9,plot,语句,语句形式：,plot ;,plot,语句用来对指定的变量绘制散点图；,“,yvar,*,xvar,”,为图形表达式，用来对所绘制的散点图进行定义；,同一,plot,语句中可以指定多个图形表达式，从而同时绘制多个散点图；,用来绘制散点图的变量，应是,model,语句或,var,语句中使用的变量，另外还可使用某些统计量或特定的系统变量（专门针对回归模型者）。,10,九种模型,none,（全回归模型）。,不对回归变量进行筛选，建立与全部自变量的全回归模型。,forward,（前进法）。,前进法以模型中没有变量开始，对每个自变量，,forward,计算反映自变量对模型的贡献的,F,统计量。这些,F,统计量与,model,语句中给出的,slentry,水平上的值相比较，如果,F,统计量的显著水平没有一个比,slentry,水平上（如果缺省,slentry,这个参数，则显著水平假设为,0.50,）的值大，则,forward,停止。否则，,forward,在模型中加入具有最大,F,统计量的变量，然后,forward,再计算这些变量的,F,统计量直到剩下的变量都在模型的外面，再重复估计过程。变量就这样一个接一个地进入模型直到剩下的变量没有一个可以产生显著的,F,统计量。一旦一个变量进入了模型，它就不再出去了。,11,九种模型,backward,（后退法）,后退法以计算含有全部自变量的模型的统计量为开始。然后变量一个接一个地从模型中剔除，直到留在模型中的所有变量产生的,F,统计量的显著水平在,slstay,=,水平上（如果缺省,slstay,=,这个参数，则显著水平假设为,0.10,）。在每一步，剔除对模型贡献最小的变量。,stepwise,（逐步回归，向前且向后）,逐步方法是向前选择的修正。对已在模型中的变量，不一定必须一直在模型中，这点与前进法是不同的。,stepwise,按照前进法选入变量后，还考察模型中所包含的所有变量并剔除使得,F,统计量的显著水平不在,slstay,=,水平上的变量。只有在完成检验和必要的剔除之后，其他变量才可再进入模型。当模型外的变量没有一个使,F,统计量在,slentry,=,水平上显著且模型中的每个变量在,slstay,=,水平上显著，或加到模型中的变量是刚刚剔除的变量时候，逐步处理便结束了。,12,九种模型,maxr,（最大,R,2,法）。,最大,R,2,法是占优势的逐步技术，它几乎与所有可能的回归一样好。不像上面三种技术，这个方法不是落在单个模型上，而是试着找出最佳一变量模型、最佳二变量模型等等。,maxr,方法先找出一个产生最大,R,2,值的变量，然后再加入另一个次最大,R,2,值的变量，从而形成二变量的模型。形成二变量的模型之后，将模型中的变量与模型外的变量相比较，以决定是否移去一个变量而以另一个能生成更大,R,2,值的变量来代替。全部比较结束后，便得到了最佳二变量模型。依次往下，便得到最佳三变量模型等等。,13,九种模型,minr,（最小,R,2,增量法）,按给定样本的,R,2,大小准则选择最优的自变量子集，但不能保证对总体或其他样本而言是最优的。用户可以规定出现在子集中自变量的最大和最小个数及被选择的每种子集的个数。,R,2,选择法总能够对所考虑变量的每种变量个数找到具有最大,R,2,的模型，但需要很多的计算时间。,rsquare,（,R,2,选择法）。,最小,R,2,增量法非常类似于,maxr,，只是选择准则为产生最小,R,2,增量。对模型中一个已知的变量数，,maxr,和,minr,通常产生同样的“最佳”模型，但是,minr,在每步中考虑较多的模型。,14,九种模型,adjrsq,（调正,R,2,选择法）,该方法类似于,rsquare,法，只是对于选择模型使用的准则为调正,R,2,统计量。,Mallows,的,Cp,统计量,Cp,统计量是由,Mallows,提出的作为选择模型的判别式的变量。,Cp,是一个误差平方总和的量度：,15,best,Best,=,值,在模型选择方法为,RSQUARE,、,ADJRSQ,或,CP,时使用。当模型选择方法为,ADJRSQ,或,CP,时，此选项用来指定最佳模型的最大个数；当模型选择方法为,RSQUARE,时，此选项用来为每一种大小的模型指定其最佳模型的最大个数。这些最佳模型将在结果中显示或输出到“,outest=”,选项所指定数据集中。,16,slentry,和,slstay,slentry,=,值,指前进和逐步法中选择变量进入模型的显著水平。如果省略，那么,stepwise,过程便对向前选择技术置,slentry,=0.5,，对逐步法置,slentry,0.15,。,slstay,=,值,指后退与逐步法中变量留在模型里的显著水平。如果省略，则逐步法用,0.15,，后退法用,0.10,。,17,slentry,和,slstay,forward,backward,stepwise,slentry,0.50,0.15,slstay,0.10,0.15,18,include start stop,include,=,n,强迫头,n,个因变量总是在模型中。选择技术由,model,语句中其他变量来完成。,start,=,s,以含有,model,语句中头,s,个自变量的模型为开始，进行比较、选择过程。理所当然地，没有一个被估计的模型含有不足,s,个的变量。此仅应用于,maxr,或,minr,模型。,stop,=,s,当它找到“最佳”,s,变量模型之后，,stepwise,便停止。其中,s,是,stop,的值，此仅应用于,maxr,或,minr,模型。,19,test,test,语句用于对有关模型参数的假设进行检验，其中的参数来自,test,语句前最近的一条,model,语句所定义的模型。,model y=x1 x2 x3 x4;,test x1,，,x2=x3;,变量,X1,的系数,b1,等于,0,变量,X2,的系数等于变量,X3,的系数,20,restrict,restrict,语句用于对模型参数的估计设置限定条件。,restrict intercept=0 X2-X3=0,每增加一个限制条件，模型的自由度就会减少,1,，此时限制条件的自由度显示为,-1,。,21,SAS,语句,proc,reg,;,model y=x1 x2 x3 x4/selection=rsquare adjrsq MSE CP AIC;,run,;,22,SAS,结果,23,SAS,语句,proc,reg,;,model y=x1 x2 x3 x4/selection=rsquare best=,6,;,run,;,proc,reg,;,model y=x1 x2 x3 x4/selection=rsquare best=,4,;,run,;,24,SAS,语句,Best=6,Best=4,25,SAS,语句,proc,reg,;,model y=x1 x2 x3 x4/selection=adjrsq best=,6,;,run,;,proc,reg,;,model y=x1 x2 x3 x4/selection=adjrsq best=,4,;,run,;,26,SAS,结果,Best=6,Best=4,27,SAS,语句,proc,reg,;,model y=x1 x2 x3 x4/selection=stepwise SLE=,0.15,SLS=,0.14,details;,run,;,28,岭回归,NO.,身长,(cm),头围,(cm),体重,(g),胎儿受精龄,(,周,),x,1,x,2,x,3,Y,1,13.0,9.2,50,13,2,18.7,13.2,102,14,3,21.0,14.8,150,15,4,19.0,13.3,110,16,5,22.8,16.0,200,17,6,26.0,18.2,330,18,7,28.0,19.7,450,19,8,31.4,22.5,450,20,9,30.3,21.4,550,21,10,29.2,20.5,640,22,11,36.2,25.2,800,23,12,37.0,26.1,1090,24,13,37.9,27.2,1140,25,14,41.6,30.0,1500,26,15,38.2,27.1,1180,27,16,39.4,27.4,1320,28,17,39.2,27.6,1400,29,18,42.0,29.4,1600,30,19,43.0,30.0,1600,31,20,41.1,27.2,1400,33,21,43.0,31.0,2050,35,22,49.0,34.8,2500,36,29,SAS,语句,proc,reg,data=exp3_5;,model y=x1 x2 x3;,run,;,proc,corr,data=exp3_5;,var x1 x2 x3;,run,;,30,SAS,语句,proc,standard,data=exp3_5 mean=,0,std=,1,out=temp;,var x1 x2 x3 y;,run;,proc,print,data=temp;,run;,proc,reg,data=temp outest=ridge1;,model y=x1 x2 x3/ridge=,0.01,0.02,0.03,0.04,0.05,0.06,0.07,0.08,0.09,0.1,;,output;,run,;,proc,print,data=ridge1;,run,;,