回归分析(2).ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,数学实验之,回归分析(2),第二讲：多元线性与非线性回归分析,引例,：某建材公司的销售量因素分析,多元线性回归模型,MATLAB,软件实现,简介多元,非线性回归模型,实验,1）了解回归分析的基本原理；,2）掌握MATLAB的实现方法；,3）练习用回归分析方法解决实际问题；,实验目的,某建材公司对某年20个地区的建材销售量,Y,(千方)、推销开支、实际帐目数、同类商品竞争数和地区销售潜力分别进行了统计。试分析推销开支、实际帐目数、同类商品竞争数和地区销售潜力对建材销售量的影响作用。试建立回归模型，且分析哪些是主要的影响因素。,引例：,某建筑材料公司的销售量因素分析,设：推销开支,x,1,实际帐目数,x,2,同类商品竞争数,x,3,地区销售潜力,x,4,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,5.5,2.5,8.0,3.0,3.0,2.9,8.0,9.0,4.0,6.5,5.5,5.0,6.0,5.0,3.5,8.0,6.0,4.0,7.5,7.0,31,55,67,50,38,71,30,56,42,73,60,44,50,39,55,70,40,50,62,59,10,8,12,7,8,12,12,5,8,5,11,12,6,10,10,6,11,11,9,9,8,6,9,16,15,17,8,10,4,16,7,12,6,4,4,14,6,8,13,11,79.3,200.1,163.2,200.1,146.0,177.7,30.9,291.9,160.0,339.4,159.6,86.3,237.5,107.2,155.0,201.4,100.2,135.8,223.3,195.0,x,1,x,2,x,3,x,4 y,1,1,1,1,.,.,.,1,1,1,1,1,X=,寻找关系：,y,=E(Y|,x,1,x,2,x,3,x,4,)=,f,(,x,1,x,2,x,3,x,4,),模型：,假设：,1、因变量Y是随机变量，并且它服从正态分布；,2、,f,(,x,1,x,2,x,3,x,4,)是线性函数(非线性)；,2、多元线性回归模型,模型要解决的问题可归纳为以下几个方面：,1）,在回归模型中如何估计参数,i,(i=0,1,m)和,2,？,2）,模型的假设(线性)是否正确？,3）判断每个自变量,x,i,(i=1,m)对Y的影响是否显著？,4）,利用回归方程对试验指标 Y进行预测或控制？,知识介绍,参数估计,假设有n个独立,观测数据(,x,i1,x,i2,x,im,y,i,)，,i=1,2,n,要确定回归系数,由最小二乘法,求解结果,y的估计值：,拟合误差e=y y 称为残差，,残差平方和,统计分析,1、是的线性最小方差无偏估计,2、,3、残差平方和,Q，,由此得,2,的无偏估计,4、对Y的样本方差S,2,进行分解,回归模型的假设检验,构造F-统计量及检验H,0,的拒绝域：,注意：,衡量,y,与,x,1,x,2,x,m,相关程度的指标可以定义复相关系数R，R的值越接近于1，它们的相关程度越密切。,回归系数的检验,主要判断每个自变量,x,i,对,y,的影响是否显著。,由此可得,MATLAB,软件实现,b=regress(Y,X),或,b,bint,r,rint,stats=regress(Y,X,alpha),1、使用命令regress实现多元线性回归,回归系数,0,1,m,以及它们的置信区间,残差向量e=Y-Y及它们的置信区间,相关系数R,2,，F-统计量和与F对应的概率,p。,引例求解：,输入：,(jzhui.m),x1=5.5 2.5 8 3 8 6 4 7.5 7;(20维）,x2=31 55 67 55 70 40 50 62 59;,x3=10 8 12 11 11 9 9;,x4=8 6 9 16 8 13 11;,y=79.3 200.1 135.8 223.3 195;,X=ones(size(x1),x1,x2,x3,x4;,b,bint,r,rint,stats=regress(y,X),计算结果：（输出）,b=191.9158 -0.7719 3.1725 -19.6811 -0.4501,0,1,2,3,4,bint=103.1071 280.7245（系数的置信区间）,r=-6.3045 -4.2215 8.4422 23.4625 3.3938,rint=（略）,stats=0.9034（R,2,）35.0509（F）0.0000（p）,Q=r*r,2,=Q/(n-2)=537.2092（近似）,残差向量分析图,如何分析四个因素x,1,x,2,x,3,x,4,对试验指标Y的作用大小？,使用逐步回归方法。在,MATLAB,软件中使用以下命令：,stepwise(X,y,inmodel,alfha),如上例，输入：,X=x,1,x,2,x,3,x,4,;,stepwise(X,y,1,2,3),模型中均方差历史数据记载表,参变量数据分析表,经过观察，得到各种情况下的均方差对比：,变量组合,x,1,x,2,x,1,x,3,x,1,x,4,x,2,x,3,x,2,x,4,x,3,x,4,RMSE,53,51.96,61.77,23.96,52.96,44.75,变量,组合,x,1,x,2,x,3,x,1,x,2,x,4,x,1,x,3,x,4,x,2,x,3,x,4,x,1,x,2,x,3,x,4,RMSE,24.65,54.43,45.86,24.64,25.39,最佳回归方程,范例：,某化学反应问题,这是一个非线性回归模型的实例,1、问题,为了研究三种化学元素：氢、n,戊烷和异构戊烷与生成物的反应速度,Y,(%)之间的关系，经试验测定得到某些数据。试建立非线性回归模型，并进行统计分析。,2、假设及建模,在各因素与指标(因变量)之间的信息“一无所知”的情况下，假设模型,Y=f,(,x,1,x,2,x,3,),+,中的函数,f,是多项式形式，即,y=b,0,+b,1,x,1,+b,2,x,2,+b,3,x,3,+,(,linear terms,),b,12,x,1,x,2,+b,13,x,1,x,3,+b,23,x,2,x,3,+,(interaction terms,),b,11,x,1,2,+b,22,x,2,2,+b,33,x,3,2,+,(,quadratic terms,),N,(,0,2,),在,MATLAB,软件下，实现二次多项式回归分析的命令：,rstool(X,y,model,alpha),（它将产生一个交互式的界面）,linear:（缺省）,y,=,0,+,1,x,1,+,m,x,m,purequadratic:,y,=,0,+,1,x,1,+,m,x,m,+,j=1 to m,j,*,x,j,2,interaction:,y,=,0,+,1,x,1,+,m,x,m,+,1jk m,jk,x,j,x,k,quadratic(完全二次，以上模型之和),其中model有以下四种选择：,load reaction（调出数据）,Whos（查看数据名称及大小）,Name Size Bytes Class,beta 5x1 40 double array,model 1x6 12 char array,rate 13x1 104 double array,reactants 13x3 312 double array,xn 3x10 60 char array,yn 1x13 26 char array,三个自变量,因变量Y,X=reactants;,y=rate;,rstool(X,y,quadratic),Export,Parameters,RMSE,Residuals,All,Linear,Pure Quadratic,Interactions,Full Quadratic,User Specified,在工作空间可以分别给出,参数估计值、残差平方和、残差向量,。,假定由实际问题背景分析知经验公式为：,MATLAB,实现,非线性回归,nlintool(X,y,model,beta),以M-文件形式建立模型,模型中未知参数向量,2）一般的非线性模型及拟合,建立,M,函数文件,(,hougen.m,);,执行,(,hgy3.m,),nlinfit(X,y,hougen,beta,),nlintool(X,y,hougen,beta,0.01),要辩识的参数,MATLAB,2、某公司出口换汇成本分析,对经营同一类产品出口业务的公司进行抽样调查,被调查的13家公司,其出口换汇成本与商品流转费用率资料如下表。试分析两个变量之间的关系,并估计某家公司商品流转费用率是6.5%的出口换汇成本。,实验内容,公司,出口换汇成本,人民币元/美元,商品流转费,用率(%),公司,出口换汇成本,人民币元/美元,商品流转费,用率(%),1,2,3,4,5,6,7,1.40,1.20,1.00,1.90,1.30,2.40,1.40,4.20,5.30,7.10,3.70,6.20,3.50,4.80,8,9,10,11,12,13,1.60,2.00,1.00,1.60,1.80,1.40,5.50,4.10,5.00,4.00,3.40,6.90,