判别分析2.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,1,判别分析的基本思想,基本思想,根据,已知类别,的样本所提供的信息，总结出分类的规律性，建立判别公式和判别准则，判别新的样本点所属类型，是判别个体所属群体的一种统计方法。,根据经验，今天与昨天的,湿度差,及今天的,压差,（气压与温度之差）是预报明天下雨或不下雨的两个重要因素。今测得,=8.1,，,=2.0,，试问应预报明天下雨还是不下雨？,这个问题是,两类判别,问题，总体分为两类，用,G,1,表示下雨，,G,2,表示不下雨。为进行预报，应先收集一批资料，从已有的资料中找出规律，再作预报。,雨天,非雨天,-1.9,-6.9,5.2,5.0,7.3,6.8,0.9,-12.5,1.5,3.8,3.2,10.4,2.0,2.5,0.0,12.7,-15.4,-2.5,1.3,6.8,0.2,-0.1,0.4,2.7,2.1,-4.6,-1.7,-2.6,2.6,-2.8,6.2,7.5,14.6,8.3,0.8,4.3,10.9,13.1,12.8,10.0,我们收集过去,10,个雨天和非雨天 和 的数值,2,距离判别,（一）,距离判别法的基本思想,距离判别的最直观的想法是计算样品到第,i,类总体的距离，哪个距离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。,马氏距离不受变量间的,相关性,和,量纲,的影响,样品 和 类之间的马氏距离定义为 与 类重心间的距离：,判别分析中常用马氏距离,1,、总体协差阵相等,（二）两个总体距离判别法,先考虑两个总体的情况，设有两个协差阵,相同的,p,维正态总体，对给定的样品,，,判别一个样品 到底是来自哪一个总体，一个最直观的想法是计算 到两个总体的距离。故我们用马氏距离来给定判别规则，有：,则前面的判别法则表示为,特别地，当,p=1,时，若两个总体分别为,和,则判别函数为,，其中,不妨设,则,的符号取决于,还是,因此判别规则可写成：,我们看到用距离判别所得到的准则是颇为合理的，但用这个判别法有时会错判。如 来自 ，但却落入 ，,被判为属,，错判的概率为图中阴影部分的面积，记为,，类似地有,显然，,。,例,1,在企业的考核中，可以根据企业的生产经营情况把企业分为优秀企业和一般企业。考核企业经营状况的指标有：,资金利润率,=,利润总额,/,资金占用总额,劳动生产率,=,总产值,/,职工平均人数,产品净值率,=,净产值,/,总产值,三个指标的均值向量和协方差矩阵如下。,现有二个企业，观测值分别为（,7.8,，,39.1,，,9.6,）和（,8.1,，,34.2,，,6.9,），问这两个企业应该属于哪一类？,变量,均值向量,协方差矩阵,优秀,一般,资金利润率,13.5,5.4,68.39,40.24,21.41,劳动生产率,40.7,29.8,40.24,54.58,11.67,产品净值率,10.7,6.2,21.41,11.67,7.90,线性判别函数：,判别准则：,故属于优秀企业,故属于一般企业,某企业生产新式大衣，将新产品的样品分寄给九个城市百货公司的进货员，并附寄调查意见表征求对新产品的评价，评价分质量、款式、颜色三个方面，以十分制评分。结果五位喜欢，四位不喜欢。评价表如下：,例,2,两类判别在市场分析中的应用,产品特性,质量,款式 颜色,喜欢组,1,2,3,4,5,8 9.5 7,9 8.5 6,7 8.0 9,10 7.5 8.5,8 6.5 7,不喜欢组,1,2,3,4,6 3 5.5,3 4 3.5,4 2 5,3 5 4,（,1,）先求两类样本的均值,（,2,）计算样本协方差矩阵，从而求出 及,（,3,）求线性判别函数,样品,判别函数,的值,原类号,判归类别,1,2,3,4,5,23.84,22.71,14.57,23.52,10.69,1,1,1,1,1,1,1,1,1,1,6,7,8,9,-13.09,-21.24,-25.36,-16.58,2,2,2,2,2,2,2,2,（,4,）对已知类别的样品判别归类,对已知类别的样品（通常称为训练样本）用线性判别函数进行判别归类,回代率为百之百，全部判对。,（,5,）对待判样品判别归类,如果有一潜在顾客，他对新产品的质量、款式、颜色的评价值为分别为,6,、,8,、,8,，则该顾客喜欢这款大衣吗？,故他属喜欢组,例 中小企业的破产模型,为了研究中小企业的破产模型，对破产的企业搜集它们在破产前两年的年度财务数据，同时对财务良好的企业也搜集同一时期的数据。数据涉及,4,个经济指标：,X1,：总负债率（现金收益,/,总负债）,X2,：收益性指标（纯收入,/,总财产）,X3,：短期支付能力（流动资产,/,流动负债）,X4,：生产效率性指标（流动资产,/,纯销售额）,对,21,个破产企业（,1,类）和,25,个正常运行企业（,2,类）进行了调查。,数据见,sasuser.disl01,要求建立企业破产模型，并对其它的企业进行判别。,数据见,sasuser.disldp01,例,人文发展指数是联合国开发计划署于,1990,年,5,月发表的第一份,人类发展报告,中公布的。该报告建议，目前对人文发展衡量应当以人生的三大要素为重点，,X1,：出生时的预期寿命（岁）,X2,：成人识字率（）,X3,：实际人均,GDP,将以上三个指标的数值合成为一个复合指数，即人文发展指数。现选取高发展水平（第,1,类）、中等发展水平（第,2,类）的国家各,5,个作为两组样品，另选,4,个国家作为待判样品作距离判别分析。,数据见,sasuser.disl02,和,sasuser.disldp02,2,、当总体的协差阵已知，且不相等,判别准则：,特别地，当,p=1,时，若两个总体分别为,和,则判别函数为,当,判别规则：,随着计算机计算能力的增强和计算机的普及，距离判别法的判别函数也在逐步改进，一种等价的距离判别为：,设有个,K,总体，分别有均值向量,i,(i=1,2,k),和协方差阵,i,=,，各总体出现的先验概率相等。又设,Y,是一个待判样品。则与,G,i,的距离为（即判别函数）,(,三,),多总体的距离判别法,上式中的第一项,与,i,无关，则舍去，得一个等价的函数,将上式中提,-2,，得,则距离判别法的判别函数为：,判别规则为,距离判别只要求知道总体的数字特征，不涉及总体的分布函数，当总体均值和协方差未知时，就用样本的均值和协方差矩阵来估计。距离判别方法简单实用，但没有考虑到每个总体出现的机会大小，即先验概率，没有考虑到错判的损失。,贝叶斯判别法,正是为了解决这两个问题提出的判别分析方法。,贝叶斯公式是一个我们熟知的公式,设有总体 ，具有概率密度函 数 。并且根据以往的统计分析，知道 出现的概率为 。即当样本 发生时，求他属于某类的概率。由贝叶斯公式计算后验概率，有：,则 判给 。在正态的假定下，为正态分布的,密度函数。,若,则 判给 。,上式两边取对数并去掉与,i,无关的项，则等价的判别函数为：,特别，总体服从正态分布的情形,问题转化为若 ，则判 。,当协方差阵相等,则判别函数退化为,令,问题转化为若 ，则判 。,有,当先验概率相等，,完全成为距离判别法,。,3,费歇判别法,两个总体的费歇（,Fisher,）判别法,X,不能使总体,尽可能分开的方向,能使总体单位,尽可能分开的方向,旋转坐标轴至总体单位尽可能分开的方向，此时分类变量被简化为一个,费歇判别的基本思想是投影，将,k,组,p,维数据投影到某一个方向，使其投影的组与组之间尽可能地分开。,u,费歇判别的基本思想,Fisher,判别法由,Fisher,在,1936,年提出，是根据方差分析的思想建立起来的一种能较好区分各个总体的线性判别法，该判别方法对总体的分布不做任何要求。,从两个总体中抽取具有,p,个指标的样品观测数据，借助于方差分析的思想构造一个线性判别函数：,系数 确定的,原则,假设我们可以得到一个线性判别函数：,我们把两个总体的样品数据代入上面的判别式,使组间离差平方和最大，而组内离差平方和最小。,为了使判别函数能够很好地区分来自不同总体,G,1,和,G,2,的样品，自然希望：,（,2,）来自同一总体的各个样品之间的差异越小越好。,即 的离差平方和 越小越好,即 的离差平方和 越小越好,(1,）和 的差异越大越好,令,由于,故,其中,即,为两类总体的样本均值,差,其中,令,是常数因子，不依赖于,它对方程组只起共同扩大倍数的作用，不影响判别结果，不妨取,于是得到,用矩阵表示：,因此得到,称 为,判别函数,.,两总体的,积差阵之和,两总体的,积差阵之和,判别临界值,其中,判别准则,，则判别准则为：,例,某外贸公司为推销某一新产品，为保险起见，在新产品大量上市前将该产品的样品寄往,12,个国家的进口代理商，并附意见调查表，要求对该产品给予评估，评估的因素有式样、包装及耐久性三项。评分表用,10,分制，最后要求说明是否愿意购买，调查结果如下：,购买组,1,2,3,4,5,6,7,9 8 7,7 6 6,10 7 8,8 4 5,9 9 3,8 6 7,7 5 6,非购买组,1,2,3,4,5,4 4 4,3 6 6,6 3 3,2 4 5,1 2 2,第,13,个国家的进口代理商评分（,9,，,5,，,8,），问该代理商是否愿意购买此产品。,求两总体的样本均值,2.,求两总体样本均值之差,3.,求两总体的样本离差平方和矩阵,E,先求各,4.,求判别系数,5.,得判别函数,=,6.,=0.216928.29+0.01826.43+0.056046=2.251533,=0.0987464,判别的临界值,则判别准则为：,7.,对已知类别的样品判别分类,对已知类别的样品（通常成为训练样品）用线性判别函数进行判别归类，结果如下表：,样品,原类号,判归类别,1,2,3,4,5,6,7,2.49,1.96,2.74,2.09,2.28,2.24,1.95,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,2,3,4,5,1.16,1.10,1.52,0.79,0.37,2,2,2,2,2,2,2,2,2,2,回代率为百之百，全部判对。,对判别类别的样品判别归类,=,（,9,5,8,），,0.21692,9+0.0182,5+0.05604,8=2.4916Y,c,属购买组,故,多个总体的,Fisher,判别法,(,一,),判别函数,Fisher,判别法实际上是致力于寻找一个最能反映组和组之间差异的投影方向，即寻找线性判别函数 ，设有 个总体 ，分别有均值向量 ，,和协方差阵,分别从各总体中得到样品：,第,i,个总体的样本均值向量,综合的样本均值向量,第,i,个总体样本组内离差平方和,综合的组内离差平方和,组间离差平方和,如果判别分析是有效的，则所有的样品的线性组合 满足,组内离差平方和小,，而,组间离差平方和大,。则,而 所对应的特征向量即 。,Fisher,样品判别函数是,然而，如果组数,k,太大，讨论的指标太多，则一个判别函数是不够的，这时需要寻找第二个，甚至第三个线性判别函数,其特征向量构成第二个判别函数的系数。,类推得到,m(mk),个线性函数。,关于需要几个判别函数得问题，需要累计判别效率达到,85,以上，即有,设 为,B,相对于,E,的特征根，则,以,m,个线性判别函数得到的函数值为新的变量，再进行距离判别,。,判别规则：,设,Y,i,(X),为第,i,个线性判别函数，,则,Proc discrim data=SAS,数据集,testdata=SAS,数据集,out=SAS,数据集,testout=SAS,数据集,outstat=SAS,数据集,pool=,yes,/,no,;,Class,变量名,;,Var,变量名,;,Run;,SAS,程序（距离判别）,DATA,中说明类别的变量,分类根据的变量,二次判别函数,线性判别函数，可缺省,DATA=,已分类的数据集,TESTDATA=,要分类的数据集,OUT=,已分类数据的回判结果,TESTOUT=,要分类数据的判别结果,OUTSTAT=,已分类数据的一些统计量,Proc discrim data=SAS,数据集,testdata=SAS,数据集,out=SAS,数据集,testout=SAS,数据集,outstat=SAS,数据集,;,Class,变量名,;,Var,变量名,;,Run;,SAS,程序,DATA,中说明类别的变量,分类根据的变量,Priors,选项,;,指定先验概率,Priors EQUAL;,（可缺省，指先验概率相等）,Priors proportional|PROP;,（,要求用各类出现的比例计算各类的先验概率）,Priors 1=,0.8 2=0.2;,（指定具体的先验概率值）,Proc candisc data=SAS,数据集,out=SAS,数据,;,Class,变量名,;,Var,变量名,;,Run;,SAS,程序 （,Fisher,判别）,DATA,中说明类别的变量,分类根据的变量,Proc plot;,plot can2*can1=,变量名,;,run;,画图：给出由典型判别分析得到的前两个典型变量的散点图，以直观地显示各类是否得以较好地区分开。,