RBF神经网络的实现过程.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,IPL,第四章 线性判别函数,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,Table of Contents,电子信息学院,4.1,引言,基于样本的,Bayes,分类器：通过估计类条件概率密度函数，设计相应的判别函数,最一般情况下适用的,“,最优,”,分类器：,错误率最小,，对分类器设计在理论上有指导意义。,获取统计分布及其参数很困难，实际问题中并不一定具备获取准确统计分布的条件。,训练,样本集,样本分布的统计特征：,概率密度函数,决策规则：,判别函数,决策面方程,分类器功能结构,ARGMAX,g,1,.,.,.,g,2,g,c,.,.,.,x,1,x,2,x,n,a(x),直接确定判别函数,基于样本的,直接确定判别函数,方法：,设定判别函数形式，用样本集确定参数。,使用,准则函数,，表达分类器应满足的要求。,这些准则的,“,最优,”,并不一定与错误率最小相一致：,次优分类器,。,实例：正态分布最小错误率贝叶斯分类器在特殊情况下，是,线性判别函数,g,(,x,)=,w,T,x,（决策面是超平面），能否基于样本直接确定,w,?,引言,训练样本集,决策规则：,判别函数,决策面方程,选择最佳准则,两类问题的,分类决策规则,引言,规则表达,1,规则表达,2,线性判别函数的几何意义,决策面,(decision boundary)H,方程：,g,(,x,)=0,决策面,将特征空间分成,决策区域,。,向量,w,是决策面,H,的法向量,g,(,x,),是点,x,到决策面,H,的距离的一种代数度量,x,1,x,2,w,x,x,p,r,H,:g=0,R,1,:g0,R,2,:g0,对样本,y,错误分类，则有：,a,T,y,0,定义一,准则函数,J,P,(,a,)(,感知准则函数,),：,被错分类的规范化增广样本集,恒有,J,P,(,a,)0,，且仅当,a,为解向量，,Y,k,为空集（不存在错分样本）时，,J,P,(,a,)=0,，即达到极小值。确定向量,a,的问题变为对,J,P,(,a,),求极小值的问题。,感知器,梯度下降算法,梯度下降算法：对,(,迭代,),向量沿某函数的,负梯度方向,修正，可较快到达该函数极小值。,感知器,算法,(step by step),1.,初值,:,任意给定一向量初始值,a,(1),2.,迭代,:,第,k,+1,次迭代时的权向量,a,(,k,+1),等于第,k,次的权向量,a,(,k,),加上被错分类的所有样本之和与,r,k,的乘积,3.,终止,:,对所有样本正确分类,任意给定一向量初始值,a,(1),a,(,k,+1)=,a,(,k,)+,r,k,Sum(,被错分类的所有样本,),所有样本正确分类,得到合理的,a,完成分类器设计,N,Y,感知器,感知器方法例解,固定增量法,与,可变增量法,批量样本修正法,与,单样本修正法,批量样本修正法：样本成批或全部检查后，修正权向量,单样本修正法：样本集视为不断重复出现的序列，逐个样本检查，修正权向量,感知器,感知器方法小结,感知准则函数方法的思路是：先随意找一个初始向量,a,(1),，然后用训练样本集中的每个样本来计算。若发现一个,y,出现,a,T,y,0,。当然，修改后的,a,(,k,+1),还可以使某些,y,出现,a,(,k,+1),T,y,0,i=1,N,线性分类器设计,求一组,N,个线性不等式的解,样本集,增广矩阵,Y,及,一组,N,个线性不等式的的,矩阵表示：,引入余量,(,目标向量,),b,=,b,1,b,2,b,N,T,，,b,i,任意给定正常数，,a,T,y,i,=,b,i,0,N,个线性方程的的,矩阵表示：,平方误差准则函数,定义,误差向量,e,=,Y,a,-,b,：,定义,平方误差准则函数,J,s,(,a,):,最小二乘解,（,MSE,解,）：,MSE方法的思想：对每个样本，设定一个,“,理想,”,的判别函数输出值，以最小平方误差为准则求最优权向量,MSE,MSE,准则函数的伪逆解,Y,的伪逆矩阵,MSE,MSE,方法的迭代解,a,*,=,Y,+,b,Y,+=,(,Y,T,Y,),-1,Y,T,，计算量大,实际中常用梯度下降法：,批量样本修正法,单样本修正法,MSE,MSE,方法与,Fisher,方法的关系,与,Fisher,方法的关系：当,N,1,个,N,2,个,MSE,解等价于,Fisher,解,MSE,MSE,方法与,Bayes,方法的关系,当,N,，,b,=,u,N,=1,1,1,T,时，则它以最小均方误差逼近,Bayes,判别函数：,MSE,4,.,5,多类问题,两类别,问题可以推广到,多类别,问题,i,/,i,法：,将,C,类别问题化为,(,C,-1),个两类（第,i,类与所有非,i,类）问题，按两类问题确定其判别函数与决策面方程。,i,/,j,法：,将,C,类中的每两类别单独设计其线性判别函数，因此总共有,C,(,C,-1)/2,个线性判别函数。,R,1,R,3,R,2,1,非,1,2,非,2,R,1,R,3,R,2,1,2,1,3,3,2,多类线性判别函数,将特征空间确实划分为,c,个决策域，共有,c,个,判别函数,决策规则：,决策域的边界,由相邻决策域的判别函数共同决定，此时应有,g,i,(,x,)=,g,j,(,x,),线性分类器的决策面是凸的，决策区域是单连通的,多类分类器的分界面是分段线性的,多类,问题,多类线性决策面图例,R,1,R,3,R,2,g,1,g,2,g,1,g,3,g,3,g,1,g,3,g,2,g,2,g,3,g,2,g,1,R,1,R,3,R,2,R,5,R,4,多类,问题,决策树简介,决策树,：一种,多极分类器,，它采用分级的形式，综合用多个决策规则，逐步把复杂的,多类别,分类问题转化为若干个,简单的分类,问题来解决,n,1,n,2,n,3,n,4,n,5,t,1,t,2,t,3,t,4,t,5,t,6,t,7,多类,问题,二叉决策树,二叉决策树,：除叶节点外，决策树的每个节点,n,i,都有且只有两个子节点,n,il,和,n,ir,。二叉决策树把复杂的多类别分类问题转化为,多级两类分类问题,来解决。在每个节点,n,i,，都把样本集分成两个子集。每个子集可能仍包含多类别的样本，继续分直至仅包含单类别样本的叶节点,n,1,n,2,n,3,n,4,t,1,t,2,t,5,x,2,5,x,1,2,x,3,4,x,2,2,1,2,3,2,3,t,3,t,4,多类,问题,4,.,6,分段线性判别函数,有些复杂模式识别问题不是线性可分的，需使用非线性的分类方法,分段线性判别函数,：一种特殊的非线性判别函数，它的决策面是,若干超平面,树分类器的各节点上采用线性判别规则，即构成分段线性分类器,R,1,R,3,R,2,III,I,II,I,:,线性判别,II,：分段线性判别,III:,二次判别,分段线性距离分类器,最小距离分类器,：把各类别样本的均值向量作为各类的,代表点,(,prototype,),，根据,待识样本,到各类别,代表点,的最小距离判别其类别。决策面是两类别均值连线的垂直平分面。,分段,线性,m,1,m,2,x,g,(,x,)=0,m,1,m,2,x,分段线性距离分类器,(2),分段线性距离分类器,：将各类别划分成相对密集的子类，每个子类以它们的均值作为代表点，然后按最小距离分类。,分段,线性,基于距离的分段线性判别函数,判别函数定义,：,i,有,l,i,个子类，即属于,i,的决策域,R,i,分成,l,i,个子域,R,i,1,R,i,2,R,i,li,),，每个子区域用均值,m,i,k,作为代表点。,判别规则,：,or,分段,线性,分段线性判别函数,分段线性判别函数的形式,:,g,i,k,(,x,),表示第,i,类第,k,段线性判别函数，,l,i,为,i,类所具有的判别函数个数，,w,i,k,与,w,i0,k,分别是第,k,段的权向量与阈值,第,i,类的判别函数,:,分段,线性,分段线性判别函数,(II),判别规则,:,决策面取决于相邻的决策域，如第,i,类的第,n,个子类与第,j,类的第,m,个子类相邻，则由它们共同决定的决策面方程为,分段,线性,4,.,7,讨论,基于样本的,直接确定判别函数方法,主要包含两个步骤：,确定使用的,判别函数类型,或决策面方程类型，如线性分类器，分段线性分类器等,在选定函数类型的条件下，,确定相应的参数,，从而完成整个分类器设计,线性判别函数计算简单，在一定条件下能实现最优分类，经常是一种,“,有限合理,”,的选择,分段线性分类器可以实现更复杂的分类面,习题,有一个三次判别函数：,z,=,g,(,x,)=,x,3,+2,x,2,+3,x,+4,。试建立一映射,x,y,，使得,z,转化为,y,的线性判别函数。,证明决策面,H,：,w,T,x,+w,0,=0,的系数向量,w,是决策面,H,的法向量,Ex-4.15,设五维空间的线性方程为,55,x,1,+68,x,2,+32,x,3,+16,x,4,+26,x,5,+10=0,，试求出其权向量与样本向量点积的表达式,w,T,x,+,w,0,=0,中的,w,，,x,以及增广权向量与增广样本向量形式,a,T,y,中的,a,与,y,习题（续）,设在三维空间中一个类别分类问题拟采用二次曲面。如欲采用广义线性方程求解，试问其广义样本向量与广义权向量的表达式，其维数是多少？,