人工神经元模型及学习方法.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,人工神经元模型,MP,模型、感知器模型及其训练学习算法,M-P,模型,目前人们提出的神经元模型有很多，其中最早提出且影响最大的，是,1943,年心理学家,McCulloch,和数学家,W.Pitts,在分析总结神经元基本特性的基础上首先提出的,M-P,模型。指出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。,M-P,模型的六点假定,关于神经元的信息处理机制，该模型在简化的基础上提出了以下六点假定进行描述：,每个神经元都是一个多输入单输出的信息处理单元,神经元输入分兴奋性输入和一致性输入两种类型,神经元具有空间整合特性和阈值特性,神经元输入与输出间有固定的时滞，主要取决于突触延搁,忽略时间整合作用和不应期,神经元本身是非事变的，即其突触时延和突触强度均为常数,假设,1,：多输入单输出,图,(a),表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许多的输入信号，图中每个输入的大小用确定数值,x,i,表示，它们同时输入神经元,j,，神经元的单输出用,o,j,表示。,假设,2,：输入类型：兴奋性和抑制性,生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图,(b),中对神经元的每一个输入都有一个加权系数,w,ij,，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。,假设,3,：,空间整合特性和阈值特性,作为,ANN,的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图,(c),表示组合输人信号的,“,总和值,”,，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时,神经元才被激活而发放脉冲,否则神经元不会产生输出信号。,神经元的输出,图,(d),人工神经元的输出也同生物神经元一样仅有一个，如用,o,j,表示神经元输出，则输出与输入之间的对应关系可用图,(d),中的某种非线性函数来表示，这种函数一般都是非线性的。,神经元模型示意图,神经元的数学模型,ij,输入输出间的突触时延；,T,j,神经元,j,的阈值；,w,ij,神经元,i,到,j,的突触连接系数或称,权重值；,f,(),神经元转移函数。,神经元的数学模型,net,j,=,W,j,T,X,W,j,=(,w,1,w,2,w,n,),T,X=,(,x,1,x,2,x,n,),T,令,x,0,=,-1,，,w,0,=,T,j,则有,-,T,j,=,x,0,w,0,神经元的数学模型,净输入与阈值之差可表示为：,综合以上各式，神经元模型可以简化为：,o,j,=,f,(,net,j,)=,f,(,W,j,T,X,),神经元的转移函数,神经元各种不同数学模型的主要区别在于采用了不同的,转移函数,，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的,三大要素之一,，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有,4,种形式。,神经元的转移函数,(1),阈值型转移函数,1 x,0,f,(,x,),=,0 x,0,图中所示为单极性阈值型转移函数，具有这一作用方式的神经元成为阈值型神经元，这是神经元模型中最简单的一种，,MP,模型就属于这一类。,神经元的转移函数,(2),非线性转移函数,神经元的转移函数,(3),分段线性转移函数,0 x,0,f(x)=,cx,0,x,x,c,1 x,c,x,神经元的转移函数,(4),概率型转移函数,温度参数,MP,模型神经元特性函数可表示为,u,的输入输出关系如表：,ET,，,I=0 y=1,ET,，,I0 0,ET,，,I=0 0,E0 0,MP,模型的逻辑表示,MP,模型可以表示布尔逻辑关系（与 或 非）,例如逻辑与,：,设,T,=2,，,I,=0,，,E,=,x,1,W+x,2,W,=,x,1,+x,2,当,x,1=1,，,x,2=1,，,E=1+1=2,，触发,y=1,当,x,1=1,，,x,2=0,，,E=1+0=1,，不触发,y=0,当,x,1=0,，,x,2=1,，,E=0+1=1,，不触发,y=0,当,x,1=0,，,x,2=0,，,E=0+0=0,，不触发,y=0,满足,y,=,x,1,.x,2,逻辑与关系,。,逻辑或：,令,T,=1,，,I,=0,，,E,=,x,1,+,x,2,（二个兴奋性输入）,当,x,1,=1,x,2,=1,E,=1+1=2,触发,y,=1,当,x,1,=1,x,2,=0,E,=1+0=1,触发,y,=1,当,x,1,=0,x,2,=1,E,=0+1=1,触发,y,=1,当,x,1,=0,x,2,=0,E,=0+0=0,不触发,y,=0,满足,y,=,x,1,+,x,2,逻辑或关系,逻辑非：,令,T,=0,，,E,=0,，,I,=,xW,=,x,（一个抑制性输入）,当,x,=1,，,I,=10,不触发,y,=0,当,x,=0,，,I,=0,，触发,y,=1,满足逻辑非关系,MP,模型,能够构成逻辑与、或、非，就可进而组成任意复杂的逻辑关系，因此，,MP,模型是按一定方式组织起来，可以构成具有逻辑功能的神经网络。,MP,模型是最简单的网络，但是由于生物神经元本质上是模拟过程，过早地把物理量抽象为,0,和,1,，会丢失许多有用信息，因此神经计算应当将模拟的和数字的技术结合起来。,从最简化的观点看，仍具有一定指导意义。,MP,模型应用,MP,模型应用：,可用于实现分类、模式识别等，当前已经有许多成功的基于,M-P,神经元模型的神经网络得到应用，如,BP,算法，这种算法是实现人脸识别的主要算法之一。,感知器,（,Perceptron,）,模型,1958,年，美国心理学家,Frank Rosenblatt,提出一种具有单层计算单元的神经网络，成为,Perceptron,即为感知器。,感知器是一种前馈网络，同层内无互连，不同层间无反馈，由下层向上层传递。其输入、输出均为离散值，神经元对输入加权求和后，由阈值函数决定其输出。,单层感知器的结构与功能都非常简单，但却是要就其他网络的基础。,感知器模型,j=1,2,m,感知器模型,净输入：,输出：,感知器的功能,感知器是一种简单的非线性神经网络，在线性神经元中加入了阈值函数，也称为线性阈值元。它可接受实数型信号，而输出二值离散量,(0,1),。它可用于模式分类。,感知器的功能,一个模式识别的简单问题,：,某商贩有一个存储各种水果和蔬菜的货仓。当将水果放进货仓时，不同类型的水果可能会混在一起，所以商贩非常希望能够有一台帮他将水果自动分类摆放的机器。,当每个水果通过这些传感器后，它就可以用一个三维向量来表示。,一个标准的桔子可表示为：,一个标准的苹果可表示为：,例 用感知器实现逻辑,“,与,”,功能,x,1,x,2,y,000,010,100,111,逻辑“与”真值表,感知器结构,w,i,x,1,+w,2,x,2,-T,=0,0.5x,1,+0.5x,2,-0.75=0,感知器的学习算法,感知器学习规则的训练步骤：,(1),对各权值,w,0j,(,0,),w,1j,(,0,),w,nj,(,0,),，,j=1,2,m,（,m,为计算层的节点数）赋予较小的非零随机数；,(2),输入样本对,X,p,d,p,，其中,X,p,=,(,-1,x,1,p,x,2,p,x,n,p,),，,d,p,为期望的输出向量（教师信号），上标,p,代表,样本对的模式序号，设样本集中的样本总数为,P,，,则,p=1,2,P,；,(3),计算各节点的实际输出,o,j,p,(,t,)=,sgn,W,j,T,(,t,),X,p,j,=1,2,.,m,；,(4),调整各节点对应的权值，,W,j,(,t+1,)=,W,j,(,t,)+,d,j,p,-o,j,p,(,t,),X,p,j=1,2,m,其中为学习率，用于控制调整速度，太大,会影响训练的稳定性，太小则使训练的收敛速度变慢，,一般取,0,1,；,(5),返回到步骤,(2),输入下一对样本，周而复始直到对所有,样本，感知器的实际输出与期望输出相等。,感知器学习规则的训练步骤：,（,1,）权值初始化,（,2,）输入样本对,（,3,）计算输出,（,4,）根据感知器学习规则调整权值,（,5,）返回到步骤,(2),输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期望输出相等,。,感知器模型应用领域,感知器模型应用领域：,可实现线性分类、预测等，应用于计算机视觉、图像处理、模式识别、信号处理、智能监控、机器人等不同领域。,