人工神经元模型介绍.ppt

人工(rngng)神经元模型MP模型、感知器模型及其训练学习(xux)算法第一页，共三十七页。树突（树突（Dendrite）胞体胞体(Soma)轴突（轴突（Axon）突触（突触（Synapse）大脑皮层(dno-pcng)，每立方毫米中，神经元超过104个，连接长度超过几公里大脑神经元的工作大脑神经元的工作(gngzu)原理原理第二页，共三十七页。二、人工神经网络的历史二、人工神经网络的历史(lsh)早期阶段（1960s）1943 1943 McCulloch和和Pitts 提出神经元的数学模型（提出神经元的数学模型（MP模型）模型）1949 Hebb 提出权重加强的学习机理1957 Rosenblatt 感知机（perceptron）有认知学习功能1969 Mingsky 专著“perceptron”证明线性（单层）感知(gnzh)机不能解决XOR问题，ANN进入低潮第三页，共三十七页。二、人工神经网络的历史二、人工神经网络的历史(lsh)过渡期（1970s）低潮中，许多学者深入研究ANN理论、模型(mxng)。MIT的Marr提出视觉模型Boston Univ的Grossbery全面研究ANN理论，提出ART1，ART2，ART3自适应谐振理论模型。甘利俊一 ANN的数学理论Fuknshima 神经认知网络理论芬兰的Kohonen 自组织联想记忆第四页，共三十七页。二、人工神经网络的历史二、人工神经网络的历史(lsh)高潮（1980）1982 加州理工 Hopfield提出结点全互联ANN模型（Hop模型），用单层ANN解决了TSP问题1987.6 ICNN（International Conference on NN）召开1987 加州理工 Abnmostafa，Psaitis 2D联想存储输入残缺图案也可识别1988 AT&T Bell lab 120*120元件的ANN1989 三菱 光学ANN芯片，32个神经元识别26个字母1989 日立 5“硅片集成576个神经元1990 Bell Lab 黄庭钰 数字光学处理器1990 IBM AS400 提供ANN仿真开发环境1992 SGI 将ANN用于航天飞机控制(kngzh)臂ANN已在专家系统、智能控制等领域广泛应用第五页，共三十七页。神经元建模的六点假定(jidng)神经元模型是在以下六条假设的基础上建立的：神经元模型是在以下六条假设的基础上建立的：每个神经元都是一个多输入单输出的信息处理单元神经元输入分兴奋性输入和一致性输入两种类型神经元具有空间整合(zhn h)特性和阈值特性神经元输入与输出间有固定的时滞，主要取决于突触延搁忽略时间整合作用和不应期神经元本身是非时变的，即其突触时延和突触强度均为常数第六页，共三十七页。假设(jish)1：多输入单输出图(a)表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许多的输入信号，图中每个输入的大小用确定数值xi表示，它们同时(tngsh)输入神经元j，神经元的单输出用oj表示。第七页，共三十七页。假设(jish)2：输入类型：兴奋性和抑制性生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制(yzh)，其大小则代表了突触的不同连接强度。第八页，共三十七页。假设3：空间整合特性(txng)和阈值特性(txng)作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图(c)表示组合输人信号的“总和(zngh)值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时,神经元才被激活而发放脉冲,否则神经元不会产生输出信号。第九页，共三十七页。神经元的输出(shch)图(d)人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元输出，则输出与输入(shr)之间的对应关系可用图(d)中的某种非线性函数来表示，这种函数一般都是非线性的。第十页，共三十七页。神经元模型(mxng)示意图第十一页，共三十七页。神经元模型(mxng)示意图x1,x2,.,xn是来自其它人工(rngng)神经元的信息作为该人工(rngng)神经元的输入，权值w1,w2,.,wn表示各输入的连接强度。是神经元兴奋时的内部阈值，当神经元输入的加权和大于时，神经元处于兴奋状态。该输出为1或0取决于其输入之和大于或小于内部(nib)阈值即0时，该神经元被激活，进入兴奋状态，f()=1,当00ET，I=00E00第十九页，共三十七页。MP模型(mxng)的逻辑表示 MP模型可以表示布尔逻辑关系（与 或 非）例如逻辑(lu j)与：设设T=2，I=0，E=x1W+x2W=x1+x2当当x1=1，x2=1，E=1+1=2，触发触发y=1当当x1=1，x2=0，E=1+0=1，不触发不触发y=0当当x1=0，x2=1，E=0+1=1，不触发不触发y=0当当x1=0，x2=0，E=0+0=0，不触发不触发y=0满足y=x1.x2逻辑与关系。第二十页，共三十七页。MP模型的逻辑(lu j)表示逻辑或：令令T=1，I=0，E=x1+x2（二个兴奋性输入）（二个兴奋性输入）当当x1=1,x2=1,E=1+1=2,触发触发 y=1当当x1=1,x2=0,E=1+0=1,触发触发 y=1当当x1=0,x2=1,E=0+1=1,触发触发 y=1当当x1=0,x2=0,E=0+0=0,不触发不触发 y=0满足(mnz)y=x1+x2逻辑或关系第二十一页，共三十七页。MP模型(mxng)的逻辑表示逻辑非：令令T=0，E=0，I=xW=x（一个（一个(y)(y)抑制性输入）抑制性输入）当当x=1，I=10,不触发不触发y=0当当x=0，I=0，触发触发y=1满足逻辑非关系第二十二页，共三十七页。MP模型(mxng)能够构成逻辑与、或、非，就可进而组成任意复杂的逻辑关系，因此，MP模型是按一定方式组织起来，可以构成具有逻辑功能的神经网络。MP模型是最简单的网络，但是由于生物神经元本质上是模拟(mn)过程，过早地把物理量抽象为0和1，会丢失许多有用信息，因此神经计算应当将模拟的和数字的技术结合起来。从最简化的观点看，仍具有一定指导意义。第二十三页，共三十七页。MP模型(mxng)应用MP模型应用：可用于实现分类、模式识别等，当前已经有许多成功的基于M-P神经元模型的神经网络得到(d do)应用，如BP算法，这种算法是实现人脸识别的主要算法之一。第二十四页，共三十七页。感知器（Perceptron）模型(mxng)1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的神经网络，成为Perceptron,即为感知器。感知器是一种前馈网络，同层内无互连，不同层间无反馈，由下层向上层传递。其输入、输出均为离散值，神经元对输入加权求和后，由阈值函数(hnsh)决定其输出。单层感知器的结构与功能都非常简单，但却是要就其他网络的基础。第二十五页，共三十七页。感知器模型(mxng)j=1,2,m 第二十六页，共三十七页。设定输入向量X=(x1,x2)T输出：则由方程：w1jx1+w2jx2-Tj=0可以确定平面(pngmin)上的一条直线感知器模型(mxng)第二十七页，共三十七页。设定输入向量X=(x1,x2,x3)T输出：则由方程：w1jx1+w2jx2+w3jx3-Tj=0可以确定三维空间上的一个分界(fn ji)平面感知器模型(mxng)第二十八页，共三十七页。感知器的功能(gngnng)感知器在线性神经元中加入了阈值函数，也称为线性阈值元。它可接受实数型信号，而输出(shch)二值离散量(0,1)。即：一个单计算节点感知器具有分类功能。第二十九页，共三十七页。例例 用感知器实现用感知器实现(shxin)(shxin)逻辑逻辑“与与”功能功能x1x2y000010100111逻辑逻辑“与与”真值真值表表第三十页，共三十七页。感知器结构感知器结构wix1+w2x2-T=0 0.5x1+0.5x2-0.75=0例例 用感知器实现用感知器实现(shxin)(shxin)逻辑逻辑“与与”功能功能第三十一页，共三十七页。感知器的学习(xux)算法第三十二页，共三十七页。感知器的学习(xux)算法感知器学习规则(guz)的训练步骤：(1)对各权值w0j(0),w1j(0),wnj(0)，j=1,2,m （m为计算层的节点(ji din)数）赋予较小的非零随机数；(2)输入样本对Xp,dp，其中Xp=(-1,x1p,x2p,xnp)，dp为期望的输出向量（教师信号），上标p代表 样本对的模式序号，设样本集中的样本总数为P，则p=1,2,P；第三十三页，共三十七页。(3)计算各节点(ji din)的实际输出ojp(t)=sgnWjT(t)Xp,j=1,2,.,m；(4)调整各节点对应的权值，Wj(t+1)=Wj(t)+djp-ojp(t)Xp,j=1,2,m,其中为学习率，用于控制调整速度，太大 会影响训练的稳定性，太小则使训练的收敛(shulin)速度变慢，一般取01；(5)返回到步骤(2)输入(shr)下一对样本，周而复始直到对所有 样本，感知器的实际输出与期望输出相等。第三十四页，共三十七页。感知器学习(xux)规则的训练步骤：（1）权值初始化（2）输入样本对（3）计算输出（4）根据感知器学习规则调整权值（5）返回(fnhu)到步骤(2)输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期望输出相等。第三十五页，共三十七页。谢谢谢谢(xi xie)！第三十六页，共三十七页。内容(nirng)总结人工神经元模型。神经元具有空间整合特性和阈值特性。神经元本身(bnshn)是非时变的，即其突触时延和突触强度均为常数。假设3：空间整合特性和阈值特性。该输出为1或0取决于其输入之和大于或小于内部阈值。ij 输入输出间的突触时延。是1943年心理学家McCulloch和数学家W.Pitts在分析总结神经元基本特性的基础上首先提出的M-P模型。则由方程：w1jx1+w2jx2+w3jx3-Tj=0。谢谢第三十七页，共三十七页。