人工智能神经网络.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,人工神经网络,课程的基本内容及要求：,1,基本内容和要求：,了解一些有关人工神经网络的概念,模型、结构及工作方式等,1-4,节（学时）,（,4,5,节可自学）,重点：,2,节,3,节,1,2,小节,10/28/2026,1,1,神经网络概述,现代的计算机有很强的,计算和信息处理能力,，但是它解决像,模式识别、感知、评判和决策等复杂问题,的能力却远不如人，特别是它只能按人事先编好的程序,机械地执行,，缺乏向环境学习,适应环境的能力,单个神经元的反应速度是在,毫秒级,，比起计算机的基本单元,逻辑门（反应时间在,10-9s,量级,）慢,5,6,个数量级。由于人脑的神经元数量巨大（约为,1010,个,），每个神经元可与几千个其它神经元连接（,总连接数约为,61013,），对有些问题的处理速度反而比计算机快得多。它的,能耗约为每一运算,10-16J/s,（,计算机为每一运算,10-6J/s,），,由此可见其性能要比现代计算机高得多,10/28/2026,2,从,模仿人脑智能,的角度出发，来探寻新的信息表示、存储和处理方式，设计全新的计算处理结构模型，构造一种,更接近人类智能,的信息处理系统来解决传统的冯,诺依曼计算机难以解决的问题，必将大大促进科学进步，并会在人类生活的各个领域引起巨大的变化，,人工神经网络（,Artificial Neural Networks,，,以下简写为,NN,）,系统,10/28/2026,3,所谓,NN,就是为模仿人脑工作方式而设计的一种机器,，它可用电子或光电元件实现，也可用软件在常规计算机上仿真。或者说,NN,是一种具有,大量连接的并行分布处理器,，它具有,通过学习获取知识并解决问题,的能力，且,知识是分布储存在连接权,（对应于生物神经元的突触）中，而不是像常规计算机那样按地址存在特定的存储单元中,10/28/2026,4,尽管目前人们对大脑神经网络的结构、运行机制，甚至单个神经细胞的工作原理了解还很肤浅，但是基于生物神经系统的,分布式存储、并行处理、自适应学习,这些现象，已经构造出具有一些低级智慧的,人工神经网络系统,当然这种人工神经网络只是对大脑的粗略而简单的,模仿,，无论在功能上，还是在规模上都比真正的神经网络差得很远，但它在一些科学研究和实际工程领域中已显示了很大的,威力,10/28/2026,5,从,80,年代初,神经网络的研究再次,复苏,并形成热点以来，发展非常迅速,在理论上，对它的,计算能力,、对,任意连续映射的逼近能力,、,学习理论,及,动态网络的稳定性分析,等都取得了丰硕的成果,在,应用,上已迅速扩展到许多重要领域,10/28/2026,6,应用领域,（,1,）模式识别与图象处理,印刷体和手写体字符识别，语音识别，签字识别，指纹识别，人脸识别，癌细胞检测，心电图和脑电图分类，,RNA,和,DNA,识别，油气贮藏勘测，加速器事故检测，目标检测与识别，图象压缩，图象复原,（,2,）控制与优化,化工过程控制，机械手运动控制，电弧炉电极控制，半导体生产中掺杂控制，石油精炼和食品工业中优化控制，,VLSI,（,超大规模集成电路）布线设计,（,3,）预测与管理,股市预测，有价证券管理，借贷风险分析，信用卡管理，机票管理,（,4,）通信,自适应均衡，回波抵消，路由选择，,ATM,网络中的呼叫接纳识别及控制,（,5,）其它应用,导航，光学望远镜聚焦，运载体轨迹控制，电机故障检测以及多媒体,10/28/2026,7,2,人工神经元模型,1,神经元模型,神经元模型,的,三个,基本要素：,一组连接权,（对应于生物神经元突触）,连接强度由各连接上的权值表示，权值为正表示激励，为负表示抑制,一个求和单元,用于求取各输入信息的加权和（线性组合）,一个非线性激励函数,起到非线性映射作用并限制神经元输出幅度在一定的范围之内（一般限制在,0,1,或,-1,+1,之间）,此外还有一个,阈值,k,（,或偏置,b,k,=-,k,）,10/28/2026,8,1,神经元模型,x,1,x,p,输入信号,x,2,y,k,w,k,1,w,k,2,w,kp,(),V,k,激励函数,k,域值,输出,求和,10/28/2026,9,1,神经元模型,神经元模型数学式表达：,式中,x,1,，,x,2,，,x,3,，,，,x,p,为输入信号，,w,k,1,，,w,k,2,，,w,k,3,，,，,w,kp,为神经元,k,之权值，,u,k,为线性组合结果，,k,为阈值。,(),为激励函数，,y,k,为神经元,k,的输出,10/28/2026,10,1,神经元模型,当,把输入的维数增加一维，从而把阈值,k,包括进去：,y,k,w,k,1,w,k,2,w,kp,输入,w,k,0,固定输入,x,0,=-1,w,k,0,=,k,(,阈值,),(),输出,激励函数,V,k,求和,x,p,x,2,x,1,10/28/2026,11,1,神经元模型,当考虑,阈值,k,，,则其数学表达,：,y,k,=,(,v,k,),此处增加一新连接，其输入为,x,0,=,-1,，,权值为：,w,k0,=,k,(,阈值,),(,或,x,0,=,+1,，,权值为：,w,k0,=,b,k,(,偏置,b,k,=-,k,),10/28/2026,12,1,神经元模型,激励函数,(),可以有如下几种,形式,：,阈值函数,常称此种神经元为,M-P,模型,10/28/2026,13,1,神经元模型,激励函数,(),可以有如下几种,形式,：,分段线性函数,类似一带限幅线性放大器,在,线性区时，,其,放大倍数为,1,10/28/2026,14,1,神经元模型,激励函数,(),可以有如下几种,形式,：,Sigmoid,函数,参数,可控制其斜率,具有平滑,/,渐近性，保持单调性,10/28/2026,15,1,神经元模型,激励函数,(),可以有如下几种,形式,：,Sigmoid,函数,相对于其它两类函数，,Sigmoid,函数最为常用,另一种常用的是双曲正切函数：,10/28/2026,16,隐层,输入层,输出层,2,神经网络结构及工作方式,除单元特性外，网络的拓扑结构也是,NN,的一个重要特征，从,连接方式,看,NN,主要有两种：,前馈型网络,具有一个隐层的前馈网络,各神经元接受前一层的输入，并输出给,下一层，没有反馈。节点分为两类，即,输入单元,和,计算单元,，每一计算单元可,有任意多个输入，但只有一个输出（它,可耦合到任意多个其它节点作为其输入,）。前馈网络可分为不同的层，第,i,层的,输入只与第,i,-1,层输出相连，输入和输出,节点与外界相连，而其它中间层称为,隐层,10/28/2026,17,2,神经网络结构及工作方式,除单元特性外，网络的拓扑结构也是,NN,的一个重要特征，从,连接方式,看,NN,主要有两种：,反馈型网络,所有节点都是计算单元，同时也,可接受输入，并向外界输出。它,可画成一个无向图,，,其中每个连,接线都是双向的。若总单元数为,n,，,则每一节点有,n,-1,个输入和,1,个输出,10/28/2026,18,2,神经网络结构及工作方式,NN,的工作过程,主要分为两个阶段：,第一阶段是学习期,此时各计算单元状态不变，各连线上的权值通过学习来修改,第二阶段是工作期,此时连接权固定，计算单元状态变化，以达到某种稳定状态,从,作用效果,看，前馈网络主要是,函数映射，可用于模式识别和函数逼近,按对,能量函数的所有极小点利用情况,，可将,反馈网络分：,一类是能量函数的所有极小点都起作用,主要用做各种联想存储器,另一类只利用全局极小点,主要用于求解优化问题,10/28/2026,19,3,、神经网络的学习方法,神经网络的学习方法涉及到,学习方式,和,学习规则,的确定,不同的学习方法其学习方式和学习规则是不同的,10/28/2026,20,1,学习方式,通过向环境学习获取知识并,改进自身性能,是,NN,的一个重要特点,在一般情况下，,性能的改善,是按某种,预定的度量,通过调节自身参数（如权值）随时间,逐步达到,的,按环境提供,信息量,的多少，学习方式有三种：,监督学习（有教师学习）,需要外界存在一个“教师”，他可对给定一组输入提供应有的输出结果（正确答案），这组已知的输入,输出数据称为,训练样本集,，学习系统（,NN,）,可根据已知输出与实际输出之间的,差值（误差信号）来调节系统参数,10/28/2026,21,1,学习方式,监督学习（有教师学习）,环境,教师,学习系统,输入,实际,响应,应有,响应,误差信号,-,+,10/28/2026,22,1,学习方式,非监督学习（无教师学习）,非监督学习时不存在外部教师，学习系统完全按照环境提供数据的某些统计规律来调节自身参数或结构（这是一种,自组织过程,），以表示出外部输入的某种固有特性（如聚类或某种统计上的分布特征）,环境,学习系统,输入,10/28/2026,23,1,学习方式,再励学习（强化学习）,这种学习介于上述两种情况之间，外部环境对系统输出结果只给出评价信息（奖或惩）而不是给出正确答案,学习系统通过强化那些受奖的动作来,改善自身的性能,环境,学习系统,输出,输入,评价,动,作,状,态,10/28/2026,24,2,学习规则,误差纠正学习,令,y,k,(,n,),为输入,x,k,(,n,),时，神经元,k,在,n,时刻的实际输出，,d,k,(,n,),表示应有的输出（可由训练样本给出），则,误差信号,可写为：,e,k,(,n,)=,d,k,(,n,),y,k,(,n,),误差纠正学习的最终,目的,是使某一基于,e,k,(,n,),的目标函数达到,最小,，以使网络中的每一输出单元的实际输出在某种统计意义上逼近应有输出,一旦选定了目标函数形式，误差纠正学习就变成了一个典型的,最优化,问题，最常用的目标函数是均方误差判据，定义为误差平方和的均值,其中,E,为,求期望算子,，上式的前提是被学习的过程是,宽平稳,的,具体方法可用,最优梯度下降法,10/28/2026,25,2,学习规则,误差纠正学习,直接用,J,作为目标函数时需要知道整个过程的统计特性，为解决这一问题，常用,J,在时刻,n,的瞬时值,(,n),代替,J,：,问题变为求,（,n,）,对权值,w,的极小值，据梯度下降法可得：,w,kj,=,e,k,(n)x,j,(n,),其中,为学习步长，这就是通常所说的,误差纠正学习规则,（或称,delta,学习规则,）,在自适应滤波器理论中，,有,对,此,学习的收敛性,的,深入分析,10/28/2026,26,2,学习规则,Hebb,学习,由神经心理学家,Hebb,提出的学习规则可归纳为,“当某一突触（连接）两端的神经元同步激活（同为激活或同为抑制）时，该连接的强度应为增强，反之应减弱”,数学方式：,w,kj,(n,),=,F(y,k,(n),x,j,(n,),式中,y,k,(,n,),，,x,j,(,n,),分别为,w,kj,两端神经元的状态,最常用的一种情况是：,w,kj,=,y,k,(n)x,j,(n,),由于,w,kj,与,y,k,(,n,),，,x,j,(,n,),的相关成比例，有时称为,相关学习规则,10/28/2026,27,2,学习规则,竞争（,Competitive,）,学习,在竞争学习时，网络各输出单元互相竞争，最后达到只有一个,最强者激活,，最常见的一种情况是输出神经元之间有,侧向抑制性连接,，这样原来输出单元中如有某一单元较强，则它将获胜并抑制其它单元，最后只有此强者处于激活状态,最常用的竞争学习规则可写为：,若神经元,j,竞争获胜,若神经元,j,竞争失败,10/28/2026,28,2,学习规则,竞争（,Competitive,）,学习,具,有侧向抑制性连接的竞争学习,网络,x,1,x,2,x,4,x,3,输,入,层,输,出,层,10/28/2026,29,3,学习与自适应,当学习系统所处,环境平稳时（统计特性不随时间变化）,，从理论上讲，通过监督学习可以学到环境的统计特性，这些,统计特性,可被学习系统（神经网络）作为,经验记住,如果环境是,非平稳的（统计特性随时间变化），,通常的监督学习没有能力跟踪这种变化，为解决此问题，需要网络有一定的,自适应能力,，此时对每一个不同输入都作为一个新的例子来对待,10/28/2026,30,3,学习与自适应,模型（即,NN,）,被当作一个,预测器,，基于前一个时刻输入,x,(,n,-1),和模型在,(,n,-1),时刻的参数，它估计,n,时刻的输出,x,(,n,),x,(,n,),与实际值,x,(,n,),（,作为应有的正确答案）比较，其差值称为“,信息,”，如信息,e,(,n,)=0,，,则不修正模型参数，否则应修正模型参数以便跟踪环境的变化,-,纠正,信号,e(n),比较器,模型,z,1,输入信号,x(n),输出信号,单位,延时,x(n,-,1),预测,X(n),10/28/2026,31,4,前馈神经网络,1,前馈神经网络结构,由反向传播算法,BP,训练的多层前馈神经网络，是神经网络分类器中最普遍最通用的形式,已经证明：,由一个单隐层和非线性兴奋函数组成的多层前馈神经网络，是通用的分类器,这样的网络能,逼近任意复杂的决策边界,这并不意味着能得到零误差,类经常是重叠的，所以，通过极小化由于错误分类导致的误差而得出的,分类结果不能产生零误差 自学,10/28/2026,32,1,前馈神经网络结构,代表待识别模式的输入矢量输入至输入层，并传至后面的隐含层，最后通过连接权输出到输出层,网络中每个神经元通过求输入权值和及经非线性兴奋函数传递结果来工作，其,数学描述,：,这里,out,i,是所考虑层中第,i,个神经元的输出；,out,j,是前一层第,j,个神经元的输出。对非线性激励函数,的使用有几种常用形式，其中常采用前面介绍过的,Sigmoid,函数,：,自学,10/28/2026,33,1,前馈神经网络结构,训练阶段,调整网络权值以表现问题域,自学,f,1,输出的,误差,调整权值来,极小化误差,输出结果,输出神经元,训练数据,特征矢量,输入,神经元,权值,（自适网络参数）,隐含层神经元,（意义修改输入值）,f,2,f,3,f,N-1,f,N,10/28/2026,34,1,前馈神经网络结构,预测阶段,权值固定预测计算出结果,自学,测试数据,f,N,f,N-1,f,3,f,2,f,1,固定权值,（在训练阶段获得）,预测输出结果,10/28/2026,35,2,利用,BP,算法进行网络训练,度量网络收敛到其期望值的程度：,定义,网络误差,权值的误差函数,负梯度指向误差函数减小最快的方向,网络迅速收敛，,但,不,能,因调整过度而振荡,有动量项的反向传播训练公式,是纯梯度算法的变形之一，目的在于,提高算法迅速收敛的能力,在反向传播算法中有许多变形，,但,绝大部分来自于,经验,自学,10/28/2026,36,Hopfield,神经网络,1,神经联想记忆,按内容存取记忆,联想记忆,，也被称作按内容存储记忆（,CAM,）,联想记忆可分为,自联想,和,异联想,两种形式,联想记忆也可分为,前馈,和,回归,两种形式,Hopfield,网络，或许是最为著名的,回归,并且是,自联想,神经网络记忆,自学,10/28/2026,37,2 Hopfield,网络,Hopfield,网络是一个,单层回归自联想记忆网络,将记忆用,能量函数（,Lyapunov,）,来表示，并且在每个处理单元（神经元）中引入了,异步工作方式,显著特点,就是：许多已有的结构，不管是信息处理单元还是信息存储单元，都是并行工作的,但,从信息处理的角度看，,虽,支持并行分布信息存储，但是信息处理并不是真的以并行方式进行,优点,是：通常的神经网络要求在所有的时间里，每一个处理单元都要有整个网络的全局信息，而,Hopfield,网络就减少了这种要求,自学,10/28/2026,38,2 Hopfield,网络,Hopfield,联想记忆模型,迭代过程,为不断地从一顶角转向具有,更小能量的另一顶角,，直至稳定于具有,最小能量,的一个顶角,与之相对应，,连续,的,Hopfield,联想记忆模型,迭代过程,，从一个起始状态到另一个,全局极小值（预存状态）,来穿越超空间,当所有的神经元都被访问到，并且没有神经元再改变状态时，就认为网络已经收敛,自学,10/28/2026,39,6,Kohonen,自组织神经网络,是一种,典型的无导师学习的自组织神经网络,是,数据聚类的一种基于竞争的网络结构,也称为,Kohonen,特征映射网络,Kohonen,特征映射自组织网络,10/28/2026,40,Kohonen,网络通过,自组织特征映射的算法,不断自动地调整调整连接权,最后由稳定的优胜神经元产生输出,网络的联结强度,W,由自组织学习算法最终的结果确定,第个输出获胜神经元在,t,时刻的输出为：,10/28/2026,41,Kohonen,网络自组织映射算法的实现过程如下：,定义一个输入向量与,神经元接收到反馈信息加权值之间的,相似性度量,选定,输入向量与输出神经元所有连结权之间的相似度度量最大的为,获胜输出单元,更新获胜神经元的权值和,获胜神经元周围的,邻域中所有单元的权值,不断自动地调整连接权,最后,由稳定,的优胜,神经元产生输出,10/28/2026,42,