第11章-人工神经网络.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,11.1,引言,研究模式识别与人工智能的两个方面,自顶向下：从实际的功能出发,自底向上：模拟人脑,人工神经网络与传统模式识别相同点,要解决的问题是相同的,人工神经网络的不同点,计算是体现在一种网络结构中实现的,网络结构中的参数是通过学习而逐渐修正的,引言,人工神经网络发展,1943,年，心理学家,McCulloch,和数学家,Pitts,，形似神经元的数学模型；,1949,年，心理学家,D.O.Hebb,，神经网络的学习准则，为神经网络的学习奠定了基础,20,世纪,50,年代末，,Rosenblatt,，感知器模型,1969,年，,Minsky,和,Papert,，,感知器,进入低谷,引言,人工神经网络发展,1982,年，,Hopfield,，神经网络的数学模型,能量函数概念，网络的动力学特性,电子线路实现这一网络方案,1986,年，,Rumelhart,和,LeCun,，多层感知器的反向传播算法,11.2,人工神经元,人工神经元网络的组成,基本组成部分,:,结点和网络,11.2,人工神经元,11.2,人工神经元,结点,作为人工神经元网络的结点是仿照生物细胞结构而造出的,典型的结点模型是,1940,年提出的,McCulloch-Pitts,模型,人工神经元,结点,这种模型所实现的功能正是前面提到的线性分类器。,非线性的映射单元,人工神经元,结点,几十年来，结点模型变化不大,主要的变化是所使用的非线性映射函数,非线性映射函数,:,如,S,型，高斯型,S,型函数,(0,1),(-1,1),Sigmoid,函数,人工神经元,Sigmoid,函数,人工神经元,S,型函数好处,非线性,单调性,无限次可微,当权值很大时可近似阈值函数,当权值很小时可近似线性函数,使用哪一种非线性函数取决于具体的网络结构及应用,而使用,McCulloch-Pitts,模型只能实现二值的映射,人工神经元,人工神经网络：也就是结点之间的连接,人工神经元网络之所以能有许多复杂的功能，主要体现在将这些结点组合成网络,将执行最简单计算的结点组合起来，实现复杂的运算，这就是人工神经元网络最根本的特点,而之所以能将简单的运算组合成复杂的运算，最主要是一条是结点的运算中具有的非线性映射,有了结点运算的非线性映射，才使得人工神经元网络作为一个整体能实现复杂的非线性映射功能,能够实现任意复杂的函数,人工神经元,人工神经网络,人工神经元网络的成功体现在通过学习机制确定参数这一点,感知准则函数方法在人工神经元网络中就是单层感知器,学习确定网络各参数则成为人工神经元网络确定参数的最基本方法,神经网络为什么会实现复杂计算,感知器,(perceptron),感知器,:,感知准则函数方法设计的分类器,只能实现对两类样本的线性分类或者说他只能将特征空间用线性函数划分成两个区域,f(x),是,x,的一个线性函数,McCulloch-Pitts,模型中的阈值函数，可以写成,人工神经元网络工作原理,复杂一些的判别函数,将特征空间划分成两个区域,两条射线组成的折线来划分,在折线的一边为,y=1,，在折线的另一边,y=0,显然用一个神经元是不行,人工神经元网络工作原理,复杂一些的判别函数,整个空间将因这两个函数值的极性不同分成四个区域,y=0,这个区域所具有的特点是 与 都小于零,需要增加一个逻辑运算才能解决问题,三个运算可以通过三个神经元结点,人工神经元网络工作原理,复杂一些的判别函数,Whereas a two-layer network classifier can only implement a linear decision,boundary,given an adequate number of hidden units,three-,four-and higher-layer,networks can implement arbitrary decision boundaries.The decision regions need not,be convex or simply connected.,From:Richard O.Duda,Peter E.Hart,and David G.,Stork,Pattern Classification.Copyright c 2001 by John Wiley&Sons,Inc.,人工神经元网络工作原理,人工神经元网络的工作原理与特点：,(1),人工神经元网络由数量较多的结点,(,每个结点是一个神经元,),以适当的方式相互连接组成，每个结点的输入可以是输入数据的某一个分量，也可以是其他结点的输出。,(2),每个结点都执行简单的两步运算：对输入信号实现加权和；对加权和执行非线性映射。,(3),由于结点之间的相互连接，可实现对简单运算的组合，而实现复杂的运算。,(4),人工神经元网络实现各种功能取决于所采用的结点间连接方式以及每个结点的参数值的选择。,11.3,前馈网络,感知器的局限性,解决不了异或,(XOR),或奇偶校验,如果在输入端与输出结点之间引入隐含层，则上述一些运算的执行就不成问题,问题在于在人工神经网络研究的早期，人们还不知道如何用训练方式确定含隐含层结点网络的所有参数,1985,年前后分别发表了基于误差回传的训练算法，从而在原理上解决了多层网格的训练问题,前馈网络,多层前馈网络的结构特点及基本功能,结构特点是将结点分层安排,处于最低层的输入端子从外界接收输入信号，并将输入信号各分量经过不同加权往送第一隐含层,该层的运算结果又依次送往其高一层，直至输出层,前馈网络,多层前馈网络的结构特点及基本功能,由于在这种网络中信息具有沿单方向传送的特点，因此被称为前馈网络。,习惯上把含有一个隐含层的网络称为两层网络,前馈网络,多层前馈网络的结构特点及基本功能,前馈网络,前馈网络学习的任务,已知网络的结构,即，网络层数和每层结点个数,已知结点的数学模型,非线性函数的数学模型,问题,:,确定各个结点之间的连接系数,W,ij,利用训练样本,使得经验误差最小,前馈网络,:,反向传播算法,反向传播算法基本思想,(1),设计一个代价函数作为迭代学习过程的目标函数。,(2),利用代价函数对各参数的偏导数来确定各参数的修正量。,(3),利用网络计算的分层结构导出计算的分层表示函数,前馈网络,:,反向传播算法,反向传播算法基本思想,误差回传算法是一种通过迭代求优化解的方法。,其根本目的是使输出与输入之间的实际映射关系与所期望的映射关系一致。,因此首先要确定一个衡量上述关系一致性的代价函数，然后找到各参数值的变化对代价函数所起的作用，从而沿使代价函数值递降的方向调整各个参数值。,前馈网络,:,反向传播算法,反向传播算法,经验风险最小化训练方法,1,正向计算输出,2,计算实际输出和期望输出之间的误差,3,计算梯度,4,计算修改量,5,判断是否继续迭代还是结束,前馈网络,:,反向传播算法,1,正向计算输出,前馈网络,:,反向传播算法,2,计算实际输出和期望输出之间的误差,前馈网络,:,反向传播算法,3,计算梯度,前馈网络,:,反向传播算法,4,计算修改量,前馈网络,:,反向传播算法,4,j,的计算,如果节点,j,是输出单元,前馈网络,:,反向传播算法,4,j,的计算,如果节点,j,不输出单元,前馈网络,:,反向传播算法,4,f,(,net,k,),的计算,对于,sigmoid,函数,前馈网络,:,反向传播算法,4,修改量的惯性项,为了加快收敛速度，加上前一次的权值修正量,前馈网络,:,反向传播算法,达到全局最优,5,判断是否继续迭代还是结束,迭代次数最大,