神经网络控制及其应用.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,神经网络控制与模糊控制及其应用,主讲：卢泽生,实际是自动控制理论在机械制造领域的应用的一部分，最为热门和广泛应用的一部分,自动控制是在没有人直接参与的状况下，通过控制系统是被控对象自动地按照预定规律运行的控制过程。,自动控制系统是由互相联络、互相依赖、互相作用的若干部分构成，具有控制功能的有机整体。,被控对象是指工作状态需要给以控制的装置、设备和过程。,给定量也称控制量，表征被控量的但愿运行规律，也是系统的输入量。,扰动量也称干扰量，是引起被控量偏离预定运行规律的量。,从控制理论上而不是控制措施上说控制理论重要分两大类经典控制理论和现代控制理论。,经典控制理论是以传递函数为理论基础，处理单输入、单输出的线性控制系统的分析与设计问题。,现代控制理论重要是以状态方程或模糊数学、神经网络等为理论基础，处理多输入多输出的非线性时变控制系统的分析与设计问题。,基本概念,时变系统是指其方程的系数是时间的函数，如宇宙飞船的控制系统，由于飞船的然联消耗和引力的变化都是时间的函数。,系统是由互相联络、互相依赖、互相制约和互相作用的若干部分构成，具有某种特定功能的有机整体。,控制系统是由互相联络、互相依赖、互相制约和互相作用的若干部分构成，具有某种控制功能的有机整体。,自动控制系统的分类,按系统构成的物理性质分,电气控制系统；机械控制系统；流体控制系统；电气流体控制系统,按系统的数学模型（微分方程）的性质分,线性定常系统；,线性时变系统；,按给定量的变化规律分,恒值控制系统；程序控制系统；随动控制系统,按输入、输出信号持续性分,持续系统；离散系统,按控制量参数的性质分,速度控制；位置控制；力和力矩控制；混合变量控制等系统,按系统有无反馈信号分,开环系统；闭环系统,线性系统,非线性系统,神经网络控制及其应用,1 神经网络控制产生的背景,自动控制面临着两个方面的技术问题,（1）控制对象越来越复杂，存在着多种不确定（随机性）和难以确切描述的非线性。,（2）对控制系统的规定越来越高，迫切规定提高控 制系统的智能化水平，即系统具有逻辑思维和推理判断的能力。,神经网络为处理和处理上述问题提供了一条新的途径,（1）神经网络源于对脑神经的模拟，因此具有很强的适应,于复杂环境和多目的控制规定的自学习能力。,（2）具有以任意精度迫近任意非线性持续函数的特性。,神经网络的应用,航空:高性能飞行器自动驾驶、飞行途径模拟、飞行部件模拟、飞行部件故障检测,汽车:,汽车自动导航仪,国防:武器操纵、目的跟踪、面部识别、雷达 和图像信号处理、新型传感器、声纳,制造：,生产流程控制、过程和机器诊断、机器性能分析、化工流程动态建模、项目投标,机器人：,轨道控制、操作手控制、视觉系统,语音：,语音识别、语音压缩,尚有金融、保险、银行、医疗、交通、电讯、电子、石油天然气、有价证券、娱乐等行业。,3 生物学的启示,轴突,突触,细胞体,树突,图,1,生物神经元的简图,4 人工神经元,j=1,2m,i=1,2n,y,j,Q,j,X,n,X,2,f,X,1,图,2,单神经元结构图,输入,输出,轴突,细胞体,树突,树突,为简便起见，也可把网络的阈值以连接数值的形式表达出来，即令，则,式中 为其他神经元传至本神经元的输入信号，,神经元j的阈值，此阈值决定了该神经元的兴奋与否；,表达从神经元i到神经元j的连接权值；,称为鼓励函数（也有称为响应函数或传播函数）。,权值表达相邻的神经元互相连接的程度,阈值即决定神经元的兴奋与否，决定兴奋与克制,鼓励函数可为线性函数也可为非线性函数。它是用来实现输入对输出函数关系的静态映射，它决定了神经元的单元特性。,常用的神经元非线性函数,x,1,0,f(x),图3 阶跃函数,f(x),x,1,-1,图,4 sgn,函数,1,=1,f(x),0,x,=0.2,=5,图5 S状函数,（,1,）阶跃函数,（,2,）,Sgn,函数,（,3,）,S,状函数,4 神经网络模型的构成,4.1神经网络连接的构造形式,输出层,输入层,隐含层,神经元,y,n,y,2,y,1,X,n,X,2,X,1,图,6,前向网络,神经元,网络中神经元是分层排列，每个神经元只与前一层的神经元相连接，分为,输入层,，,隐含层,（一层或多层）和,输出层,。,（,1,）前向网络,（,2,）反馈前向网络,网络自身是前向型，但从输出到输入有反馈。,y,n,y,2,y,1,X,n,X,2,X,1,图,7,反馈前向网络,图,8,互连网络,（,3,）互连网络,任意两个神经元之间都也许有连接，因此输入信号,要在神经元之间反复来回传递。,4.2BP网络的构造,BP网络是一单向传播的多层前向网络，其构造图如图6所示BP网络可当作是一从输入到输出的高度非线性映射网络。,（1）输入层神经元数,（2）隐含层神经元数,（3）隐含层数确实定,（4）输出层神经元数确实定,BP网络各层的神经元数（即节点数）及隐含层层,数确实定如下：,5 神经网络的学习,当神经网络的构造确定之后，关键问题是设计,一种学习速度快，收敛性好的学习算法。,规定网络自身必须具有学习功能，即可以从示,教模式的学习中逐渐调整权值，使网络整体具有近,似函数或处理信息的功能。,（,1,）有教师学习,（,2,）无教师学习,5.1网络学习方式,广泛应用的有教师学习的算法,BP,（,Back Propagation,）算法,BP算法即是误差反向传播算法，该措施已成为神经网络学习中最常用的措施之一。BP算法一般是应用梯度下降原理，样本输入信号在神经网络中正向传播，应用了多层前向神经网络具有的以任意精度迫近非线性函数的能力。而网络输出与样本给定输出值之差（误差）在网络中是反向传播，用于网络的权值的训练。,输出层L,C,隐含层L,B,输入层L,A,W,pq,W,pj,W,p1,W,iq,W,ij,W,i1,W,1q,W,1j,V,np,V,ni,V,n1,V,hp,V,hi,V,h1,V,1p,V,1i,W,11,V,11,a,1,a,h,a,n,b,1,b,i,b,p,c,1,c,j,c,q,图9 基本BP网络的拓扑构造,5.2网络的计算,对BP控制网络进行训练时，首先要提供训练样本，样本可以形式化为样本对或称模式对()其中Ak为第k个样本的输入模式()Ck为但愿输出模式()它们分别对应于LA层的n个神经元和Lc层的q个神经元。,当网络的实际输出与但愿输出一致时，学习过程结束。否则学习系统将根据实际输出和但愿输出之间的误差，通过调整连接权值使网络的实际输出趋向于但愿输出。,BP,网络样本输入学习算法程序框图如图,10,所示。并以图,11,三层（,L,A,，,L,B,，,L,C,）,BP,神经网络为例进行学习过程的演示,。,结束,输入学习样本,求隐含层、输出层神经元的输出,计算实际输出值与目标值的误差,误差满足要求？,反向计算调整权值和阈值,Y,N,初始化,三层BP神经网络拓扑构造,W,11,V,11,b,1,W,12,W,32,W,31,W,22,W,21,V,23,V,22,V,21,V,13,V,12,U,2,=1,U,1,=1,a,1,a,2,b,2,b,3,c,1,c,2,0,4,0,4,图11 三层BP神经网络拓扑构造,BP三层神经网络学习算法多种参数及计算公式见表1。,层名,学习训练环节如下：第1步：网络初始化输入层LA到隐含层LB的权值矩阵为,隐含层,L,B,到输出层,L,C,权值矩阵为,隐含层,L,B,各神经元阈值为,输出层,L,C,各神经元阈值为,以一种样本对即k=1为例，样本输入 ，,样本输出 。,第,2,步：样本正向输入，进行前向计算,输入样本为 ,其输入层的输出为a1和a2。,对于输入层，给定每个神经元的权值 为1，阈值,为0，其鼓励函数为S型函数，则,第,1,个神经元的输出值为,则,根据（,8,）式计算网络,L,B,层某一神经的加权输入为,b,i,的实际输出根据（,9,）式和（,26,）式为,根据（7）式求鼓励函数为S型状况下的b值为,则,根据（,5,）式 计算第k=1样本对L,C,层神经元的加权输入为,根据（,6,）式,求L,C,层神经元的实际输,出值,则,第,3,步：进行误差计算,根据（,14,）式 和样本期量值,进行输出层L,C,误差计算,则,通过给定的精度系数可判断输出层LC的误差值d与否满足规定，假如不满足，则需进行反向传播计算，通过修正权值和阈值使其迫近给定精度系数。,第,4,步：反向传播计算,（1）隐含层L,B,一般化误差的计算,根据（,19,）式,计算隐含层L,B,一般化,误差为,则,（,2,）隐含层,L,b,和输出层,L,c,权值的调整,根据（,20,）式 调整其,L,B,至,L,C,权值，则按学习步长（也称学习率）的范围：,给定 。,则,根据（,21,）式 调整,L,A,至,L,B,权值,则,按步长范围：,给定,则,（,3,）网络输出层,L,c,和隐含层,L,b,阈值的调整值计算,根据（,22,）式 调整L,c,层阈值,则,根据（,23,）式 调整,L,B,层阈值为,则,（,4）计算调整后的权值和阈值,隐含层LB至输出层LC的权值，由（25）和（34）式得,输入层,L,A,至隐含层,L,B,的权值，由（,24,）和（,35,）式得,输出层,L,C,阈值根据（,27,）和（,36,）式得,隐含层,L,B,阈值，根据（,26,）和（,37,）式得,通过上述计算在输出层LC的误差值d未满足精度规定的状况下，完毕了第1次权值和阈值的调整训练。经反向计算调整后需按程序框图12的流程和上述计算措施再计算输出层LC误差值d，其运算过程不再所有列出，只是直接给出将调整后LB层和LC层的输出值和误差值。,L,B,层的输出值,L,B,层的误差值,L,C,层的输出值,L,C,层的误差值,在此根据LC层的误差值d判断与否满足给定的精度系数，假如不满足再进行第2次的循环调整，再从第2步开始运行，后来为了简化只给出调整成果。,第,2,次循环调整,L,C,层至,L,B,层的权值调整,L,B,层至,L,A,层的权值调整,L,C,层阈值的调整,L,B,层阈值的调整,L,B,层的输出值,L,B,层的误差值,第,3,次循环调整,L,C,层至,L,B,层的权值调整,L,B,层至,L,A,层的权值调整,L,C,层阈值的调整,L,B,层阈值的调整,L,B,层的输出值,L,B,层的误差值,L,C,层的输出值,L,C,层的误差值,第,999,次循环调整,L,C,层至,L,B,层的权值调整,L,B,层至,L,A,层的权值调整,L,C,层的阈值为,L,B,层的阈值为,L,B,层的输出值,L,B,层的误差值,L,C,层的输出值,L,C,层的误差值,BP神经网络样本输入信号正向传播和误差反向传播的过程，就是在不停地调整权值和阈值的过程，可以使网络以任意精度迫近任意非线性函数，也就是伴随循环调整次数的增长，其输出层的误差值d在不停地减小，直至趋近于零，这是总的趋势，但不排除在训练过程中出现d值增大的现象，尤其是前些次调整，本例的最初几次调整,d值也许有所增大。产生这种现象的原因是网络学习训练过程中出现振荡现象。这与学习率 和 的取值有关，和 的值取的过大就会出现振荡现象。,基于,BP,神经网络线切割加工质量及效率控制,图12 线切割加工质量及效率控制神经网络拓扑构造,