哈工大智能控制神经网络课件第十一课神经网络系统辨识doc资料.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,人工神经网络理论及应用,屈桢深,哈尔滨工业大学,11.神经网络系统辨识,系统辨识应用,控制系统的分析和设计,自适应控制：,辨识器作为被控对象的模型，,调整控制器参数，获得较好的控制效果,建立辨识系统的,逆模型,，作为控制器,预测、预报：,建立时变模型，预测其参数，以实现系统参数的预测、预报。,监视系统运行状态,，进行故障诊断,神经网络,解决非线性系统的离线/在线辨识问题,主要内容,系统辨识理论基础,神经网络系统辨识原理,NN线性模型辨识,NN非线性模型辨识,NN逆模型辨识,系统辨识理论基础,定义：,在输入/输出数据基础上，从一组给定模型类中确定一个所测系统等价的模型。,辨识三要素：,输入/输出数据,模型类(系统结构),等价准则 e.g.,符号,P,:待辨识系统；辨识系统模型,u,:输入,y,:输出；辨识模型产生的输出；,w,:实际参数；辨识参数,k,:采样时刻,J,:指标函数,v,:输出噪声,h,:数据向量,：神经元作用函数,系统辨识问题表述,以SISO离散动态系统为例,u,(,k,),y,(,k,),是输入/输出时间序列(观测量),根据观测量确定模型 ，使指标函数最小,模型辨识结构,),(,k,y,),(,k,u,),(,k,e,+,),(,k,n,-,),(,NN,P,学习算法,P,误差准则,(1)输出误差,(2)输入误差,(3)广义误差,表达形式？,辨识主要步骤,确定辨识输入/输出数据,输入信号形式,采样周期,辨识时间(辨识数据长度）：足够长,模型结构辨识,模型参数辨识,模型检验,输入信号满足条件,充分激励原理：输入信号必须激励系统的所有动态；,激励时间充分长；,输入信号形式：,白噪声序列(均匀分布，正态分布)；,二进制伪随机码(M序列和逆M序列)；,系统模型及逆模型辨识,基于神经网络的系统辨识,选择适当的神经网络作为被辨识系统,P,的,模型,及逆模型,辨识过程,所选的网络结构确定后，在给定的被辨识系统输入输出观测数据下，网络通过学习（训练），不断的调整权系值，使得准则函数为最优。,NN辨识结构,模型辨识 逆模型辨识 逆模型辨识(2),y,(,k,),k,u,(,k,),-,),(,k,e,+,),(,k,n,1,(,NN,),P,-,学习算法,P,),(,k,y,),(,k,u,),(,k,e,+,),(,k,n,-,),(,NN,P,学习算法,P,),(,k,y,+,),(,k,n,),(,k,r,-,),(,k,e,),(,1,NN,P,-,学习算法,P,NN辨识,系统辨识通常先离线，获得比较合适的初值，再在线，实时辨识时变参数；,NN控制系统中，系统辨识是以系统在闭环控制下所得观测数据进行，因此是在线；,时变系统，多考虑在线辨识,动态系统辨识常用NN:时延NN,线性DTNN:,非线性DTNN:,),(,k,y,),(,m,k,u,-,W,+,1,-,z,),(,k,u,1,-,z,TDL,M,动态系统辨识常用NN:输出反馈NN,线性OFNN:,非线性OFNN:,局部递归网络,两种辨识结构,并联型:串-并联型:,+,u,y,e,_,),(,NN,P,P,u,y,+,e,_,),(,NN,P,P,下面首先介绍线性动态系统的辨识,线性系统差分方程模型,线性系统差分方程模型：ARMA,线性系统脉冲响应模型,线性系统Z传函模型,线性系统Z传函模型(续),为时域模型，由状态方程和输出方程组成：,线性系统离散状态空间表达式,随机模型,v,为零均值不相关的随机噪声,CARMA模型,线性系统差分方程模型：随机系统,确定性系统NN辨识,讨论SISO系统ARMA模型,并联型,串-并联型,均取指标函数：,学习算法：,确定性系统NN辨识改进算法,引入加权因子，此时,可取,则参数估计更新：,如,R,(,k,),满足 不正交，则,无论,w,初值如何选，参数估值大范围一直渐进收敛,线性系统NN辨识示例(1),演示,随机系统NN辨识,第一类,h,(,k,)和,v,(,k,)不相关；,h,(,k,)协方差阵为常数阵，且和,w,(,k,)不相关；,输入噪声,s,(,k,)和,h,(,k,),v,(,k,)统计独立；,第二类,h,(,k,)和,v,(,k,)相关；,第三类,h,(,k,)和,v,(,k,)相关,和,w,(,k,)相关；,随机系统NN辨识,对于第一类随机系统，且输入不含噪声时，,可得到参数渐进无偏估计,对于输入含噪声的第一类和第二类随机系统，只能得到有偏估计。,改进算法(对含输入噪声的第一类随机系统),噪声模型,则改进算法,是无偏的,线性系统NN辨识示例(2),演示,非线性系统动态模型,并联型结构,串-并联型结构,两种结构图示,(a)(b)(c),辨识实例I问题描述,辨识实例I模型结构确定,辨识实例I两个单轴辨识,辨识实例I两轴辨识,辨识实例I训练结果,辨识实例I方法比较,辨识实例II,演示,线性系统的逆模型与辨识,SISO,系统,Z,传递函数一般式：,d,n,n,m,m,z,z,a,z,a,z,a,z,b,z,b,z,b,b,z,A,z,B,z,P,-,-,-,-,-,-,-,+,+,+,+,+,+,+,+,=,=,L,L,2,2,1,1,2,2,1,1,0,1,),(,),(,),(,d,d,n,i,i,m,i,i,z,z,P,z,z,s,z,p,b,-,-,=,-,=,-,=,-,-,=,),(,),1,(,),1,(,0,1,1,1,1,0,b,0,：增益；,d,：时延阶数；,p,i,、,s,i,：,Z,平面上的零点、极点。,若系统的全部极点在单位圆内，则系统是稳定的，,有界的输入,u,(,k,),产生有界的输出,y,(,k,),。,这里只讨论稳定系统的逆。,最小相位系统的逆,非最小相位稳定系统的逆,若系统至少有一个零点或极点位于平面单位圆,外,，或具有时延，称非最小相位系统。,若,),(,z,P,是非最小相位的、在单位圆外无极点、有零点，且,0,=,d,，则,),(,),(,0,z,P,z,P,=,是稳,定的，但其逆是不稳定的，因在单位圆外有极点。,得到系统逆的方法：,将,),(,/,1,z,P,展开，取其因果能实现部份，得到,近似逆,；,其中 包含所有时延和所有在单位圆外的零点，称为非最小相位的部分。,此时只能得到近似逆,神经网络逆模型辨识,讨论时延且稳定系统的,逆模型辨识。,用系统输入输出,),(,),(,k,y,k,u,，最优化准则函数：,min,),(,2,1,),(,),(,2,1,),(,2,2,=,=,-,=,k,e,k,u,k,u,k,E,e,(,k,),：,输入误差,根据逆模型：,求得逆模型参数,的估计：,神经网络线性逆模型辨识示例,演示,非线性系统逆模型,非线性系统逆模型(2),神经网络逆模型辨识,直接逆模型辨识,系统逆模型辨识,模型辨识逆模型辨识,系统模型辨识逆模型辨识,直接逆模型辨识,y(k+d),系统逆模型辨识,y,u,r,e,-,),(,1,NNII,P,d,-,学习算法,P,模型辨识逆模型辨识,-,y,y,r,),(,1,NNII,P,d,-,),(,P,NNI,P,系统模型辨识逆模型辨识,NN逆模型辨识示例,演示,逆系统深入示例I,逆系统深入示例II,逆系统深入定义,逆系统深入SISO系统可逆性,逆系统深入辨识步骤,(1),获得训练样本,u,y,；,(2),使用数值微分方法求输出导数；,(3),确定神经网络输入。输入应进行归一化处理,(4),训练神经网络。可用2/3左右数据训练，1/3左右数据测试。,逆系统深入辨识实例,附：NN辨识学习算法证明,基本思想,：构造Lyapunov函数，证明,证明：令,取Lyapunov函数,证明后两项0,附：NN辨识学习算法证明(续),注意到,因此有,若使 ，则,即有,参考文献,徐立娜,神经网络控制,Narendra,K.S.,and S.Mukhopadhyay,“,Adaptive Control Using Neural Networks and Approximate Models,”,IEEE Trans.NN,Vol.8,1997,475-485.,K.S.Narendra and K.Parthasarathy,“,Gradient methods for the optimization of dynamical systems containing neural networks,”,IEEE Trans.NN,vol.2,1991,252262,戴先中,多变量非线性系统的神经网络逆控制方法,科学出版社，2005,