基于集合卡尔曼-Elman网络的软测量建模方法.pdf
《基于集合卡尔曼-Elman网络的软测量建模方法.pdf》由会员分享,可在线阅读,更多相关《基于集合卡尔曼-Elman网络的软测量建模方法.pdf(11页珍藏版)》请在咨信网上搜索。
1、第 51 卷 第 8 期2023 年 8 月Vol.51 No.8August 2023华 南 理 工 大 学 学 报(自 然 科 学 版)Journal of South China University of Technology(Natural Science Edition)基于集合卡尔曼-Elman网络的软测量建模方法方港1 袁珑华1 王晓明2 李艳1 黄道平1 于广平3 叶洪涛4 刘乙奇1,5(1.华南理工大学 自动化科学与工程学院/自主系统与网络控制教育部重点实验室,广东 广州 510640;2.华南理工大学 未来技术学院,广东 广州 511442;3.广州工业智能研究院,广东
2、广州 511458;4.广西科技大学 广西汽车零部件与整车技术重点实验室,广西 柳州 545036;5.华南理工大学 广东省无人机系统工程技术研究中心,广东 广州 510640)摘要:污水处理系统是一个复杂的非线性、大时延的动态系统,由于工艺的复杂性、检测设备的不完备性以及经济成本的限制,一些重要的出水指标无法实现精准的检测。为解决此问题,文中提出了基于集合卡尔曼-Elman网络的软测量方法。传统动态神经网络具有能够处理时延信息数据的动态记忆能力,可用于基于数据驱动的软测量建模过程。但是,常规训练方法容易使神经网络陷入局部最小值,导致模型预测性能欠佳。鉴于此,文中引入集合卡尔曼滤波技术和对偶有
3、限样本集合卡尔曼技术对典型的动态神经网络Elman神经网络进行无梯度训练,构建新型软传感器模型,不仅有效提高了传统Elman神经网络的预测能力,而且提供了一种简单、无梯度的神经网络训练方法。将该方法在加州大学欧文分校的污水处理数据(UCI数据)上进行验证,结果表明,文中方法具有较好的预测性能,集合卡尔曼滤波技术可作为一种无梯度的替代方法来训练神经网络。关键词:软测量;集合卡尔曼滤波;Elman神经网络;污水处理中图分类号:TP 277文章编号:1000-565X(2023)08-0126-11软测量技术能够对工业过程中重要且难以在线测量的变量进行测量,并实现对过程变量的实时监控。近年来,随着人
4、工智能技术的发展,基于数据驱动的软测量技术被广泛应用于工业过程中,成为了先进过程控制技术的重要组成部分,也是化工领域中用于难测过程变量检测的常用技术1-2。基于数据驱动的软测量建模技术无需获取精确的机理模型,其通过对数据的深度分析构建易测变量和难测变量之间的数学模型,利用易测的辅助变量估计难测变量3。基于神经网络的软测量建模方法凭借其强大的非线性映射能力、网络拓扑结构和鲁棒性,以及不依赖于数学模型的特性,成为了软测量领域最为活跃的研究分支4-6。但是,强非线性、参数时变、多变量耦合使得利用传统前馈神经网络建立的模型存在检测不清、故障诊断不明和实时控制不准等问题。递 归 神 经 网 络(Recu
5、rrent Neural Network,RNN)的处理单元间既有内部的反馈连接又有前馈连接,具有动态记忆特性,能够处理具有时延信息的数据,从而具有比前馈神经网络更强的动态行为和计算能力7。作为最典型的RNN之一,Elman递归doi:10.12141/j.issn.1000-565X.220625收稿日期:20220926基金项目:国家自然科学基金资助项目(62273151,61873096,62073145);广东省基础与应用基础研究基金资助项目(2021B1515420003,2020A1515011057);广东省国际合作基金资助项目(2020A0505100024,2021A0505
6、060001)Foundation items:Supported by the National Natural Science Foundation of China(62273151,61873096,62073145),the Basic and Applied Basic Research Foundation of Guangdong Province(2021B1515420003,2020A1515011057)and the International Cooperation Foundation of Guangdong Province(2020A0505100024,2
7、021A0505060001)作者简介:方港(1997-),男,博士生,主要从事软测量建模研究。E-mail:通信作者:刘乙奇(1983-),男,博士,副教授,主要从事工业过程的建模、诊断和控制研究。E-mail:第 8 期方港 等:基于集合卡尔曼-Elman网络的软测量建模方法神经网络在水质软测量模型中得到了较好的应用8。关学忠等9 对污水处理厂曝气池中的化学需氧量(Chemical Oxygen Demand,COD)进行学习预测,证明了Elman网络对污水COD的预测能力优于反向传播(Back Propagation,BP)神经网络。然而,现有Elman神经网络的训练算法多采用时 间 反
8、 向 传 播(Back Propagation Through Time,BPTT)10、动量梯度下降(Gradient Descent with Momentum,GDM)和Levenberg-Marquardt(LM)11 等传统优化算法12。这些基于梯度下降的算法存在对初始值设置敏感、计算结果不稳定、易收敛到局部最优解和梯度消失等问题13-14,而卡尔曼滤波算法(Kalman Filter,KF)15 的提出为上述问题提供了一个解决思路16。Hao等17 采用基于扩展卡尔曼滤波器(Extended Kalman Filter,EKF)的神经网络训练方法,提高了传统神经网络的迭代收敛速度和
9、精度,但每次迭代计算量大。EKF方法采用一阶泰勒近似,需要计算雅克比矩阵,在局部非线性较强时容易引入较大的近似误差,导致滤波器失效,不利于并行计算18-19。为此,研究者们尝试引入集合卡尔曼滤波(Ensemble Kalman Filter,EnKF)以避免上述问题20-21。EnKF 是由 Evensen22提出的一种数据同化方法,适用于高维、非线性和非高斯状态估计问题21,目前在神经网络的参数优化领域得到了广泛应用。Legler 等23将 EnKF 与标准人工神经网络(Artificial Neural Network,ANN)相结合来优化浅水模型参数,减小了大气变量的状态误差,有效量化了
10、参数估计的不确定性,但其预测能力在实际数据的表现仍有待进一步研究。Mirikitani等24通过将EnKF与递归神经网络有序结合,验证了 EnKF在RNN的时间序列预测上具有很好的适用性。此外,Chen等25采用EnKF训练长短期记忆网络,将其作为捕获预测不确定性的无梯度替代方案。为避免雅克比矩阵的计算,并规避标准算法不适用于大型神经网络的难题,文中将 EnKF 引入Elman递归神经网络中更新网络参数,以期获得一种简单、无梯度的神经网络训练方法,提高软测量模型的预测性能。1Elman递归神经网络及其状态空间模型1.1Elman递归神经网络的基本架构神经网络是目前最常使用的软测量模型,文中采用
11、 Elman 递归神经网络进行动态非线性建模。Elman 网 络 也 称 为 简 单 递 归 神 经 网 络(Simple Recurrent Network,SRN),是一种典型的局部回归网络26。与前馈网络相比,Elman网络引入了一个特别的隐含层,称为关联层。关联层保存了上一时刻的隐含层状态信息,并与当前时刻的网络输入一起作用于隐含层,这相当于引入了状态反馈。这种内部反馈增加了网络动态特性,可实现动态建模。Elman网络一般分为4层:输入层U,隐含层R,承接层C和输出层Y。用WRU、WRC、WYR分别表示输入层到隐含层、承接层到隐含层、隐含层到输出层的连接权值矩阵。隐含层输出经单位时延后
12、作为下一时刻承接层的输入,即ck=vk-1,并经权值矩阵WRC作用到隐含层。给定k时刻的输入uk Rn,Elman网络的输出可以计算为vk=WRUuk+WRCvk-1(1)vk=fh(vk),vk RNh(2)yk=fo(WYRvk),yk Rm(3)式中,fh()为隐含层激活函数,fo()为输出层激活函数,n、Nh、m分别表示输入层、隐含层、输出层的结点个数。文中隐含层激活函数采用sigmoid函数fh(x)=11+e-x,输出层采用线性激活函数fo(x)=x。Elman神经网络引入的内部反馈增加了网络动态特性,便于动态建模,但同时也使模型结构变得复杂,训练时更易陷入局部最小值。训练Elma
13、n神经网络的方法较多,比较常用的有 BPTT 算法、GMD和LM算法等10-12。1.2动态状态空间建模递归神经网络、前馈神经网络、径向基函数(Radial Basis Function,RBF)神经网络等的学习问题本质上是参数优化问题,通过对模型参数(权值)的不断调整,使性能函数(如均方根误差)的值不断减小。将集合卡尔曼滤波技术引入神经网络中,本质上是把神经网络中各神经元之间的连接权值参数作为随机变量,即滤波器的状态,采用动态状态空间框架,随着时序k不断优化网络的参数,使得网络的目标输出与预测输出之间的均方误差逐渐减小,进而提高网络的训练精度。利用卡尔曼框架编写神经网络的状态空间模型如下:1
14、27第 51 卷华 南 理 工 大 学 学 报(自 然 科 学 版)xk+1=xk+rkzk=g(xk,uk)+vk(4)式中:xk为由权值参数所组成的状态向量;uk为输入向量;zk为模型输出;rk为过程噪声向量,假设rkN()0,Rk;vk为测量噪声向量,假设vkN()0,Vk;g()为神经网络函数,文中g()为Elman递归神经网络,也可以将其扩展到前馈神经网络(Feed Forward Neural Network,FFNN)、RBF等网络中。2基于集合卡尔曼滤波的Elman网络算法2.1基于基本集合卡尔曼滤波的 Elman 网络算法EnKF是一种基于随机采样的卡尔曼滤波方法,它通过随机
15、采样产生的粒子集来拟合状态分布,用粒子集的协方差信息代替系统协方差,简化了卡尔曼框架中协方差矩阵的分析过程。当新的数据到来时,EnKF对粒子集中的每个粒子进行更新,从而不断调整概率分布,因此,EnKF更便于实现。应用基本EnKF算法可以对Elman网络参数进行估计。对于式(4)的状态空间模型,基于EnKF滤波的Elman网络参数学习过程(EnKF-Elman)可整理为以下步骤。步骤1 由初始状态的均值和协方差随机采样生成由集成粒子xk,i Rn(n为状态维度)组成的粒子集:Xk=(xk,1,xk,N)Rn N(5)式中,N为集成粒子个数,Xk为k时刻的粒子集合。状态分布的均值Xk和协方差Pk可
16、以由这N个集成粒子来近似:Xk=1Ni=1Nxk,i=1NXk1N(6)Pk=i=1N(xk,i-Xk)(xk,i-Xk)T=1N-1XkXTk(7)式中:1N RN,是维度为N、元素均为 1 的列向量;Xk表示去均值后的粒子集合,Xk=Xk-1NXk1N1TN=Xk()I-1N1N1TN(8)步骤2 计算Elman模型的预测粒子集:xfk,i=f(xk,i)+rk=xk,i+rk(9)Yk,i=g(xfk,i,uk)+vk(10)分别用Xfk和Yk表示粒子转移状态xfk,i和粒子输出的组成矩阵:Xfk=(xfk,1,xfk,N)Rn N(11)Yk=(Yk,1,Yk,N)Rm N(12)步骤
17、3 粒子更新给定测量值zk Rm,其粒子集的更新方式如下:Xak=Xfk+PfkHTk()HkPfkHTk+Qk-1()zk1TN+k-Yk(13)式中:Hk为输出zk相对于网络权重xk的雅可比矩阵;k为施加在每个粒子xfk,i上的扰动观测向量所组成的扰动矩阵,它可以有效避免协方差矩阵Pfk的过度低估27;Pfk为粒子集Xfk的协方差,可由其去均值后的矩阵Xfk进行计算,具体计算方法可参照式(7)和(8),那么可将粒子集的更新方式写为Xak=Xfk+1N-1Xfk()HkXfkT()1N-1()HkXfk()HkXfkT+Qk-1()zk1TN-Yk(14)式中,Qk=1N-1T。式(14)的
18、更新需要计算Hk,更简便地,可以采用直接计算HkXk的方法28:HkXk=Yk-1NYk1TN=Yk()I-1N1N1TN(15)在实际应用中,为加快运算速度并避免矩阵求逆的问题,往往采用奇异值分解(Singular Value Decomposition,SVD)的方法进行计算27-28,即(HkXfk,)=UVT(16)此时,式(14)中的(HkXfk)(HkXfk)T+T)-1可以简化为()(HkXfk)(HkXfk)T+T-1=U-1VTVUT=U-2UT(17)这样,算法的编程实现可以更加高效、快速。EnKF根据测量数据循环迭代步骤2和3,不断调整粒子集分布,从而实现 Elman 网
19、络的参数更新。可以发现,EnKF只需要更新粒子集,因此有效解决了KF框架在计算和更新状态误差协方差时对计算资源需求量过大的问题;同时,其不需要求解和计算雅克比矩阵,易于实现,便于扩展。2.2基于对偶有限样本集合卡尔曼滤波的Elman网络算法相比EnKF-Elman,基于对偶有限样本集合卡尔曼滤波(Dual Finite-Size Ensemble Kalman Filter,D-EnKF-N)的Elman网络算法主要在于滤波器的不128第 8 期方港 等:基于集合卡尔曼-Elman网络的软测量建模方法同,其 采 用 的 是 D-EnKF-N 滤 波 器。在 介 绍D-EnKF-N滤波器前,先介
20、绍有限样本的集合卡尔曼滤波(Finite-Size Ensemble Kalman Filter,EnKF-N)方法。2.2.1有限样本的集合卡尔曼滤波方法EnKF-N本质上不需要像基本集合卡尔曼滤波一样引入扰动观测矩阵,其主要思想是:式(6)和(7)计算得到的集合均值和协方差与先验概率密度函数(Probability Density Function,PDF)的均值Xb和 误 差 协 方 差B不 匹 配;对 于 较 大 的 样 本(N ),它们是接近一致的,但由于采样误差的存在,对于较小的样本它们往往是不一致的。为此,EnKF-N在EnKF中提出了一种新的先验PDF,它是对所有可能的Xb和B
21、进行积分的结果:p(X|x1,xN)det|(X-X)(X-X)T+N(N-1)P-N 2(18)式中:det|表示矩阵的行列式;N是一个取决于先验分布假设的常数,如果集合均值X与Xb一致,则N=1,否则N=1+1N。由于预测先验公式(18)是非高斯的,需要通过类似于变分优化的最大似然滤波器进行分析29。在集合空间中,状态被向量wak RN参数化,使得xak=Xfk+Xfkwak(19)此时,EnKF-N的代价函数为J(w)=12()yk-Hk(Xk+Xkw)TQ-1k()yk-Hk(Xk+Xkw)+N2ln(N+wTw)(20)那么,式(19)中的wak可通过最小化式(20)得出:wak=m
22、inw(k-Yw)TQ-1k(k-Yw)+Nln(N+wTw)(21)其中k=yk-HkXk,Y=HkXfk。为了生成后验粒子集合,引入了一个转移矩阵,它将粒子集偏差Xk转移到下一个时间步:Wak=N-1(ak)-1 2VT(22)式中:VT为满足VT1N=1N的任意正交矩阵;ak为集合空间中的分析误差协方差矩阵,其计算方式为ak=YTQ-1kY+N()()N+wak2IN-2wak(wak)T()N+wak22(23)其中IN RN N为单位矩阵,Y=HkXfk。后验粒子集通过下述方式计算:Xak=xak1N+XfkWak(24)在此,将EnKF-N算法的步骤总结如下:1)前向滤波计算预测粒
23、子集Xfk;2)计算均值Xfk和去均值后的粒子集Xk;3)计算k=yk-HkXk和Y=HkXfk;4)计 算wak=minw(k-Yw)TQ-1k(k-Yw)+Nln(N+wTw);5)计算ak=YTQ-1kY+N()N+wak2IN-)2wak()wakT()N+wak22;6)计算Wak=N-1(ak)-1 2VT;7)更新粒子集Xak=xak1N+XfkWak。2.2.2基于D-EnKF-N的Elman网络算法原理尽管EnKF-N是成功且有效的,但为了将wak的大小wak与其方向自由度wakwak分离,以便与传统的EnKF建立更强的联系,一般将EnKF-N算法改写成对偶形式,称为对偶 E
24、nKF-N 算法30,即D-EnKF-N。D-EnKF-N的代价函数可写为D()=12Tk(Y-1YT+Qk)-1k+N2+N2ln()N-N2(25)因为D()是一个标量函数,式(25)的全局最小值很容易找到。变量与平方半径wak共轭,其可以看作是粒子集中有效自由度的数量。D()的最小值a可以通过在区间0,N/N上最小化以下对偶代价函数来实现31:a=min 0,N N12Tk(Y-1YT+Qk)-1k+N2+N2ln()N-N2(26)一旦计算出最小值a,就可以从类似式(21)的代价函数中获得对w的分析:J(w)=12(k-Yw)TQ-1k(k-Yw)+a2wTw(27)式(27)代价函数
25、的最优值wak为wak=(YTQ-1kY+aIN)-1YTQ-1k=(ak)-1YTQ-1k(28)式中,ak=YTQ-1kY+aIN。为避免矩阵求逆的问题,也可对ak进行奇异值分解,在此不再赘述。129第 51 卷华 南 理 工 大 学 学 报(自 然 科 学 版)此时,通过式(22)和(24)可对粒子集进行更新,详细信息可以参阅文献 31-32。D-EnKF-N与Elman网络相结合构建软测量模型的步骤总结如下。步骤1 基于Elman网络的状态空间方程计算预测粒子集Xfk;步骤2 计算均值Xfk和去均值后的粒子集Xk;步骤3 计算k=yk-HkXk和Y=HkXfk;步骤4 计算代价函数的最
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 集合 卡尔 Elman 网络 测量 建模 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。