高空直连试验台进气压力模拟系统DDPG前馈补偿智能控制.pdf
《高空直连试验台进气压力模拟系统DDPG前馈补偿智能控制.pdf》由会员分享,可在线阅读,更多相关《高空直连试验台进气压力模拟系统DDPG前馈补偿智能控制.pdf(12页珍藏版)》请在咨信网上搜索。
1、第40卷 第3期2 0 2 3 年 6 月沈 阳 航 空 航 天 大 学 学 报Journal of Shenyang Aerospace UniversityVol.40 No.3Jun.2 0 2 3高空直连试验台进气压力模拟系统DDPG前馈补偿智能控制齐义文1,李 鑫1,张 弛1,姜渭宇2(1.沈阳航空航天大学 自动化学院,沈阳 110136;2.北京动力机械研究所 控制中心,北京 100074)摘要:提出一种基于深度强化学习的高空直连试验台进气压力模拟系统前馈补偿控制方法。研究并给出深度确定性策略梯度(deep deterministic policy gradient,DDPG)前馈
2、补偿控制器的状态参数选取、动作输出设计、奖励函数设置等关键步骤,有效提高了前馈控制器的扰动感知能力,解决了单纯PID控制器主导所带来的智能体局部最优问题。仿真结果表明:与单一PID控制器相比,所设计的控制器在高空舱进气压力扰动和发动机流量扰动下,均实现了进气压力的无超调控制,且调节时间更短,验证了DDPG智能前馈补偿控制设计的快速性、稳定性和鲁棒性。关键词:高空直连试验台;进气压力模拟系统;前馈补偿控制;强化学习;深度确定性策略梯度中图分类号:V217+.21 文献标志码:Adoi:10.3969/j.issn.2095-1248.2023.03.006DDPG feedforward com
3、pensation intelligent control for intake pressure simulation system of high-altitude direct-connected test benchQI Yi-wen1,LI Xin1,ZHANG Chi1,JIANG Wei-yu2(1.College of Automation,Shenyang Aerospace University,Shenyang 110136,China;2.Control Center,Beijing Power Machinery Institute,Beijing 100074,Ch
4、ina)Abstract:A feedforward compensation control method for the intake pressure simulation system of high-altitude direct-connected test bench based on deep reinforcement learning was proposed.The key steps of state parameter selection,action output design and reward function setting of the Deep Dete
5、rministic Policy Gradient(DDPG)feedforward compensation controller were given,which effectively improved the disturbance perception ability of the controller and solved the agent local optimal problem caused by the dominance of a single PID controller.The simulation results show that,compared with t
6、he single PID controller,the controller designed can achieve no overshoot control of the intake 收稿日期:2022-05-26基金项目:国家自然科学基金(项目编号:61873172);国家科技重大专项(项目编号:2017-V-0014-0066);中央引导地方科技发展专项(项目编号:2021JH6/10500162);辽宁省教育厅项目(项目编号:JYT2020154);热能动力技术重点实验室开放基金(项目编号:TPL2020C01)作者简介:齐义文(1983-),男,辽宁丹东人,教授,博士,主要研究
7、方向:先进动力系统与智能控制,E-mail:。文章编号:2095-1248(2023)03-0044-12齐义文,等:高空直连试验台进气压力模拟系统DDPG前馈补偿智能控制第 3 期pressure under the disturbance of the intake pressure of the high-altitude cabin and the disturbance of the engine flow,and the adjustment time is shorter.The rapidity,stability and robustness of the DDPG inte
8、lligent feedforward compensation control design are verified.Key words:high-altitude direct-connected test bench;intake pressure simulation system;feedforward compensation control;reinforcement learning;DDPG高空直连试验台(简称高空台)作为发动机设计、定型、改进改型、故障再现与排除的关键试验设备,模拟并为发动机提供工作包线内不同飞行环境的压力、温度1。其中,进气压力模拟系统作为关键设备之一,
9、其控制品质的优劣直接决定试验效果2。在高空台直连试验过程中,发动机起动、加减速等状态所导致的流量瞬变问题对进气压力调节系统造成较大干扰,发动机流量在12 s内变化范围可达80100,致使进气压力调节系统受到大幅值阶跃干扰。如何消除此类扰动对系统的影响,是获得快速、鲁棒、高精度的稳/动态控制性能的关键3。而PID控制、自抗扰控制、模糊控制等传统控制方法存在响应速度较慢、鲁棒性较弱等局限,难以达到理想的控制效能。因此,探索性能更优异、设计更简便、响应速度更快的控制方法十分必要。强化学习方法作为人工智能技术研究热点与前沿之一,具有不依赖模型、自学习、自更新等优点,可通过试错方式不断积累经验,完善控制
10、策略,是解决复杂系统控制设计难题的一种有效手段4。强化学习在控制领域已有较多应用,Dorokhova等5提出一种基于深度强化学习的电动汽车充电控制方法,解决了充电模式对电网的不良影响。Mahmoud 等6通过强化学习方法来调节分布式发电源的输出电压,该控制器引入值迭代算法,实现不同电力干扰下的鲁棒控制。Gupta等7提出一种基于深度强化学习的加热控制器,提高智能建筑热舒适度的同时最大限度地降低了能源成本。Pi等8提出一种基于强化学习的四旋翼控制策略,解决了阵风等外界干扰下的四旋翼定位难题。赵纯等9提出一种深度 Q-Learning的交通信号灯配时优化方案,基于经验回放机制,运用深度神经网络进行
11、训练和输出预测。李岩等10提出一种三流道自适应循环发动机的确定性策略梯度控制算法,通过在线优化压比计划,实现控制规律自主寻优。裴培等11提出一种深度强化学习理论的制导控制一体化算法,智能体根据导弹观测量生成舵偏转角控制指令准确拦截目标。张汲宇等12提出一种基于深度强化学习优化的智能分层控制器,智能体通过优化串级PI控制器获得了更好的控制性能。在高空台进气压力模拟系统控制方面,张松等13提出一种复合控制技术,将PID控制与模糊控制相结合,构成兼具两者优点的压力模拟控制系统。朱美印等14提出一种基于 LMI极点配置的PI增益调度控制设计方法,根据线性模型推导了基于LMI极点配置的PI控制器设计方法
12、。乔彦平等15提出一种遗传算法优化的进气压力模拟系统,设计对应的适应度函数,实现了PID参数的全局优化。周家林等16提出一种基于模糊自适应PID控制器的自动调压技术,并对真实加减速过程中空气流量的调节进行了仿真验证。尽管高空台进气压力模拟系统的控制研究取得了一些进展,但多采用遗传算法优化、PID变参控制等方法,但强化学习方法在本领域的应用仍为空白。而基于强化学习的前馈补偿方法具有不依赖模型的优点,对于强非线性、复杂程度高的进气压力模拟系统而言,可有效降低控制设计难度,提高系统抗干扰能45沈 阳 航 空 航 天 大 学 学 报第 40 卷力,其自学习、自更新特性可实现进气压力模拟系统的高性能控制
13、。因此,结合PID控制,本文提出一种基于深度确定性策略梯度(deep deterministic policy gradient,DDPG)的前馈补偿控制方法,通过DDPG方法对高空台进气压力模拟系统流量、压力等扰动进行前馈补偿控制,大大降低PID控制器负担,并通过仿真验证了所提出方法的快速性、准确性、稳定性和鲁棒性。1高空台进气压力模拟系统描述本文考虑的高空台进气压力模拟系统模型结构如图1所示。高空台进气压力模拟系统主要包括:气源总管、进气流量调节阀门V1、进气压力调节阀门 V6、旁路放气调节阀门 V4 和高空舱等部分。气源总管为高空台进气压力模拟系统提供恒定压力和温度的气流,进气流量调节阀
14、门V1主要调节进气模拟系统的总流量,进气压力调节阀门V6和旁路放气调节阀门 V4 主要调节进气模拟系统中高空舱的进气压力。高空直连试验过程中,阀门V1根据高空舱内发动机流量需求来调整阀门开度,阀门 V4用于调节阀门 V6 前压力,将多余空气外排,阀门V6 调节高空舱进气压力及内部发动机进气流量。高空台进气压力模拟系统PID控制原理如图 2所示,PID控制器的输入为高空舱进气压力误差,输出为阀门V6开度(范围为01),为降低控制系统负担(减少控制器输出自由度)的同时提高系统调压范围和性能,保持阀门V6与V4开度相加为1。2基于深度强化学习的高空台进气压力模拟系统前馈补偿控制设计2.1控制原理控制
15、原理前馈控制属于一种开环调节方式,通过观测扰动的变化,正确预测控制偏差,进而提前补偿干扰,维持系统稳定输出。而反馈控制利用误差使控制器发挥作用,故其调节速度滞后于内/外部干扰作用。与反馈控制相比,前馈补偿控制通过读取干扰值并将其引入反馈调节,具有更快的调节速度,故前馈-反馈组合的控制方式可在减小误差的基础上,进一步提高系统抗扰能力。基于DDPG的前馈补偿控制原理如图3所示,状态空间是智能体感知进气压力(通过测量进气总压得到)模拟系统运行状态的集合,包括进气压力的误差、误差微分、误差积分等,奖励函数输入为进气压力误差。DDPG智能体通过状态空间感知系统特征,在不同状态下,奖励机制指导其做出最优决
16、策,即智能体输出前馈补偿动作。DDPG智能体的前馈补偿训练过程与PID控制过程同步,当系统出现扰动(如进气压力扰动、发动机流量扰动等)时,在反馈控制器还未及时调整时,智能体便可根据系统当前状态和扰动量进行前馈补偿控制,即智能体输出相应动作,并与PID反馈控制器输出相加得到最终的控制输出(阀门开度),以达到更好的控制效能。2.2控制器设计控制器设计DDPG是一种融合基于值与策略的强化学图1高空台进气压力模拟系统结构图图2高空台进气压力模拟系统PID控制原理图46齐义文,等:高空直连试验台进气压力模拟系统DDPG前馈补偿智能控制第 3 期习算法,明显不同于深度 Q 网络(deep Q nerwor
17、k,DQN)算法,DDPG算法可以处理连续动作17。DDPG算法将神经网络与行动器评价器(actor-critic,AC)框架相结合,AC算法包含行动函数和评价函数,行动函数 Actor生成智能体agent与环境交互的动作;评价函数Critic用于评价智能体agent执行动作的优劣性。在DDPG算法中,采用深度神经网络近似行动函数和评价函数,共包括 4 个神经网络,其作用是:Actor估计网络与环境交互;Critic估计网络通过交互信息更新自身参数,并指导 Actor估计网络更新;Actor目标网络与Critic目标网络预测下一时刻动作与动作价值函数。DDPG算法框架如图4所示。基于 DDPG
18、 算法的前馈补偿控制器设计包括如下3部分。(1)状态与动作参数选取状态是智能体感知环境的特征表达,是动作选择的基础。为降低神经网络的拟合难度,状态参数需直观反映高空台进气压力模拟系统的运行特征。此外,动作参数与状态参数之间需具有明确对应关系,否则会增加网络训练难度,甚至无法收敛。本设计将可表征进气压力模拟系统运行特征的进气总压误差、误差积分、误差微分、发动机流量、PID控制器输出、DDPG 动作输出作为状态参数。在设计初期,考虑到系统进气总压误差为主要性能指标,同时前馈控制器需具有扰动感知能力,故选取进气总压误差、发动机流量作为控制器输入的状态参数;选取阀门 V6开度作为控制器输出参数,且将阀
19、门 V4 与 V6 联合控制,即两者开度之和恒定保持为 1,其余阀门开度根据试验过程所需设置为固定值。在网络训练时,通过给定不同目标进气总压指令来满足高空舱对发动机不同运行状态进气总压的需求。图3基于DDPG的前馈补偿控制原理图图4DDPG算法框架图47沈 阳 航 空 航 天 大 学 学 报第 40 卷在实际训练过程中,由于PID控制器的参与,即使智能体输出动作维持不变,反馈控制器仍可减少进气总压误差,此时智能体由于得到一定奖励而陷入局部最优,无法达到较好的前馈补偿控制效果。因此,对状态和动作参数进行了再设计。为解决陷入局部最优问题,将PID控制器输出、DDPG控制器输出作为状态参数,将动作输
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 高空 试验台 压力 模拟 系统 DDPG 补偿 智能 控制
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。