基于深度强化学习的混合动力汽车能量管理策略.pdf
《基于深度强化学习的混合动力汽车能量管理策略.pdf》由会员分享,可在线阅读,更多相关《基于深度强化学习的混合动力汽车能量管理策略.pdf(4页珍藏版)》请在咨信网上搜索。
1、ElectricalAutomation115Electric VehicleTechnology电动汽车技术电气自动化2 0 2 3年第45卷第4期基于深度强化学习的混合动力汽车能量管理策略苏明亮,姚方(山西大学电力与建筑学院,山西太原0 30 0 13)摘要:混合动力汽车作为新能源汽车在现阶段过渡状态的发展主力,其电池效率和经济性至关重要。为了实现实时优化并且改善混动汽车的部分参数,提出了基于深度强化学习的能量管理策略,并在仿真过程中引人神经网络对工况进行预测。以混合动力汽车模型以及参数作为支撑,搭建了混合动力汽车仿真环境,与建立的能量管理模型进行迭代交互。应用深度强化学习中的不同算法对电
2、池功率进行控制和改善,得到了不同算法下的优化结果,验证了所建立模型的有效性和可靠性,对电池的优化以及功率调控具有一定的实际意义。关键词:混合动力汽车;深度强化学习;能量管理策略;电池荷电状态;工况预测D0I:10.3969/j.issn.1000-3886.2023.04.036中图分类号 U469.72文献标志码A文章编号10 0 0-38 8 6(2 0 2 3)0 4-0 115-0 4Energy Management Strategy of Hybrid Electric VehicleBased on Deep Reinforcement LearningSu Mingliang,
3、Yao Fang(School of Electric Power Civil Engineering&Architecture,Shanxi University,Taiyuan Shanxi 030013,ChinoAbstract:Hybrid electric vehicles,as new energy vehicles,are the main force in the development of the transitional state at this stage,and theirbattery efficiency and economy are crucial.In
4、order to realize real-time optimization and improve some parameters of hybrid vehicles,an energy management strategy based on deep reinforcement learning was proposed,and a neural network was introduced in thesimulation process to predict operating conditions.Based on the hybrid vehicle model and pa
5、rameters,a hybrid vehicle simulationenvironment was built,and then iteratively interacted with the established energy management model.Different algorithms in deepreinforcement learning are used to control and improve battery power,and the optimization results under different algorithms areobtained,
6、which verifies the validity and reliability of the established model,which has certain practical significance for batteryoptimization and power regulation.Keywords:hybrid electric vehicle;deep reinforcement learning;energy management strategy;state of charge;driving condition prediction0引言混合动力汽车作为燃油
7、汽车和纯电动汽车之间的过渡,能够大幅度减少污染排放。文献1 对能量管理策略(energymana-gent stragegy,EMS)分为基于规则的能量管理策略、基于全局优化的能量管理策略和基于实时优化的能量管理策略。近年来,混合动力汽车基于学习的能量管理策略不断发展,其所展现出来的优势和潜力值得研究。文献2 提出基于动态规划的混动汽车能量管理策略。文献3 在强化学习智能体奖励信号中引人电池的寿命因子。文献4 采用遗传算法对混动汽车的多个目标进行优化。文献5 提出了一种将功率跟随与模糊控制相混合的能量管理策略。文献6 提出了具有确定性规则的Q学习策略,用于混动汽车的能量管理。文献7 采用模糊逻
8、辑控制策略对混动汽车进行了优化。本文应用深度强化学习建立能够在离散空间以及在连续空间进行学习的能量管理策略,并在既往研究的基础上,引入长短期记忆(longshort-termmemory,LST M)网络对实际工况进行预测,扩大工况规模,使智能体的决策更加准确。定稿日期:0 2 2-0 4-0 6基金项目:国家自然科学基金项目(U1509218);山西省电力公司科技项目(SGTYHT/18-JS-202)1混合动力汽车模型本文所建混合动力汽车模型参数见表1。表1混合动力汽车主要参数部件参数数值部件参数数值车体质量/kg1500发动机最大功率/kW56.0容量/(kWh)2.74发电机最大功率/
9、kW37.8电池电压/V237电动机最大功率/kW50.01.1动力模型在研究过程中对车辆的运动状况进行简化,主要包括汽车运动过程中的滚动阻力F,空气阻力Fw、坡度阻力F,以及惯性阻力F,计算公式为:F,=mgcosof(1)1Fw=2pA C2(2)F=mgsine(3)F.=oma(4)式中:m为整车质量;f为车轮与路面之间的滚动摩擦因数;0 为汽车运行过程中与路面的坡度角;C,为空气阻力系数;A,为车辆116ElectricalAutomationElectricVehicleTechnology电动汽车技术电气自动化2 0 2 3年第45卷第4期迎风区域面积;p为空气密度;a为车辆行驶
10、加速度;8 为质量系数。车辆在行驶中所需总功率为:Preg=(F,+Fw+F,+F.)u(5)式中:为车辆行驶的纵向速度。1.2电池模型本文采用镍氢(Ni-MH)电池8 ,在试验中采用简单的内阻模型。电池的荷电状态(stateof charge,SO C)是反映电池剩余电量的重要指标,SOC表示为:dSoc(t)(6)dtC式中:l.为电池电流;C,为电池的额定容量。在仿真过程中对SOC加以约束。电池电阻和开路电压与SOC关系曲线如图1所示。1.0245充电电阻放电电阻0.9开路电压2400.82300.70.62200.52100.420000.20.40.60.81.0SOC图1电池参数曲
11、线2基于强化学习的能量管理策略强化学习是将状态(state)映射到动作(action)的一种学习方法,以获得最大的奖励(reward)为目标9。强化学习原理图如图2 所示。强化学习的探究与状态空间S,、动作空间A,和奖励空间R,有关。车辆模型视为环境,以强化学习为基础的能量管理策略视为智能体,智能体根据当前环境做出动作,使得奖励达到最大。下面介绍基于深度Q网络(deepQnetwork,D Q N)管理策略和深度确定性策略梯度(deepdeterministicpolicygradient,DDPG)管理策略。2.1基于DQN的能量管理策略传统的强化学习不能解决状态空间和动作空间高维度的情况1
12、0】,愈加应用的是深度强化学习(deepreinforcementlearning,DRL),依靠神经网络解决状态以及动作的高维度问题。DQN和双深度Q网络(doubledeepQnetwork,D D Q N)采用贪婪度保证智能体的动作具有随机性。DQN与DDQN结构大致相同。然而DQN容易导致过估计,DDQN可以通过改变神经网络的学习结构来解决这种过估计 。本文分析DQN与DDQN的q值来验证DDQN的优点。智能体环境图2强化学习原理图DQN、D D Q N目标值网络计算公式分别为:ypoN=R.1+maxQ(S.+1,a;0,)(7)VDDQN=R1+yQS.+1,argmaxQ(S$+
13、1,a;0,),0,(8)基于DQN的EMS如图3所示。DQN损失函数Q(s,a;0)maxQ(s+1,a+1;0)每隔N步a估计值网络复制参数目标值网络环境S(s,a)S回忆记忆单元图3基于DQN的EMS原理图2.2基于DDPG的能量管理策略DDPG融合了行动者评论家(actor-critic,A C)算法以及DQN的精华,使智能体在连续动作上进行学习12 在DDPG中为让智能体充分探索环境,在输出动作中加人随机噪声N13。新动作可表示为:a=u(slg)+N(9)本文采用正态分布抽样方法选择随机行为。将输出行为作为正态分布平均值,加上参数var,构造正态分布。通过控制参数的大小,可以改变探
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 强化 学习 混合 动力 汽车 能量 管理 策略
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。