基于Q-learning算法的配电网储能装置控制策略研究.pdf
《基于Q-learning算法的配电网储能装置控制策略研究.pdf》由会员分享,可在线阅读,更多相关《基于Q-learning算法的配电网储能装置控制策略研究.pdf(6页珍藏版)》请在咨信网上搜索。
1、宁夏电力 年第 期 基金项目:国网宁夏电力有限公司科技项目()基于 算法的配电网储能装置控制策略研究王晓康俞智浩芦翔(.国网宁夏电力有限公司吴忠供电公司宁夏 吴忠.国网宁夏电力有限公司电力科学研究院宁夏 银川)摘 要:通过在配电网末端接入用于系统调压等辅助服务的储能装置能有效解决可再生能源的高度间歇性和负荷需求波动导致的配变过载问题 基于强化学习的 算法针对储能电池运行情况进行建模仿真通过单时段优化内嵌的 值得到各时段储能电池荷电状态的最优调度方案 实例试验分析表明当迭代次数达到一定数量时利用 算法能够达到理论上的最优解 最后通过将 算法与动态规划算法生成的标准最优调度方案进行对比证明了 算法
2、能够与动态规划算法达成一致最优解关键词:强化学习储能装置 算法动态规划算法中图分类号:文献标志码:文章编号:()有效访问地址:/././.(.):.:./.王晓康等:基于 算法的配电网储能装置控制策略研究 引 言随着可再生能源技术的发展分布式发电技术不仅应用于变电而且在接入更方便的配电网中应用更为广泛 但在大量分布式电源接入配电网后其固有的出力波动和高度间歇性会直接影响配电网的电压运行水平和功率平衡性进而导致电压越限和配变过载等问题 解决上述问题的关键在于控制配电网有功功率的平衡性因此在配电网末端接入储能装置的辅助运行方式成为一种可行的技术方案储能技术的应用对于改善配电网系统的电压特性实现负荷
3、侧灵活削峰填谷有着重要的价值除此之外合理的储能控制可以有效提高能源的利用效率 在储能装置的辅助下配电网对于功率波动的耐受性更强配电网区域内的电压波动减小有利于接纳更多的新能源接入从经济性和稳定性上对区域电网都有着重要的价值储能装置的控制目标通常为减小系统内节点电压波动根据负荷需求合理控制出力水平 储能控制技术通常基于一定的模型以提升系统某项指标为目的通过对系统控制策略进行优化和创新来实现预期控制效果 目前国内外常用算法有线性规划、混合整数规划、动态规划、模糊逻辑等其中动态规划算法作为目前应用较为成熟的一种算法形式在迭代计算后可以实现对状态空间内的控制效果优化得到局部最优解 但随着状态数的增加动
4、态规划算法容易出现“维度灾”问题即迭代计算量出现指数型上升从而导致在线计算时间大大增加同时也会增加计算成本 为了解决这个问题强化学习算法被提出并用来求解动态的决策任务 强化学习是一种从历史经验中学习最佳策略的算法主要思想就是智能体通过不断和环境互动来学习系统的动态特性具体到每一个迭代过程就是智能体根据当前的状态做出一个动作然后得到一个奖励值和下一时刻的状态 强化学习智能体和环境互动的次数越多经验越丰富所做的策略越准确 强化学习的 算法作为一种应用领域较为广泛的算法类型通过调整迭代条件可以避免过多状态量的出现从而解决维度灾难的问题 在使用历史数据进行训练时具有优势且易于理解对计算资源需求较少算法
5、训练过程更为稳定更能适应配电网的实际情况因此本文将 算法应用于以储能电池为模型的配电网储能装置电能出力控制中研究该算法在储能电池荷电状态管理策略下可行状态空间的优化特性并将该算法的优化结果与经典动态规划方法优化结果进行对比验证了在储能电池出力控制的应用背景下算法能够与动态规划算法达成一致最优解的结论 蓄电池的储能特性以蓄电池为代表的电化学储能是一种目前应用较为广泛的储能技术 不仅拥有较高的能量密度和功率密度同时低廉的成本也是其在能源应用领域的优势所在 在配电网储能系统的应用背景下选取蓄电池储能装置研究蓄电池储能装置正常工作时剩余电量、固定时段内的充、放电量以及自放电等参数的相互关系 储能充电过
6、程可以表示如下:()()()()/()对应的储能放电过程可表示为()()()/()()式中:()为蓄电池储能装置在 时间段的荷电状态 是蓄电池储能装置在 时间段的充放电功率 为储能介质的自放电率 为蓄电池储能装置的充电损耗 为蓄电池储能装置的放电损耗 为计算周期时长为蓄电池储能装置的额定容量蓄电池储能装置在其正常工作内的充放电功率受到硬件限制的充放电特性和自身荷电状态状态的影响其荷电状态需要满足以下条件:()()式中:和 分别为蓄电池储能装置荷电状态的最小值和最大值即约束了荷电状态的正宁夏电力 年第 期常范围 储能装置优化调度模型.强化学习建模强化学习方法的原理是将优化问题建模为一个马尔科夫决
7、策过程来进行求解本文把配电网储能装置的策略优化问题描述为一个马尔科夫决策过程 在马尔科夫决策过程中定义环境状态 为 时间段蓄电池储能装置的可行离散电量动作 为 时间段内蓄电池储能装置的平均放电量由当前时间段和对应下一时间段可行离散电量、时间段内平均充电量所确定同时定义 时刻的奖励函数()为()()其中 ()()式中:为常数 为 时段内蓄电池储能装置对外发出的电能 为 时段内蓄电池储能装置的平均出力 为 时段内蓄电池储能装置的保证出力 则作为惩罚项代表蓄电池储能装置在保证处理下产生的电能 为出力系数 为 时段内蓄电池储能装置的平均发电功率 为 时段的时间长度值采用值迭代的算法求解储能装置调度的最
8、优方案 定 义()为 动 作 值 函 数 简 称 值即:()()()()()()转化为递推形式:()()()()将蓄电池储能装置优化调度模型以时段奖励函数()为基础以确保电能出力为目标在扣除惩罚值后将各时段内的发电量进行累加即可得到总发电量 并以该数值为基础构建目标函数表达式如下:()()也可将 表示为()().建立强化学习约束空间.强化学习状态转移约束蓄电池储能装置的供能关系约束条件即为强化学习状态转移约束条件 功能平衡方程的计算公式如下:()()式中:、分别为 时 间段初、末时间段下的储能状态、分别为时 间段内蓄电池储能装置的输入和输出平均功率储能装置输出功率约束:()式中:和 分别为时
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 learning 算法 配电网 装置 控制 策略 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。