基于CNN-BiLSTM的...池剩余使用寿命概率密度预测_刘泽.pdf

2023.1Vol.47No.1研 究 与 设 计收稿日期：2022-06-24基 金 项 目：国 家 自 然 科 学 基 金 项 目(51777052，51977058)；河北省中央引导地方科技项目(216Z4406G)；电力系统国家重点实验室资助课题(SKLD21KZ04)；新能源电力系统国家重点实验室(华北电力大学)开放课题(LAPS20018)作者简介：刘泽（1994），男，山西省人，硕士研究生，主要研究方向为锂离子电池寿命预测。基于CNN-BiLSTM的锂电池剩余使用寿命概率密度预测刘 泽1，张闯1，齐 磊2，金 亮1，刘素贞1(1.河北工业大学 电气工程学院，天津 300130；2.华北电力大学 电气与电子工程学院，北京 102206)摘要：通过预测锂离子电池的剩余使用寿命(RUL)，可以对电池实现管理和维护，提升电池的耐用性和安全性。由于锂离子电池在使用过程中，不同的工况条件会增加锂离子电池RUL预测的不确定性，传统的点预测不能对电池的不确定性进行表达，因此提出了一种基于卷积神经网络(CNN)和双向长短时记忆循环神经网络(BiLSTM)的混合神经网络分位数回归的概率密度预测。该方法通过预测不同分位数条件下的电池容量，不仅可以利用中位数和众数对剩余寿命进行点估计，还可以利用核密度估计得到每个循环周期下电池的容量和剩余使用寿命的概率密度分布，为使用者提供更多有效的决策信息。关键词：剩余使用寿命；卷积神经网络；双向长短时记忆循环神经网络；分位数回归中图分类号：TM 912文献标识码：A文章编号：1002-087 X(2023)01-0057-05DOI:10.3969/j.issn.1002-087X.2023.01.013Prediction of probability density of remaining useful life of lithiumion battery based on CNN-BiLSTMLIU Ze1,ZHANG Chuang1,QI Lei2,JIN Liang1,LIU Suzhen1(1.School of Electrical Engineering,Hebei University of Technology,Tianjin 300130,China;2.School of Electrical and Electronic Engineering,North China Electric Power University,Beijing 102206,China)Abstract:By predicting the remaining useful life of lithium ion batteries,the battery can be managed and maintained,and the durability and safety of the battery can be improved.As different working conditions increase the uncertaintyof the prediction in lithium ion battery RUL and the traditional prediction by point cannot measure uncertainty ofbattery s parameters and capacity.Therefore,a quantile regression probability density prediction of hybrid neuralnetwork based on convolutional neural network(CNN)and bidirectional long short memory recurrent neuralnetwork(BiLSTM)is proposed.By predicting the battery capacity under different quantile conditions,this methodcan not only use the median and mode to point estimate the remaining life,but also use the nuclear density estimationto obtain the probability density distribution of the battery capacity and remaining life under each cycle,providingmore effective decision-making information for users.Key words：remaining service life;convolutional neural network;two-way long and short time memory cyclic neuralnetwork;quantile regression锂离子电池具有制造成本低、高效、环保等优点，被广泛应用于电动汽车、军事装备、航空航天等领域。随着锂离子电池循环充放电，其性能不断退化，作为电气装备的重要组件，可能会导致设备故障，进而引发严重的安全事故1。为确保锂离子电池安全正常使用，开展锂离子电池的剩余使用寿命(remaining useful life，RUL)预测具有重要意义。多年来，国内外学者通过数学或电化学模型对锂离子电池的内部动态变化过程进行分析，以实现电池的寿命预测。然而，锂离子电池内部状态不可测，其电化学反应过程受到实际工况以及外部温度、湿度等环境的影响，使得其模型的建立较为复杂且泛化性较弱。随着传感技术的迅猛发展，多类型、海量的锂离子电池性能退化数据被获取，基于数据驱动的寿命预测逐渐成为了研究热点。文献2考虑到极限学习机(extreme learning machine，ELM)的缺点和电池数据的增加，将宽度学习(broad learning，BL)与 ELM结合，提高了预测精度和效率。但由于模型的参数是随机产生的，导致模型预测结果稳定性较差。文献3把灰色理论与BP神经网络相融合，相比于单一的 BP神经网络，具有更高的估算精度；但该模型可能会陷入局部极值，导致训练失败。虽然传统的机器学习获得了较好的预测准确度，但其精度受限于复杂的特征提取，预测稳定性难以保障。随着计算机运算性能的提升和算法的不断创新，深度学习网络凭借着复杂的结构，则可以避免特征工程提取，将数据输入到网络就可实现良好的预测。利用快速搜索聚类对电池的特征进行过滤选择，将选定的特征输入到堆叠降噪自572023.1Vol.47No.1研 究 与 设 计编码器网络进行电池的 RUL预测，得到了较好的预测结果。以上锂离子电池预测为点预测，而不同工况条件下预测的结果往往具有不确定性。相较于确定的点预测，概率密度预测可以描述未来任意循环周期下的锂离子电池容量概率密度分布信息，文献4研究了非线性分位数回归问题，提出了神经网络分位数回归模型，进而给出了概率密度预测方法；文献5将其应用于资产收益与风险的预测研究。锂离子电池容量衰减过程在时间上前后相互关联，在考虑当前信息的同时也有必要考虑到将来的状态。双向长短时记 忆 循 环 神 经 网 络(bidirectional long short-term memory,BiLSTM)可以整合向前和向后两个方向的结果作为最终结果的输出，适用于具有时间序列的预测。文献6利用 BiLSTM神经网络自动提取了深层的轴承振动信息，实验证实了故障预测较高的准确度。尽管BiLSTM在处理时间序列上有强大的能力，但在输入多维数据时其非线性拟合不足。文献7利用卷积神经网络(convolution neural network，CNN)将充电循环期间测得的电压、电流和电荷容量的等时间间隔离散值作为输入，在线估算锂离子电池容量。由于CNN可以捕获相邻数据序列之间的局部特征，而无法对时间序列进行有效的表达，因此，可以考虑与循环神经网络模型结合，提升预测精度。本文提出了一种 CNN-BiLSTM 模型与分位数回归相结合的方法，对电池的 RUL 进行概率密度预测。将 CNN-BiLSTM 相融合来预测不同分位数下的锂离子容量，进而得到容量概率密度分布和锂离子电池的RUL概率密度分布。1深度学习模型原理1.1 卷积神经网络CNN是包含卷积运算和深层结构的前馈神经网络，卷积层使用卷积核对局部区域进行卷积输入数据以生成相应的特征；池化层对其进行下采样，实现数据的降维；而全连接层将提取到的局部特征变为特征向量，最后再传入到BiLSTM神经网络进行预测，结构如图1所示。卷积层采用式(1)计算：ci=f()xi:i+g-1+b(1)式中：为卷积核；g为卷积核的大小；xi:i+g-1为i到 i+g-1的特征向量；b为偏置项。得到特征矩阵G，即G=c1,c2,c6，然后经过池化层，对卷积层进行下采样得到维度较小的特征，这里采用其最大值，如式(2)，最终将池化层提取到的特征输入到全连接层。N=max()c1,c2,cn-g+1=max G(2)1.2 双向长短时记忆循环神经网络图 2为 LSTM 神经元细胞的内部工作图，主要通过遗忘门、输入门和输出门三个基本机构实现控制。LSTM 最核心的部分是遗忘门和输入门，其可以实现有效的长期记忆。遗忘门可以忽略以前的无用信息，Sigmoid为遗忘门的控制层，决定当前时刻输入的 xt和上一时刻输出的ht-1通过或者部分通过，如式(3)所示：ft=()Wfxxt+Wfhht-1+bf(3)输入门可以控制当前时刻数据流入细胞，输入门的Sigmoid层决定哪些值可以更新，tanh层用来生成新的候选值向量，如式(4)、式(5)：it=()Wixxt+Wihht-1+bi(4)zt=tanh()Wzxxt+Wzhht-1+bz(5)神经元细胞的旧状态Ct1更新为Ct，如式(6)：Ct=ft Ct-1+it zt(6)输出门的输出值 ht是通过上一时刻 ht-1和当前时刻输入xt经过sigmoid层，与一个经过tanh层的最近时刻Ct的状态相乘计算而得到的。该过程的计算公式为：ot=()Woxxt+Wohht-1+bo(7)ht=ot tanh()Ct(8)式中：W 和 b 为对应公式的权重和偏置项；为 sigmoid 激活函数；tanh为双曲正切函数。BiLSTM 是 LSTM 的变体结构，由前向 LSTM 与后向LSTM层构成，从两个相反的方向获取信息，可以同时考虑数据的历史和将来信息，能够挖掘数据更加深层次的时间序列规律，提高预测精度，BiLSTM的结构如图3所示。在每个时间 t，输入同时提供向前与向后的 LSTM的神经网络，其输出最终结果可以表示为：ht=?ht?ht(9)式中：?ht为BiLSTM的正向输出；?ht为BiLSTM的反向输出。图1卷积神经网络结构图2长短时记忆循环神经网络结构图3双向长短时记忆循环神经结构582023.1Vol.47No.1研 究 与 设 计1.3 分位数回归分位数回归是响应变量 S与解释变量X的条件分位数之间一种线性关系的模型8。即：QS(X)=0()+1()X1+2()X2+k()Xk X()式中：QS(|X)为分位数取值在0到1的条件下，解释变量X对应的响应变量 S的估计值；回归系数向量()=0(),1(),2()X2,k()，随分位数的变化而变化。参数向量 的最优估计值可以通过如下公式求解：mini=1NYi-XTi()=miniYiXTi()Yi-XTi()+mini|YiXTi()(-1)Yi-XTi()其中()为检验函数，其具体求解过程为：(u)=u,u 0(-1)u,u 0(12)2概率密度预测模型2.1 基于CNN-BiLSTM的预测模型本文提出基于CNN-BiLSTM的模型，如图4所示。在锂离子电池RUL的预测过程中，每次恒流-恒压充电，循环次数、电压、内阻抗均对应一个共同的电池容量。而卷积神经网络中的卷积核可以捕获测得数据间的相关性，通过实现局部权值共享，从而可以挖掘老化数据相邻局部范围内的共同特性。在卷积层中，输入循环次数、电压、内阻抗特征由卷积核提取。然后，通过全连接层将其转化为特征向量输出到 BiLSTM 神经网络。BiLSTM 层利用滑动时间窗口对CNN提取到的特征进行时间序列学习，获得内部时间特征和退化趋势的变化规律。在 BiLSTM 神经网络训练过程中，将输出的结果与样本标签值对比，把误差进行反向传播更新BiLSTM的节点权重，最后通过全连接层将其结果输出。2.2 CNN-BiLSTM神经网络分位数回归本文将CNN-BiLSTM神经网络与分位数回归结合，提出了一种CNN-BiLSTM神经网络分位数回归模型，构造如下的分位数回归损失函数。Loss=minw,bi=1n()Yi-Yi=minw,biYi Y?i(Yi-Yi)+minw,biYi Y?i(-1)(Yi-Yi)当在0到1之间不断取值时，通过优化器不断优化权重w 偏置 b，使 Loss 函数达到最小。最终可以得到不同分位数下输入数据x对应预测值 y，即：y=f(w,x,b)。2.3 核密度估计核密度估计是一种不依赖任何分布，从数据样本自身去得到估计值的概率密度分布9。对于一个预测点，不同分位数下得到一组x1,x2,xi,xj,xn数据，可以通过如下公式得到核密度估计。fh=1ni=1nKh()x-xi=1nhi=1nK()x-xih(14)式中：Kh(x)=1hK(xh)，h 为带宽，K()为核函数，采用式(15)计算带宽。h 1.06 n-0.2(15)式中：为估计数据的标准差，在本文中采用高斯核函数(Gaussian kernel function，GKF)。g(xi,xj)=12e-12()xi-xj2(16)式中：为带宽的平滑参数，影响分布的形状。2.4 评价指标为了衡量锂离子电池RUL的预测精度，采用多个评价指标来评估本文模型的效果，包括预测剩余寿命的绝对误差、相对精度、预测容量的平均绝对误差、均方根误差以及预测容量区间覆盖率和平均宽度10。(1)剩余寿命的绝对误差(absolute error，AE)、剩余寿命的相对精度(relative accuracy，RA)、容量的平均绝对误差(mean absolute error，MAE)和容量的均方根误差(root-mean-square error，RMSE)是评价实际真实值与预测值(概率密度预测模型的众数或中位数)的偏差，其数学公式如下：AE=|RP-RT|(17)MAE=1ni=1n|x(i)-x(i)|(18)RMSE=1ni=1n x(i)-x(i)2(19)RA=1-RT-RP|RT(20)式中：RP为预测剩余寿命循环次数；RT为真实剩余寿命循环次数；n为预测电池容量的循环周期数；x(i)为第i个周期电池容量的真实值，x(i)为电池容量预测值。(2)区间覆盖率表示实际值落在预测区间的比例，是评估预测区间准确度和可靠性的重要指标，采用式(21)计算。CP=1Ni=1NKi(21)(13)(10)(11)图4CNN-BiLSTM结构592023.1Vol.47No.1研 究 与 设 计式中：N为测试集的总个数；CP为区间覆盖率。Ki=1,pi Ii0,pi Ii(22)式中：pi为第i个循环周期的容量；Ii为第 i个循环周期的预测区间。区间覆盖率尽管越高越好，但是当区间足够大时，覆盖率成为1，失去了意义，因此需要与预测区间平均宽度共同去衡量。(3)预测区间平均宽度(mean width percentage，MWP)表示在置信度下电池容量预测区间上界与下界的差值，本文选取90%置信区间，预测区间平均宽度越小，表示其锐度越高。3算例分析3.1 数据集构建本文采用马里兰大学CALCE的CX2电池数据集，该电池的额定容量为1.35 Ah。所有CX2电池都经历相同的循环充放电过程：以恒定电流0.5 C充电，直到电压达到4.2 V，然后维持4.2 V直到电流降至 0.05 A；以恒定电流 0.5 C放电，直到电压降至3 V。电池容量一般降至额定容量的70%认为电池失效，达到了寿命终点(end of life，EOL)，本文选用的数据集的电池EOL为0.945 Ah，共进行了1 262次循环。电池容量的退化趋势是一个非线性波动较大的过程，如果选用数据早期退化的过程进行预测，会使预测结果产生较大的误差，所以选用训练集为原始数据集的80%，测试集为原始数据集的20%。3.2 模型参数设置本文分位数 的取值范围为0.01，0.99，其间隔为 0.01，共计 99 个数据，经过多次手动调参实验，最终得到 CNN-BiLSTM分位数回归模型的主要超参数，如表1所示。本文的模型是用python软件编写，软件框架是基于keras神经网络库的Tensorflow框架。3.3 预测结果分析对比图5展示了在低置信区间(40%)和高置信区间(90%)条件下的预测区间。从图 5中可以看到，本文所提方法的预测区间与实际值波动大致相同，40%置信区间比90%置信区间的宽度要窄，且预测结果的 90%置信区间可以基本包含真实值，但后期预测区间明显变宽，这是由于后期电池的容量退化趋势加速，容量再生也变得浮动较大，而模型是利用前期数据训练得到的，对后期容量的预测结果不确定性增大，因此会导致后期的预测区间变宽。基于已训练的模型可以预测每个循环周期下的容量和剩余使用寿命的概率密度分布。以其中一个循环周期为例，图6为真实容量达到失效阈值0.945 Ah时，第1 262次循环周期的预测容量概率密度曲线。图7为达到阈值条件时预测循环次数概率密度曲线。从两张图可以看出，真实值在概率密度曲线峰值附近，且更靠近预测的中位数。通过本文方法描述电池剩余使用寿命的不确定性，能够为使用者提供较为丰富的电池容量信息。为了证明使用本文方法预测的有效性，将使用统计学中代表性的中位数与众数作为点预测结果，图 8为实际值与预测结果的对比图，可以看出中位数预测结果相对于众数可以更好地吻合容量的实际值，但是在估计电池剩余容量时，众数也有重要的参考价值。为了进一步说明本文所提出电池 RUL概率密度预测模图5不同置信区间的预测结果对比图6第1 262次循环周期的容量概率密度图7达到阈值条件下的预测循环次数概率密度图8众数和中位数点预测与真实值对比表 1 超参数设置 参数名 参数值 卷积核个数：128 卷积层 卷积核大小：1 池化层 最大值池化窗口大小：2 BiLSTM 层 神经元个数：128 随机失活率：0.5 优化器：Adam 训练配置 训练轮次：200 602023.1Vol.47No.1研 究 与 设 计型的性能，选用同超参数下BiLSTM、LSTM和CNN模型的预测得到中位数与其对比进行评估，如表2所示。表 2中 CP与 MWP值均为 90%置信区间下预测得到的，通过表 2 得出 CNN、LSTM、BiLSTM、CNN+BiLSTM 中位数预 测 RMSE 的 指 标 分 别 改 进 了 0.010 4、0.009 7、0.009 2、0.008 3。MAE 的指标分别改进了 0.013 6、0.012 7、0.012 1、0.010 4。此外，AE的指标分别改进了7、6、3、1。说明了CNN对于模型预测精度有提升作用。4结论本文提出了一种 CNN-BiLSTM 与分位数相结合的概率密度预测，并通过算例进行验证，得出结论如下：(1)采用双向长短时记忆循环神经网络与卷积神经网络相结合，实现分位数概率密度预测，相比点预测，本方法不仅可以使用中位数或者众数实现点预测，而且可以获得任意循环充放电周期下锂离子电池容量和剩余使用寿命的完整概率分布。(2)本文提出 CNN+BiLSTM 模型的中位数的 AE 值、RMSE值和 MAE值均低于 CNN、BiLSTM 和 LSTM 模型。尽管 CNN+BiLSTM 模 型 在 90%置 信 区 间 下 MWP 的 值 比BiLSTM的高，但其他评价指标是最高。因此，本文模型的预测精度整体而言是最好的。由于本文模型采用多个模型的组合，结构变得复杂，计算量增大，因此，优化算法结构、提升计算效率将在以后的工作中进一步开展。参考文献：1ZHOU Y,HUANG M,CHEN Y,et al.A novel health indicatorforon-linelithium-ionbatteriesremainingusefullifepredictionJ.Journal of Power Sources,2016,321(30):1-10.2MA Y,WU L,GUAN Y,et al.The capacity estimation andcycle life prediction of lithium-ion batteries using a newbroadextremelearningmachineapproachJ.JournalofPower Sources,2020,476:228581.3韦海燕,陈孝杰,吕治强,等.灰色神经网络模型在线估算锂离子电池SOHJ.电网技术,2017,12(41):316-322.4TAYLOR J W.A quantile regression neural network approachto estimating the conditional density of multiperiod returnsJ.Journal of Forecasting,2000,19(4):299-311.5许启发,徐金菊,蒋翠侠.基于神经网络分位数回归的多期CVaR风险测度J.数理统计与管理,2017,36(4):715-730.6赵志宏，赵敬娇，魏子洋.基于 BiLSTM的滚动轴承故障诊断研究J.振动与冲击，2021，40(1)：95-101.7SHEN S,SADOUGHI M,CHEN X,et al.A deep learningmethod for online capacity estimation of lithium-ion batteriesJ.The Journal of Energy Storage,2019,25:100817.8孙国强，梁智，俞娜燕，等.基于EWT和分位数回归森林的短期风电功率概率密度预测J.电力自动化设备,2018,292(8):165-172.9牛文铁,才福友,付景静.基于自适应带宽核密度估计的载荷外推方法研究J.农业机械学报,2021,52(1)：375-384.10 ZHANG Y,ZHANG S,ZHANG C X,et al.Probability densityestimationmethodbasedonsupportvectormachineJ.Journal of System Simulation,2005(10):48-50.表2 模型对比评估 模型 AE MAE RMSE RA CP MWP CNN+BiLSTM 1 0.010 4 0.008 3 0.999 0.886 0.034 0 BiLSTM 3 0.012 1 0.009 2 0.997 0.847 0.032 8 LSTM 6 0.012 7 0.009 7 0.995 0.874 0.036 2 CNN 7 0.013 6 0.010 4 0.994 0.849 0.034 6 61