![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于Transformer的短期血糖预测方法研究.pdf
《基于Transformer的短期血糖预测方法研究.pdf》由会员分享,可在线阅读,更多相关《基于Transformer的短期血糖预测方法研究.pdf(7页珍藏版)》请在咨信网上搜索。
1、第34卷第3期2023年9 月【文章编号】2096-2835(2023)03-0372-07中国计量大学学报Journal of China University of MetrologyVol.34 No.3Sep.2023DOI.10.3969/j.issn.2096-2835.2023.03.007基于 Transformer 的短期血糖预测方法研究王译文,黎建军,曲再鹏(中国计量大学机电工程学院,浙江杭州310 0 18【摘要】目的:血糖预测在糖尿病患者的自动化治疗中起着关键作用,为了提高血糖预测精度,更好地满足临床使用需求。方法:本研究结合DirectNet 糖尿病临床数据集,提出了
2、一种基于Transformer的短期血糖预测模型,同时分析了在不同输入序列长度下的Transformer模型预测性能;最后,为确定模型的有效预测范围,采用克拉克误差网格分析工具对未来一定时间梯度内的模型预测结果进行了误差分析。结果:基于Transformer的短期血糖预测模型取得了较好的血糖预测效果,输入序列长度为2 0 min时预测效果最优,所得血糖预测结果的均方根误差(RMSE)和平均百分比误差(MAPE)均优于LSTM与GRU模型。结论:基于Transformer的短期血糖预测模型的预测精度较高,并且其预测结果能够满足临床精度要求。【关键词】血糖预测;Transformer模型;克拉克网
3、格误差分析【中图分类号】R587.1;TP311【文献标志码】AResearch on short-term blood glucose prediction methodsbased on TransformerWANG Yiwen,LI Jianjun,QU Zaipeng(College of Mechanical and Electrical Engineering,China Jiliang University,Hangzhou 310018,China)Abstract Aims:Blood glucose prediction plays a key role in the a
4、utomated treatment of diabetic patients.This research aims to improve the accuracy of blood glucose prediction and better meet the clinical needs.Methods:Based on the DirectNet diabetes clinical data set,a short-term blood glucose prediction model basedon Transformer was proposed.At the same time,th
5、e prediction performance of the Transformer model underdifferent input sequence lengths was analyzed.Finally,in order to further determine the effective predictionrange of the model,the error analysis of the model prediction results within a certain time gradient in thefuture was carried out by usin
6、g the Clark error grid analysis tool.Results:The short-term blood glucoseprediction model based on Transformer achieved good blood glucose prediction results.The prediction was theoptimal with the input sequence length of 20 min.The root mean square error(RM SE)a n d t h e m e a npercentage error(MA
7、PE)of the obtained blood glucose prediction results were better than those of LSTMand GRU models.Conclusions:The short-term blood glucose prediction model based on Transformer has highprediction accuracy;and its prediction results can meet the clinical accuracy requirements.Key wordsblood glucose pr
8、ediction;Transformer;Clark grid error analysis【收稿日期】2023-02-27【基金项目】国家自然科学基金项目(No.51705493)【通信作者】黎建军(198 2-),男,副教授,博士,主要研究方向为医疗机器人。E-中国计量大学学报网址:第3期糖尿病是一种由于胰腺分泌胰岛素不足或者不能分泌导致的慢性疾病 1。国际糖尿病联盟(IDF)官网最新发布的第10 版全球糖尿病地图报告显示,糖尿病导致了全球超过1/10 的死亡,截止到2 0 2 1年,全球5.37 亿2 0 7 9岁成人患有糖尿病,约占全世界该年龄段总数的1/10,预计到2 0 45年糖尿
9、病患者数量将增长到7.8 3亿,其中中国是全球糖尿病成人患者数量最多的国家 2 。胰岛素泵,又称人工胰脏,是目前最有望成为糖尿病患者血糖科学管理与治疗的设备。连续血糖监测设备(CGMS)是人工胰脏的重要组成部分,它为胰岛素泵提供实时的血糖信息,胰岛素泵控制器根据血糖数据信息调节胰岛素输注量使患者身体维持健康的血糖水平 3。由于糖尿病患者的血糖变化是一个复杂的非线性过程,同时胰岛素作用于人体具有时滞性,实现低血糖暂停是确保糖尿病患者安全的前提,预测性血糖监测系统这一功能通过算法预测血糖水平下降到阈值以下,能够提前暂停或调节胰岛素输注4。血糖预测模型分为知识驱动模型、数据驱动模型和混合模型三大类,
10、知识驱动模型需要构建人体血糖生理模型,其参数通常不精确,实现过程特别复杂 5。随着血糖传感技术的不断发展,近年来基于数据驱动的血糖预测模型逐渐增加,数据驱动模型主要基于CGM采集的血糖测量序列,还有一些方法将输人(葡萄糖、膳食、胰岛素、运动等)结合起来,Zecchin等 6 采用了15名T1D受试者的数据,通过基于神经网络算法添加不同输入进行对比实验,用平均绝对误差以及时间增益来评估预测效果,结果表明,胰岛素输人以及摄人碳水化合物相关的输入并不会改善30 min内的短期预测效果。从糖尿病患者的实际血糖管理角度出发,多输人数据的采样与统计复杂程度较大,可应用性不高,因此尽可能选取方便采集的数据作
11、为输人特征,Hamdi 等 7 采用了差分进化(DE)算法加权的支持向量回归(SVR)方法预测短期血糖,选取了12 例糖尿病患者的真实 CGM数据进行了验证,取得了较高的预测精度。Li等 8 提出了一种基于漏积分神经元和岭回归学习算法优化的回声状态网络结构,比极限学习机(ELM)和反向传播(BP)算法具有更佳的预测效王译文等:基于Transformer 的短期血糖预测方法研究并应用于各领域 1315。本文旨在将Transformer模型应用于血糖预测领域。首先在预测效果优异性方面,与其他模型进行对比分析;同时,在预测性能分析方面,探究不同输入长度对模型预测精度的影响;最后,在预测长度有效性方面
12、,通过克拉克网格误差分析Transformer模型的临床适用性。1Transformer模型原理Transformer模型是一个序列到序列的模型,它由输人层、解码层、译码层和输出层四部分组成,如图1。不像传统的RNN顺序结构,它是一种基于Self-Attention机制的架构,具有更好的并行运算能力以及可解释性。因此,Trans-former模型在一些特定时间序列预测场景应用中具有一定的适用性。输入层主要由嵌入层与位置编码层组成,嵌人层主要用于序列数据的向量输人,经过输人Embedding层得到嵌人向量:X,=(x i,X 2,,xr),XERTXdModel,其中T为输人序列的长度,dMod
13、el为嵌人层的维度,ir为输入序列中第1T 位置的嵌人向量。位置编码层是为了确定序列的位置信息,由于没有RNN与CNN中的递归层和卷积层,仅仅依靠自注意力机制无法获取输入的顺序信息,需要主动将序列的顺序信息传递给模型,373果。在时序预测领域循环神经网络(RNN)一直比传统预测方法具有独特的优势,RNN的变体长短记忆单元(long-short term memory,LSTM)以及门控循环网络(gated recurrent unit,GRU)近年来已在时序预测各领域表现出较好的预测效果 9,Sun等 10 采用了一个具有一个LSTM层、一个双向LSTM层和几个完全连接层的序列模型在预测血糖浓
14、度,基于评估标准,LSTM 网络优于线性平均移动差分(ARIMA)和SVR。滕建丽等 11I采用一种基于GRU血糖预测模型,比基本RNN网络、LSTM、支持向量回归具有更好的预测精度。由于RNN方法在面对长序列预测时无法完全消除梯度消失和梯度爆炸等问题,而Transformer模型能够解决该问题,同时可以捕获长期相关性 12 ,因此Transformer模型在时序预测方面得到了广泛关注,近年来开始逐步研究374编码器模块Nx位置编码器输入向量嵌入层图1Transformer模型原理框架Figure1 Transformer model principle frameworkTransforme
15、r采用正弦和余弦函数对序列X,进行位置编码来得到相对位置和绝对位置,其公式为PE(c.2)=sin(t/10 0002/dModel),(1)PE(r.2i+1)=cos(t/10 0002/dModel)。(2)式(1)(2)中,t表示当前序列位置,i表示维度,2 i表示偶数位置,2 i+1表示奇数位置,dModel表示输人特征的维度,PE表示由奇数列和偶数列所得到的位置编码结果。将位置编码信息加人到嵌人层得到向量Gu表示为Gu=X,+PE。编码层是由多头注意力层、前馈全连接层和两个残差连接和归一化层组成。多头注意力层是将嵌入向量G通过多个注意力机制计算后的组合线性变换,该层可以将相同的特征
16、序列映射到不同的特征空间中,自注意力机制过程主要是:W为查询向量变换矩阵权重,W为键向量变换矩阵权重,W为值向量变换矩阵权重,将输入序列经过嵌入层得到的Gu映射到一组查询向量Qr=G,Wf、键向量Kr=G,W和值向量V=G,WY的矢量输出中。之后对Qr和K进行点积计算,由于得到的结果值很大,经过Softmax容易造成梯度消失,为了保持方差控制位1,将得到的值除以Va,再经过Softmax后与V相乘得到自注意力层后的结果,注意力机制的数学表达式如下:中国计量大学学报Attention(Qr,Kr,V)=输出向量Sofmax线性层残差连接&标准化残差连接&标准化前馈网络前馈网络残差连接&标准化多头
17、自注意力机制残差连接&标准化多头自注意力机制第34卷输出模块Attention(G,W4,G,W,G,WY),QTKTAttention(Qr,Kr,Vr)=Softmax/d译码器模块Nx残差连接&标准化带掩码的多头自注意力机制4输出向量嵌入层输入模块(3)(4)(5)前馈全连接层是由两个线性变换组成,中间有一个ReLu激活函数,由于仅仅依赖多头注意力机制不能够达到理想情况,通过该层可以提升网络的性能,其数学表达式如下:FFN()=max(0,Wi+bi)W,+b2。(6)式(6)中:W和W为权值矩阵;b1和bz为偏置项,为输入。位置编码器残差连接和归一化层的作用主要是提高信息传递深度,防止
18、梯度消失,加快模型的收敛能力。译码层中间的结构与编码器相似,但是译码层中的注意力层与编码器的有所不同,译码器是自回归的,在序列预测中考虑未来位置的信息会对当前位置的信息造成干扰,为了防止未来信息可能被提前利用,因此将未来信息用函数掩码掉,本文的预测模型中将译码层用线性层替换。输出层主要由一个线性变换层和一个Soft-max层构成,其中线性变换层是一个简单的全连接神经网络层,它可以将译码器输出的向量结果转换到指定的维度,最后通过 Sigmoid压缩函数和反归一化处理得到对应的输人序列的预测值Y=(yi,y2yTl。2实验对比和分析2.1数据集来源本文数据来源于美国国立卫生研究院发布的Direct
19、Net糖尿病临床数据集,该数据集记录着有100多名糖尿病儿童患者的连续血糖数值,数据采样时间间隔为5min,由专业的连续血糖监测系统所得。图 2 为某糖尿病患者连续 3 d监测的血糖变化曲线。2.2模型评估均方根误差和平均百分比误差被广泛当作量化血糖预测模型性能的两个评估指标。均方根误差和平均百分比误差的计算公式如下:1RMSE=Z(y:-y.)2,ni=11MAPE=ni=1(7)X100。(8)yi第3期400350(Ip.3u)/T30025020015010050E0图2 某糖尿病患者连续3d血糖变化曲线Figure 2 Blood glucose curve of a diabeti
20、c patient for 3consecutive days患者方法Transformer1LSTMGRUTransformer2LSTMGRUTransformer3LSTMGRUTransformer4LSTMGRUTransformer5LSTMGRU分析表1与表2 中的数据可知,Transformer算法在不同预测时长内的预测效果均优于其他两种算法。另外,由于不同患者的血糖波动特性存在差异,在某些患者的短期血糖预测中,Trans-former算法表现出了更小的预测偏差,且预测偏差不会随预测时长的增长而发生显著的变化。因此,相较于 LSTM 与 GRU,Transformer算法在短期
21、血糖预测场景应用中具有更好的预测精度。2.3不同输入序列长度下模型预测性能分析血糖预测模型是根据历史血糖值来预测未来王译文等:基于Transformer 的短期血糖预测方法研究200400样本时间点序列表 15 名糖尿病患者的 RMSETable 1.RMSEof 5diabetic patients时间5min15 min5.84710.5036.82715.3266.53215.4803.3156.5895.97914.3456.08414.4454.8956.5337.06916.8656.85616.6648.17914.15711.94524.31910.77623.2374.960
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Transformer 短期 血糖 预测 方法 研究
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。