NAFENet:基于全局注意力特征融合的螺纹扭矩曲线分类网络.pdf
《NAFENet:基于全局注意力特征融合的螺纹扭矩曲线分类网络.pdf》由会员分享,可在线阅读,更多相关《NAFENet:基于全局注意力特征融合的螺纹扭矩曲线分类网络.pdf(7页珍藏版)》请在咨信网上搜索。
1、NAFENet:基于全局注意力特征融合的螺纹扭矩曲线分类网络李文哲1,马梓瀚1,罗伟1,汪传磊1,潘显珊2,何小海21(西南油气田工程技术研究院,成都610017)2(四川大学电子信息学院,成都610065)通信作者:何小海,E-mail:摘要:为了提高螺纹油套管气密封检测的工作效率,本文提出了一种基于全局注意力特征融合的螺纹扭矩曲线自动分类网络,即 NAFENet.具体来说,NAFENet 为了增强模型的表达力,将 EfficientNet-B0 的卷积结构扩展至 11 层得到 EfficientNet-B11.同时,在其每个 MBConv 卷积层中构建了基于 non-local 全局注意力
2、和 AFF 特征融合模块,以帮助模型获取曲线图像中较为全局的信息,提高特征提取能力.实验结果表明,NAFENet 在参数量相较于EfficientNet-B0 只有小幅度的增加情况下,曲线识别精度有了较大提升,在自制 UBT_Curve 数据集上,模型准确率达到 92.87%.关键词:气密封检测;螺纹曲线图像识别;EfficientNet-B0;注意力机制;特征融合;神经网络引用格式:李文哲,马梓瀚,罗伟,汪传磊,潘显珊,何小海.NAFENet:基于全局注意力特征融合的螺纹扭矩曲线分类网络.计算机系统应用,2023,32(12):136142.http:/www.c-s- Network fo
3、r Thread Torque Curves Based on Global AttentionFeature FusionLIWen-Zhe1,MAZi-Han1,LUOWei1,WANGChuan-Lei1,PANXian-Shan2,HEXiao-Hai21(EngineeringTechnologyResearchInstituteofPetroChinaSouthwestOilandGasFieldCompany,Chengdu610017,China)2(CollegeofElectronicsandInformationEngineering,SichuanUniversity,
4、Chengdu610065,China)Abstract:Toimprovethesealdetectionefficiencyofthreadedoilcasinggas,thisstudyproposesanautomaticclassificationnetwork,NAFENet,forthreadedtorquecurvesbasedonglobalattentionfeaturefusion.Specifically,NAFENetextendstheconvolutionalstructureofEfficientNet-B0to11layerstoobtainEfficient
5、Net-B11andenhancethemodelexpressiveness.Meanwhile,themodulesbasedonnon-localglobalattentionandattentionalfeaturefusion(AFF)arebuiltineachMBConvconvolutionallayertohelpthemodelacquiremoreglobalinformationinthecurveimagesandimprovethefeatureextractionability.TheexperimentalresultsshowthatcomparedwithE
6、fficientNet-B0,theparameternumberofNAFENetisslightlyincreasedwithimprovedcurveidentificationaccuracy,andthemodelaccuracyreaches92.87%onthehomemadeUBT_Curvedataset.Key words:airsealdetection;recognitionofthreadcurveimages;EfficientNet-B0;attentionmechanism;featurefusion;neuralnetwork1引言随着生活水平的提升,人们对能
7、源的需求不断增长,其中油气作为国家发展的重要能源,在深井、高温高压气井以及含有腐蚀介质的气井等复杂工况下的开计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(12):136142doi:10.15888/ki.csa.009345http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041基金项目:中国石油天然气股份有限公司油气与新能源分公司科技项目(20220302-09)收稿时间:2023-06-27;修改时间:2023-07-27;采用时间:2023-
8、08-08;csa 在线出版时间:2023-10-20CNKI 网络首发时间:2023-10-23136系统建设SystemConstruction发日益增多.油气能源开采时为了便于传输需要将数根螺纹油套管相互连通,油套管上扣不到位或者油套管螺纹接口出现磕碰和破损,都会影响油套管的密封性,进而导致传输过程中油气泄露,给油气开采带来一定安全隐患1.在油套管上扣过程中,扭矩仪实时检测油套管公、母螺纹接头的受力情况并生成上扣扭矩曲线图,因此可以根据生成的扭矩曲线图像的形态特征来间接地分析和推断油套管的密封性.当油套管上扣不到位,螺纹上扣扭矩曲线表现为没有明显拐点;当油套管口存在破损,曲线表现为有强烈
9、波动.针对油套管密封性能的检测,目前主要是采用人工监测油套管上扣扭矩曲线的方式.然而,多年的现场应用表明人工检测扭矩曲线的方式效率低下,且容易受到人为主观因素的影响,油气开发的安全性得不到保障.为了解决人工检测扭矩曲线存在的问题,根据油套管不同状态下的扭矩曲线的形态特征,使用计算机识别曲线代替目前的人工检测方式,提高油气开发过程的效率和可靠性.李静等人2提出一种曲线特征提取方法,李卫华等人3根据测井曲线特征识别砂砾岩沉积相,张强等人4利用井径测井曲线作为样本数据分析岩性分层变化规律,陶羽5对典型生产井曲线特征进行分析.在传统的曲线分类方法中,曲线特征提取完成后再通过 SVM 或随机森林等算法进
10、行分类,这些方法存在精度低、效果差等问题,可靠性无法保障.随着深度学习的不断发展,神经网络模型由于其具有高精度和良好特征提取能力等特点得到广泛应用,许多基于深度学习的曲线特征提取和分类方法被提出.林顺富等人6提出了一种基于稀疏自动编码器神经网络的曲线分类方法,董军等人7使用模糊 C 均值聚类的方法建立了曲线分类模型,张慧波等人8提出一种改进 K-means 与长短期记忆神经网络-卷积神经网络分类模型结合的负荷曲线分类方法,Ma 等人9设计了一种端对端的神经网络模型进行曲线分类识别.深度神经网络也被广泛应用于图像分类领域,并且许多图像分类算法已经被提出并取得了显著的成果,在精度和模型量级方面表现
11、出良好的性能1016.在将神经网络模型应用到工业生产时,模型的精度和量级往往起到关键作用.因此,本文将基于深度学习的图像分类方法应用于气密封螺纹上扣扭矩曲线的检测工作,通过扭矩曲线的分类识别,判断油套管的密封性能.基于上述情况,本文对 EfficientNet-B0 网络模型进行了改进,提出一种气密封螺纹上扣扭矩曲线分类网络模型:NAFENet,用于对气密封螺纹油套管上扣扭矩曲线进行分类识别工作.该模型的分类结果可以作为油套管气密封性能评价的一种指标,进而有效提高油气开采现场的工作效率,并为油套管的气密封性判断提供有效参考.2EfficientNet-B0 网络模型从工业上的实际应用出发,对于
12、需要进行故障检测的网络模型,精度和量级都是需要考虑的问题.本文在自制 UBT_Curve 数据集上对多个图像分类网络进行了测试和验证,从模型轻量化和高精度的方面考虑,EfficientNet-B0 网络具有较大优势,模型精度较高并且参数量较少.因此,本文基于图像分类算法 EfficientNet-B0进行改进.EfficientNet 系列网络模型的基础架构是通过神经网络架构搜索(neuralarchitecturesearch)进行设计的.卷积神经网络的模型训练在已知硬件资源的条件下进行的,因此,当硬件资源充足时,可以通过增加网络模型的深度和宽度来获得更好的训练结果.在 EfficientN
13、et系列网络模型中,研究人员提出了一种全新的模型缩放方法使系统模型更易于缩放,该模型缩放方法通过合理地调整这些复合系数来平衡底调整网络的深度、宽度和输入图像的分辨率等参数.EfficientNet-B0 作为 EfficientNet 系列的基础网络模型,在 ImageNet 数据集上进行训练17,总共包含5330564 个参数.该网络的核心结构是 MBConv 模块,该模块还引入 SENet 注意力机制18.EfficientNet-B0模型结构,是由 16 个 MBConv 模块,2 个卷积层,1 个全局平均池化层和 1 个分类层构成,如表 1 所示.表 1EfficientNet-B0
14、网络结构StageOperatorResolution Channel Layer Stride1Conv3322422432122MBConv1,k3311211216113MBConv6,k3311211224224MBConv6,k55565640225MBConv6,k33282880326MBConv6,k551414112317MBConv6,k551414192428MBConv6,k3377320119Conv11&Pooling&FC77128013改进的 EfficientNet 网络3.1 EfficientNet-B0 卷积结构优化本文在 EfficientNet-B0
15、 网络模型的基础上扩展卷2023年第32卷第12期http:/www.c-s-计 算 机 系 统 应 用SystemConstruction系统建设137积结构至 11 层得到 EfficientNet-B11.将训练网络原始第 3 层和第 4 层之间增加一层卷积,该增加的卷积层与第 3 层的不同之处为卷积核大小变为 55、步长变为 1,其他部分与第 3 层相同.另外将训练网络原始第 7 层和第 8 层之间增加一层卷积,该增加的卷积层与第7 层的不同之处为卷积核大小变为 33、步长变为 1,其他部分与第 7 层相同,增加卷积层后的 EfficientNet-B11 共有 11 层卷积.调整后的
16、 EfficientNet-B11 模型框架如表 2 所示,其中 Operator 表示在对应 Stage 的操作,Resolution 对应每一个 Stage 的输出特征图的高和宽,Channels 对应该 Stage 的输出特征通道数,Layers表示该 Stage 中的 Operator 重复了多少次.Stage1 是一个常规卷积层,Stage2Stage10 是由16 个如图 1 中的 MBConv 模块堆叠而成,该模块是一个结合了深度可分离卷积和注意力机制的倒置残差结构,可分为主干分支和残差分支两个部分.在主干分支中,首先对输入的特征矩阵进行 11 的逐点卷积并根据扩充倍数改变输出通
17、道维度(扩充倍数为 1 时,则没有这一层 11 的卷积),接着使用 kk 的逐通道卷积(depthwiseconvolution)进行特征提取,再以 11 的逐点卷积结尾恢复原通道维度,最后进行连接失活.Stage11 由 11 的卷积层、平均池化层和全连接层组成,在 Stage1 和 Stage11 中的卷积层都包含一个批归一化操作(batchnormalization,BN),并使用了 Swish 激活函数.为了提高模型的泛化性能,本文在卷积模块MBConv 中采用了 earlystopping 正则化技术19,该技术在每个迭代过程结束后,评估模型在验证集上的性能,进行判断是否停止训练.通
18、过这种策略,有助于避免模型过度拟合训练数据,提高其对新样本的适应能力.表 2优化后的 EfficientNet-B11 网络结构StageOperatorResolution Channel Layer Stride1Conv3322422432122MBConv1,k3311211216113MBConv6,k3311211224224MBConv6,k55565624115MBConv6,k55565640226MBConv6,k33282880327MBConv6,k551414112318MBConv6,k551414192429MBConv6,k33771924110MBConv6,
19、k33773201111Conv11&Pooling&FC7712801Convx1,s1Depwise Convkk,s1/s2Non-localConv11,s1AFFBNSwishBNSwishBNEarly stoppingInputOutput图 1MBConv 模块3.2 Non-local 注意力机制图像数据的卷积操作具有局部连接的特性,意味着卷积的结果仅与周围的局部区域相关.在曲线图像中,曲线部分的像素区域只占整体图像的小部分,而大部分图像像素则为空白或是图像边框.传统的神经网络使用 33 或 55 的卷积核在整张图像上进行滤波操作,这种方式处理了图像的局部信息,但可能导致大部
20、分区域的处理结果与问题无关,因为这些区域不包含曲线信息.此外,曲线图像的识别任务不仅关注曲线各部分的细节信息,更需要关注曲线的整体信息,例如曲线的整体趋势和曲线部分在图像中的范围信息.传统卷积操作可能无法充分捕捉到这些全局信息.为了捕捉曲线图像中更广泛的依赖关系,本文引入了 non-local 注意力机制20来提取曲线图像中的重要特征,从而提高网络模型的分类精度.Non-local 注意力模块如图 2 所示,它通过计算任意两个位置之间的交互来捕捉远程依赖关系,而不仅局限于相邻点,这相当于在特征图上构建了一个与尺寸相同的大型卷积核,从而保留更多的信息.这种方法可以扩大卷积操作的感受野,超出局部领
21、域的范围.最终,通过相应的加权操作,实现对更大范围内的特征进行有效处理,而不仅仅局限于局部区域,这样可以捕捉到更多的全局信息,并提升对曲线图像的处理能力和分类准确性.Non-local 操作具体的计算过程如下:yi=1C(x)jf(xi,xj)g(xj)(1)其中,x 是输入特征图,i 代表的是当前输出位置,如空间、时间或者时空的索引,其响应对 j 进行枚举然后计算得到,j 代表全局响应,f 函数计算 i 和 j 的相似度,g 函数表示计算特征图在 j 中的位置,最终的 y 是通过计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第12期138系统建设SystemCons
22、truction响应因子 C(x)进行标准化处理以后得到的.其中,f 函数的计算公式如下:f(xi,xj)=exTixj(2)C(x)=jf(xi,xj)(3)g 函数的计算公式如下:g(xj)=Wgxj(4)其中,Wg表示需要学习的权重矩阵.g:111:111111 THW1024XZ:111THW512512THWSoftmaxTHW512THW512 THWTHWTHW512THW512THW512THW512图 2Non-local 注意力模块如图 1 所示,通过将 EfficientNet-B11 网络模型中MBConv 模块中 kk 的逐通道卷积之后引入 non-local注意力操
23、作来帮助模型获取曲线图像中较为全局的信息,来为后续的分类提供更丰富的全局特征.3.3 AFF 特征融合模块特征融合的目的是把从图像中提取的特征合并成一个比输入特征更具有判别力的特征.在大多数任务中,通常使用简单线性的操作来实现不同特征的融合操作,比较经典的图像融合方法有串联(concatenation)和逐个元素求和(summation),串联融合方法的思想是直接将两个特征进行连接,若两个输入特征 F1 和 F2的维数分别为 x 和 y,输出特征的维数为 x+y.逐元素求和的方法则是对输入特征直接进行对应元素的相加,这一操作的前提是这两个特征的维度相同,假设两个输入特征为 F1 和 F2,则输
24、出特征 Z 的表达式为 Z=F1+iF2,其中 i 是虚数单位.串联和求和的特征融合方式虽然简单有效,但不一定是最佳选择,为了提高网络对提取到的特征的利用能力,在 EfficientNet-B11网络中引入了注意力特征融合(attentionalfeaturefusion,AFF)21来帮助模型更好地融合卷积注意力模块提取到的曲线图像特征.如图 3 所示,对于输入的特征 X 和特征 Y,首先使用逐元素求和的方式进行初始融合,将得到的融合特征传入两个不同的分支来提取注意力权重,一个分支使用全局平均池化加逐点卷积的方式来提取特征的全局注意力,另一个分支直接使用逐点卷积提取特征的局部注意力.然后将两
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- NAFENet 基于 全局 注意力 特征 融合 螺纹 扭矩 曲线 分类 网络
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。