基于多层脉冲神经网络的非接触液位检测方法.pdf
《基于多层脉冲神经网络的非接触液位检测方法.pdf》由会员分享,可在线阅读,更多相关《基于多层脉冲神经网络的非接触液位检测方法.pdf(11页珍藏版)》请在咨信网上搜索。
1、基于多层脉冲神经网络的非接触液位检测方法张季伦朱毅李颖陈方刘颖*屈鸿(电子科技大学计算机科学与工程学院成都611731)(北京小米移动软件有限公司北京100085)摘要:尽管基于深度学习的非接触液位检测方法能够较好地完成检测任务,但其对计算资源的较高要求使其不适用于算力受限的嵌入式设备。为解决上述问题,该文首先提出了基于多层脉冲神经网络的非接触液位检测方法;其次,提出了单帧和帧差脉冲编码方法将视频流时间动态性编码成可重构的脉冲模式;最后在实际场景中对模型进行测试。实验结果表明,所提方法具有较高应用价值。关键词:脉冲神经网络;模式识别;LIF神经元;脉冲编码;非接触液位测量中图分类号:TN911
2、.73文献标识码:A文章编号:1009-5896(2023)08-2759-11DOI:10.11999/JEIT221388Non-contact Liquid Level Detection Method Based onMultilayer Spiking Neural NetworkZHANGJilunZHUYiLIYingCHENFangLIUYingQUHong(School of Computer Science and Engineering,University of Electronic Science andTechnology of China,Chengdu 6117
3、31,China)(Beijing Xiaomi Mobile Software Co.,Ltd,Beijing 100085,China)Abstract:Althoughthenon-contactliquidleveldetectionmethodbasedondeeplearningcanperformwell,itshighdemandoncomputationalresourcesmakesitnotsuitableforembeddeddeviceswithlimitedresource.Tosolvethisproblem,anon-contactliquidleveldete
4、ctionmethodisfirstproposedbasedonmultilayerspikingneuralnetwork;Furthermore,spikingencodingmethodsbasedonsingleframeandframedifferenceareproposedtoencodethetemporaldynamicsofvideostreamintoreconfigurablespikepatterns;Finally,themodelistestedintherealscene.Theexperimentalresultsshowthattheproposedmet
5、hodhashighapplicationvalue.Key words:SpikingNeuralNetworks(SNNs);Patternrecognition;LIFneuron;Spikingencoding;Non-contactliquidlevelmeasurement1 引言在许多工业和科学过程中,测量容器内的液位是一项重要任务。“液位”一般是指透明或非透明容器中液体的表面高度。现有的液位检测方法有基于电容电感1,2、电磁3、声学4、超声波5、光纤传感器6,7和浮球8等方法,但是基于电磁、超声波、光纤的方法不适用于含有泡沫的透明液体或蒸汽和灰尘等液体,基于浮球的方法不适用于黏
6、性液体的液位测量,所有方法均不适用于腐蚀性和高温液体的液位检测9。然而,基于机器视觉方法独特的非接触性能有效地避免了这些问题。目前,基于数字图像的方法主要适用于具有特定形状的容器、简单的液位形状以及特定的液体颜色的检测。随着人工智能(ArtificialIntelligence,AI)技术的发展,尤其是深度学习(DeepLearning,DL)在一些认知任务中的表现已经超越了人类,例如,2016年AlphaGo击败了人类顶尖选手李世石,DL作为AlphaGo的主要模块,其强大的逻辑推理能力,引起了学术界的极大关注10,11。与此同时,DL也在图像分类1214、目标检测15,16、语音识别17,
7、18、机器人19等领域取得了长足的进步。在中国制造2025背景下,传统设备正在朝着智能化趋势发展,因此一些基于DL的方法也大量用于传统设备的智收稿日期:2022-11-07;改回日期:2023-06-15;网络出版:2023-06-22*通信作者:刘颖基金项目:国家重点研发计划(2018AAA0100202),四川省科技计划(2022YFG0313)FoundationItems:TheNationalKeyR&DProgramofChina(2018AAA0100202),SichuanScienceandTechnologyProgram(2022YFG0313)第45卷第8期电子与信息学
8、报Vol.45No.82023年8月JournalofElectronics&InformationTechnologyAug.2023能化升级改造中。尽管基于DL学习的方法检测结果非常出色,但是,大多数基于DL方法的模型相对复杂且计算成本高,难以满足智能设备对低功耗要求。除此之外,DL所设计的神经元与大脑中神经元的工作模式相差甚远,前者以“重拟合、轻认知”为特点20。受脑启发的脉冲神经网络(SpikingNeuralNetworks,SNNs)作为第3代神经网络,在功耗上远低于传统的DL模型,十分适用于部署到轻量级边缘计算设备上,为机器实现智能化提供了新思路21,22。第3代SNNs不同于第
9、1,2代人工神经网络,脉冲神经元模拟了生物神经元的脉冲发放机制和信息交换机制。信息交换过程中采用的脉冲序列(SpikeTrains,STs)天然地涵盖了时间信息,使SNNs在处理多元时序信号时具有极大优势23。现有的深度模型只针对神经系统的模拟信号进行建模,而缺乏对生物神经元脉冲机制的模拟。目前,很多研究SNNs的学者结合DL与SNNs各自的优势,以第3代SNNs为研究对象,探究生物启发的多层SNNs模型、编码方式24、模型训练算法25,26,促进模型在现实世界中的应用。SNNs由生物神经网络启发,其经典的生物可塑性脉冲时间依赖可塑性(SpikeTimingDependentPlasticit
10、y,STDP)学习算法27在模型学习能力上不如基于误差回传(BP)的深度学习方法,但SNN模型的时序表征能力、事件离散表达能力以及低功耗、低延迟等特性对工程应用十分重要。因此,Xu等人28在模型构建方面,提出了混合模型框架deepCovDenseSNN。此模型在编码阶段充分利用CNNs的特征提取能力,在学习阶段沿用了SNNs的无监督学习规则来处理特征;在神经编码方面,他们提出了一种转换编码框架,将多模态传感器信息编码为神经元发放的脉冲,然后利用脉冲重构输入刺激29。基于此,我们结合深度模型的层次结构和SNNs的脉冲发放机制,提出一种多层SNNs的非接触液位检测方法。在模型构建方面,首先我们提出
11、的方法并不是一个混合模型,充分利用了SNNs的优势;其次在神经编码方面,由于本文面向非接触液位检测问题,所提出的编码方法沿用了原有的神经编码原理,通过SNNs网络将输入信号进行编码和解码。本文所提出的模型首先将连续输入的图片像素转化为脉冲序列,不仅考虑了静置容器与动态液面之间的关系,突出容器与液面之间的区别,而且保证只有液面产生变化时产生脉冲信号,减少了神经网络的总体脉冲数量,降低了计算复杂度。本文的主要工作:(1)针对深度模型计算成本高的问题,提出了一种轻量级的无接触液位检测方法;(2)为解决杯体边缘与液面距离不断变化的问题,提出了单帧和帧差两种编码方法;(3)基于所提的方法,创建了非接触液
12、面检测数据集来验证模型的有效性。本文的其余部分安排如下:第2节介绍液面检测的相关工作;第3节重点介绍所提模型构建方法以及实现方式;第4节介绍数据集制作过程以及对实验结果分析和总结;最后对所提方法进行总结。2 相关工作许多研究者基于计算机视觉方式实现非接触式检测技术已经做了大量工作,主要可以划分为基于传统的数字图像处理技术和基于DL的方法。基于传统的数字图像处理技术是利用多种常见的数字图像处理技术实现非接触式检测与识别。任明武等人30通过将标尺插入河水中拍摄刻度图像来检测河流水位来解决水汛期堤坝防守看护的问题,该方案首先拍摄标尺图像,然后对含有水位线的标尺图像进行形状校正,其次使用沈俊算子31获
13、取边缘并使用链码跟踪去除无用边缘,最后将去除无用边缘后图像进行垂直投影获得水位线出现位置。黄玲等人32将标杆应用到测量透明瓶装液体上,标杆图像在透过透明液体后成像出现光路折射,利用此原理在透明瓶中搜索图像中标尺发生扭曲位置即为当前液位高度。李博文33从取水杯上方拍摄水杯,并利用Hough圆变换的原理,检测水杯内液位高度,研究出了取水杯智能水位检测系统。上述几种方法主要通过传统的图像处理算法,需要人为设计特征提取器、很强的专业理论知识支撑以及复杂的调参过程,每种方法都是针对具体应用设计,模型泛化能力和鲁棒性较差。DL可以自动学习多尺度、多层次表示,并处理大规模数据。近年来,由于其强大的自动特征学
14、习和分类能力,一些研究人员试图将DL引入非接触检测领域中。卷积神经网络(ConvolutionalNeuralNetwork,CNN)作为最流行的DL模型之一,已广泛用于图像处理,它可以从高维中学习可识别的特征。廖赟等人34基于CNN网络提出了一种水位检测方法,利用ResNet50对输入图像进行特征提取,根据提取到的特征绘制当前水位线位置。Jiang等人35提出了一种使用CNN对相机捕获的RGB图像进行训练,执行非接触式检测食品水平的方法,以检测商店购买的容器中的食物水平。Wang等人36基于声学成像和CNN的滚动轴承非接2760电子与信息学报第45卷触式故障诊断方法,使用麦克风阵列来获取滚动
15、轴承辐射的声场,利用波叠加法(WaveSuperposi-tionMethod,WSM)进行声学成像,利用CNN模型对输入图像进行特征提取。Qiao等人37为解决基于图像分析的水表读取方法存在的场景适应性差、鲁棒性弱等问题,提出了一种基于YOLOv5s的水位检测方法。该方法利用YOLOv5s提取原始视频图像中的水尺区域和所有标度特征区域,利用图像处理技术识别水面线的位置,然后计算实际水位高程。梁霄等人38提出了一种基于深度学习的红外图像液位检测方法,此方法需要结合红外图像采集设备来实现非接触检测。Huang等人39为了减轻静脉输液回血患者的痛苦,提出了一种基于深度学习的液位检测模型,该模型的检
16、测准确率达到了97.68%。尽管基于深度学习的模型为非接触液面检测领域取得了较好的结果,但各种方法却以大量的训练时间和硬件资源为代价。这些模型不能满足现代实际应用中超低消耗的要求。3 基于脉冲机制的非接触液位检测方法3.1 问题描述本文所研究的非接触液面检测系统包括容器、摄像头、液体加注器、容器内液体,如图1(a)所示。在预设场景下,我们发现向容器加注液体到液位到达与容器边缘同高的过程具有以下两个特征:(1)在整个加注过程中,一旦容器被放置在固定平台上开始等待加注,则容器相关图像信息,如容器本体相对于图像视野中的位置、容器俯视角边缘位置等固定信息将不再发生变化,直到加注工作结束。此时,容器将处
17、在相对静止状态,不仅符合实际应用场景,也符合化工、制药等行业中对实验室液体加注的基本安全规范。(2)在加注装置加注过程中,随着加注液体体积的增大,图像帧流中液体的相对位置、液体亮度、液面反射以及其与加注水柱之间的互相扰动持续发生变化,这与整个加注过程中容器位置、图像特征相对静止的状态产生明显差异。加注装置向液体容器不断加注的过程中,液体液面不断上升,视频采集装置获取得到的视频数据因物理光学原因使得加注液面与容器边缘存在碰撞距离,该碰撞过程和碰撞距离具备可被探测的数据基础,如图1(b)和图1(c)所示。根据这一现象,将非接触液面检测问题转化为动态液位边缘(DynamicLevelEdge,DLE
18、)与静态容器边缘(StaticContainerEdge,SCE)的碰撞检测问题(CollisionDetectionProblem,CDP)。为了解决CDP问题,需要抽取原始视频中的容器边缘和液面边缘,本文中结合视频的空间和时间特性分别设计了静态容器边缘检测方法与液位边缘动态检测方法,利用脉冲滑动窗口获取脉冲信息最终实现目标问题的求解。3.2 模型框架本文所提出基于多层脉冲神经网络的非接触液位检测框架的总体结构如图2所示,模型结构一共分为6层。输入层实时接收摄像头采集到的视频信息,将输入的数据分别进行脉冲编码。在编码层,利用单帧图片的静态特性得到容器边缘信息,结合视频流动态时序特性得到液面信
19、息。检测层针对容器边缘层使用具有侧向抑制的方法来提取容器边缘信息,而对液面边缘则只是根据“帧差”信息提取不断扩大的液面信息,并没有使用具有侧向抑制的方法,这可以通过LIF神经元的生物特性对噪声进行抑制使得提取的特征更光滑。在时空同步层,根据多个LIF感受野获取脉冲信息将时间与空间特征相结合。特征融合层综合考察局部(液面边缘)变化图1非液接触液面检测示意图第8期张季伦等:基于多层脉冲神经网络的非接触液位检测方法2761与全局(容器边缘)不变性之间关系并将两种进行编码融合,所提编码方法成功捕捉了特征间的差异性,为后续决策输出提供依据。最后在决策输出层依据神经元点火频率实现非接触式液面检测任务。3.
20、2.1 神经元模型目前,SNN普遍采用LIF神经元40作为构建神经网络的基本单元,因其既具备IAF模型41的简单易用性,又能像H-H神经元模型42那样模拟生物神经元丰富的生理学特性。LIF神经元用一个线性微分方程来描述神经元膜电位变化过程,式(1)定义了常见的LIF模型mdVmemdt=Vmem+Vrest+RmI(t)(1)I(t)RIRCICI(t)=IR+IC=(Vmem Vrest)/Rm+Cm(dVmem/dt)Vmemm=RmCmt此时,模型中的电流是由通过一个电阻的电流和通过一个电容 的电流组成:。表示膜潜能值,表示膜时间参数。神经元内膜潜能值会随着时间 进行累积,当达到Vth阈
21、值时,会发放一个脉冲(Spike),随后它将被重置到静息电位,在接下来的数个时间步中进入绝对不应期,神经元不再对外界输入进行响应。3.2.2 脉冲编码层SNN与ANN的数据表示不同,信息是通过固定的动作电位或SNN中的脉冲来表示和交换的。脉冲序列的发射速率和时间结构都被认为是生物神经系统中的重要信息载体。如对液面检测问题的分析和模型框架所示,脉冲编码层主要有2个子层,其中容器边缘编码层从单帧视频图像中提取容器边缘信息,液面编码层从帧差图像中提取液面变化信息。本文基于脉冲时间的阈值编码(ThresholdCoding,TC)思想,提出了单帧编码方法和帧差编码方法,如图3所示。图3(a)展示了对视
22、频流信息的单帧脉冲编码方法,上图展示编码具体流程;视频流经过Canny算子与单帧TC编码形成单帧脉冲编码。下图为编码视频流示意图,单帧编码更加关注视频流中不变特图2基于多层脉冲的非接触液位检测框架图3脉冲编码2762电子与信息学报第45卷征,此通道上脉冲编码更容易表征容器边缘信息。图3(b)展示了对视频流信息的帧差脉冲编码方法,上图展示视频流经过帧差计算后的TC编码形成脉冲序列。下图为编码视频流示意图,帧差编码更加关注视频流中帧差变化信息,此通道上脉冲编码更容易表征容器中液面随时变化信息。(1)单帧编码方法N NN N SS=T/GN N (S 1)假定图像采集装置采集到视频流的分辨率为、帧速
23、率为F、视频持续时间为T、帧采样间隔为G。根据图像采集装置相关参数,需要将采集到图像灰度化,此时图像可以抽象为一个3维()矩阵M,其中。此时,M矩阵中的图像使用Canny算子提取图像边缘,得到当前图像边缘矩阵E,为避免噪声影响,丢弃视频流中的第1帧图像,因此边缘提取矩阵E的形状为:。在得到边缘提取矩阵E之后进行TC编码,编码过程如式(2)所示sti,j=1,pti,j 0,pti,j(2)pti,jtti,jsti,jtti,jN N S0 1SsglSsglSsgl其中,表示脉冲编码阈值;表示边缘图像矩阵E中 时第 帧的序号;表示边缘图像当前位置;表示单帧编码后产生的脉冲序列,即 时第 帧的
24、边缘图像在位置的脉冲值。边缘矩阵E在脉冲化后需要在首帧前添加一个全0的脉冲静息帧,目的是得到一个的3维的单帧编码脉冲序列。此时,不仅兼容SNN对于输入信号的要求,而且在时序上凸显了输入图像不断变化的关键信息。如上节所述,由静态容器具有位置不变性,经过TC编码后静态容器开口边缘的特征将被增强。因此,单帧编码算法能够有效提取和增强容器边缘特征,为碰撞检测提供基础。(2)帧差编码方法为捕捉视频帧之间液面变化情况,本文采取对输入视频流进行帧差脉冲编码的方法。对视频流矩阵M在相邻两帧图像之间进行帧差计算,同时对计算结果进行TC编码,如式(3)所示fti,j=1,|vti,j vt1i,j|0,|vti,
25、j vt1i,j|(3)t 1vti,jtti,jfti,jtti,j其中,表示脉冲编码阈值;当时,表示边缘视频流中 时第 帧在位置的像素点值;表示在单帧编码后 时第 帧的帧差图像中在位置的像素脉冲值。由于液体在加注过程中,液面边缘呈不断向外扩增趋势,以一个伴随时序变化的图像差异在视频的逐帧之间体现。对于单帧编码用于检测杯口边缘,由静态容器具有位置不变性,不会随时间变化而变化,此时只需关注图像内的空间信息;而帧差编码方法不仅需要时时关注液面变化还需要体现出液面的空间信息,因此,帧差编码出来的脉冲模式既有时间信息又有空间信息。最终,单帧边缘脉冲矩阵对容器边缘进行脉冲空间编码,帧差脉冲矩阵对液面边
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 多层 脉冲 神经网络 接触 检测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。