具有正则化约束的脉冲神经网络机器人触觉物体识别方法.pdf
《具有正则化约束的脉冲神经网络机器人触觉物体识别方法.pdf》由会员分享,可在线阅读,更多相关《具有正则化约束的脉冲神经网络机器人触觉物体识别方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、具有正则化约束的脉冲神经网络机器人触觉物体识别方法杨 静 吉晓阳*李少波 胡建军 王 阳 刘庭卿(贵州大学省部共建公共大数据国家重点实验室 贵阳 550025)(贵州大学计算机科学与技术学院 贵阳 550025)(贵州大学现代制造技术教育部重点实验室 贵阳 550025)(美国南卡罗莱纳州立大学计算机科学与工程系 哥伦比亚 29208)摘 要:拓展触觉感知能力是智能机器人未来发展的重要方向之一,决定着机器人的应用场景范围。由触觉传感器采集的数据是机器人完成触觉感知任务基础,但触觉数据具有复杂的时空性。脉冲神经网络具有丰富的时空动力学特征和契合硬件的事件驱动性,能更好地处理时空信息和应用于人工智
2、能芯片给机器人带来更高能效。该文针对脉冲神经网络神经元脉冲活动离散性导致网络训练过程反向传播失效的问题,从智能触觉机器人动态系统角度,引入脉冲活动近似函数使脉冲神经网络反向传播梯度下降法有效;针对触觉脉冲数据量少导致的过拟合问题,融合正则化方法加以缓解;最后,提出具有正则化约束的脉冲神经网络机器人触觉物体识别(Spiking neuralnetwork Tactile dropout,SnnTd;Spiking neural network Tactile dropout-l2-cosine annealing,SnnTdlc)算法。相较于经典方法TactileSGNet,Grid-based
3、 CNN,MLP和GCN,SnnTd正则化方法触觉物体识别率在EvTouch-Containers数据集上比最好方法TactileSGNet提升了5.00%,SnnTdlc正则化方法触觉物体识别率在EvTouch-Ob-jects数据集上比最好方法TactileSGNet提升了3.16%。关键词:触觉感知;脉冲神经网络;识别算法;正则化方法;反向传播中图分类号:TP183文献标识码:A文章编号:1009-5896(2023)07-2595-10DOI:10.11999/JEIT220711Spiking Neural Network Robot Tactile Object Recogniti
4、on Methodwith Regularization ConstraintsYANG Jing JI Xiaoyang LI Shaobo HU Jianjun WANG Yang LIU Tingqing(State Key Laboratory of Public Big Data,Guizhou University,Guiyang 550025,China)(College of Computer Science and Technology,Guizhou University,Guiyang 550025,China)(Key Laboratory of Advanced Ma
5、nufacturing Technology of the Ministry of Education,Guiyang 550025,China)(Department of Computer Science and Engineering,University of South Carolina,Columbia 29208,USA)Abstract:It is important for the future development of intelligent robots to expand tactile perception ability,which determines the
6、 scope of application scenarios for robots.Tactile data collected by tactile sensors are thebasis of robotics work,but these data have complex spatio-temporal properties.Spiking neural network has richspatio-temporal dynamics and event-driven nature.It can better process spatio-temporal information
7、and beapplied to artificial intelligence chips to bring higher energy efficiency to robots.To solve the problem ofbackpropagation failure in the network training process caused by the discreteness of neuron spike activity inthe spiking neural network,from the perspective of the dynamic system of the
8、 intelligent robot,the spiking 收稿日期:2022-06-01;改回日期:2022-07-30;网络出版:2022-08-19*通信作者:吉晓阳基金项目:国家重点研发计划(2018AAA0101800),国家自然科学基金(62166005),教育部重点实验室开放项目(黔教合KY字2020245),贵州省高层次留学人才项目(2021)09号),贵州省自然科学基金项目(黔科合基础-ZK2022一般130,黔科合支撑2021335)Foundation Items:The National Key R&D Program of China(2018AAA0101800)
9、,The National Natural Science Foundation of China(62166005),The Joint Open Fund Project of Key Laboratories of the Ministry of Education(2020245),The Guizhou University TalentsProject(GRJH202009),The Natural Science Foudation of Guizhou Province(QKH-ZK2022130,QKH2021335)第45卷第7期电 子 与 信 息 学 报Vol.45No.
10、72023年7月Journal of Electronics&Information TechnologyJul.2023activity approximation function is introduced to make the spiking neural network back-propagation gradientdescent method effective.The over-fitting problem caused by the small amount of tactile data is alleviated bythe regularization metho
11、ds.Finally,the spiking neural network robot tactile object recognition algorithmSnnTd and SnnTdlc with regularization constraints are proposed.Compared with the classical methodsTactileSGNet,Grid-based CNN,MLP and GCN,the SnnTd method tactile object recognition rate is improvedby 5.00%over the best
12、method TactileSGNet on EvTouch-Containers dataset,and the SnnTdlc method tactileobject recognition rate is improved by 3.16%over the best method TactileSGNet on EvTouch-Objects dataset.Key words:Tactile perception;Spiking neural network;Recognition algorithm;Regularization method;Backpropagation 1 引
13、言物体感知是智能机器人的基本技能,是执行任务的基础。计算机视觉感知技术的进步为机器人提供了视觉对象识别能力,但视觉技术在低光照和强遮挡下视觉感知能力较弱,不能区分具有相似视觉特征的物体,不能直接提供物体间互相接触的信息。同时,时下大部分机器人自动系统没有触觉感知能力,更没有像人类一样使用触觉去感知不同物体的能力1。研究机器人触觉感知方法对促进智能机器人拥有与人类相似的触觉感知能力具有重要意义。触觉传感器能够提供温度、粗糙度、压力等视觉与听觉无法提供的信息,能够辅助机器人适应更多工作场景。触觉传感器分为触觉刚性传感器和柔性传感器2。压电刚性传感器可由硅、氧化锌等材料制成3,而光学刚性传感器可用于
14、检测表面粗糙度等4,此外还有电容式刚性传感器5。而柔性触觉传感器可以不规则部署于智能机器人上和更强的信号感知能力,在机器人触觉感知中具有较好的应用前景6。柔性压力传感器在不影响抓握的情况下附着于手指上检测压力,作为电子皮肤感受环境带来的刺激7。其在智能机器人中的研究包括:Sundaram等人8制备触觉传感器阵列手套,用于学习人类的抓握特征。Kim等人9研制柔性多阵列触觉传感器采集触觉数据完成物体表面材质分类任务。柔性触觉传感器在医疗康复机器人领域中发挥着重要作用10,11。然而,触觉机器人需具备人体触觉反馈特性和分析触觉传感器数据特征的能力。人体触觉系统受环境事件的发生而激活,例如触摸到高温或
15、尖锐物体时,触觉系统通过神经元向中枢神经系统发送信号,这即是触觉的事件驱动性12。同时,触觉是具有时空性的,既要考虑所处的空间,也需要考虑时间变化情况。因此,针对触觉传感器数据的研究需要兼顾空间信息与时间信息。本文从时间和空间两个维度分析触觉数据特征,挖掘触觉数据价值。随着人工智能芯片的诞生,如神经拟态芯片,其运算单元之间通过类似生物神经脉冲信号相互通信,目前产品有英特尔Loihi芯片13,14等。采用神经拟态芯片能更快地处理AI任务,带来更高的能效,而脉冲神经网络便是通过脉冲活动向下一层神经元发送信息。为更好地将脉冲神经网络应用于触觉机器人,本文利用事件驱动性提高神经元处理数据的能力,采用脉
16、冲神经网络作为处理具有时空特性的触觉数据,这有利于将来应用于神经拟态芯片。脉冲神经网络受人类神经元工作方式启发,通过时空动力学模仿人类神经行为,并使用二进制脉冲信号在神经元之间进行通信,在生物学设计上也更加合理15,16,但二进制脉冲信号会导致脉冲神经网络不能使用梯度下降法进行训练。现有的脉冲神经网络训练方法主要分为3类:无监督学习17,18、人工神经网络转换为脉冲神经网络19,20以及监督学习21,22。在脉冲神经网络研究触觉感知技术领域2326,新加坡国立大学和南洋理工大学走在探索前沿。ST-MNIST数据集是在触觉阵列传感器上书写得到的数字触觉脉冲数据集23。脉冲神经网络还用于学习触觉传
17、感器读数的神经编码以完成快速纹理分类24,以及作为机器人视觉系统的辅助手段完成容器分类和旋转滑动检测任务25。Gu等人26提出的TactileSGNet核心思想是利用触觉像素点的连通性,构造不同的图神经网络,并利用脉冲神经网络完成物体分类。但上述方法,均未考虑触觉脉冲数据量较少导致的过拟合问题。虽然其他领域对过拟合问题已经做过相关研究2729,但在触觉物体识别领域,还未见到相关报道。由触觉传感器采集具有时空信息的触觉数据,然后利用脉冲神经网络完成物体的识别任务。通过反向传播函数的近似函数克服脉冲神经活动不可微问题,使模型能够使用梯度下降法进行训练。针对具有时空信息的触觉脉冲数据样本量较少导致的
18、过拟合问题,融合正则化方法予以缓解。2 本文方法为了利用触觉数据完成物体识别任务,构建如图1所示脉冲神经网络架构。该网络由3个LIF层、2596电 子 与 信 息 学 报第 45 卷2个Dropout层、2个FC层和1个TAGConv(Topo-logy Adaptive Graph Convolutional,TAGConv)层以及1个Voting层组成,输出数据的预测类别标签。2.1 Leaky Integrate-and-Fire模型采用脉冲神经网络识别触觉物体过程中,脉冲神经元是基本计算单元。从智能触觉机器人的角度,引入具有生物学特性的LIF(Leaky Integrate andFi
19、re)模型描述神经元的输入输出21。LIF神经元时空动力学表示为dP(t)dt=(P(t)PREST)+Y(t)(1)P(t)tY(t)tPRESTP(t)PTHP(t)PRESTPREST=0其中,表示脉冲神经元 时刻的膜电位,表示在 时刻神经元接收到的外部触觉数据输入,是神经元的静息电位,是膜时间常数。当脉冲神经元的膜电位超过阈值时,该神经元会产生脉冲输出,并将膜电位重置为。令神经元静息电位,得到dP(t)dt=P(t)+Y(t)(2)P(t)|t=ti1=Pti1因为脉冲神经网络的脉冲活动通过离散的二进制信号1和0进行传递,所以脉冲神经网络反向传播中梯度下降失效。此外,触觉数据既有空间域
20、信息也有时间域信息,因此,脉冲神经网络的梯度下降不仅发生在空间域,还需考虑时间域变化。通过初始条件求解线性方程式(2),得到Pt=Pti1eti1 t+Yt(3)Ett式(4)中为神经元在 时刻产生脉冲情况:Et=O(Pt)(4)EttEt=1Et=0O(Pt)其中,表示在 时刻神经元是否产生脉冲,其值用1或0表示。当时,神经元产生脉冲,当时,无脉冲产生。其中是阶跃函数,描述了触觉脉冲信号的产生过程,其定义为O(Pt)=1,Pt PTH 00,Pt PTH 0(5)t即在 时刻经过脉冲神经网络中神经元动力学模型之后的神经元膜电位大于膜电位阈值,则产生脉冲输出,反之无脉冲产生,如图2所示。Pti
21、1eti1 tYtYt式(3)表明LIF神经元膜电位受到前一时刻膜电位影响,同时也受到当前时刻外部输入影响。其中表示前一时刻膜电位影响,表示外部输入影响。其中与外部输入和偏置有关,可写为Yt=wn1En1t+bn(6)wn1n 1bnnEnttnEnt=1Ent=0其中,表示第层的权重,表示第 层的偏置,表示 时刻第 层是否产生脉冲,若产生脉冲,否则。则将式(3)改写为Pnt=Pnt1H(Ent1)+wn1En1t+bn(7)PnttnH(Ent1)=eEnt1表示 时刻第 层脉冲神经元的膜电位,。2.2 LIF的反向传播LT根据脉冲神经网络模型预测结果,计算网络输出与标签之间误差平方和的均值
22、,即网络模型损失函数 在时间窗口 内平均投票结果的均方误差:L=12SSs=1(Rs1TTt=1Os)2(8)SRssOSll其中,为触觉数据训练样本的总量,是第 个触觉数据样本的标签,是输出层的结果。对于标签为 的训练样本,触觉模型理想情况是代表第类的神经元具有最高的输出值。nPntn 1En1tnt 1Pnt1从图3可以看出,神经元前向传播中,第 层神经元膜电位由空域中第层神经元的输出脉冲,以及时域中第 层神经元时刻的神经元膜电位共同决定。而在反向传播过程中,第 图 1 网络模型结构图 图 2 LIF神经元脉冲活动第7期杨 静等:具有正则化约束的脉冲神经网络机器人触觉物体识别方法2597n
23、Pntn 1En1tnt 1Pnt1层神经元膜电位在空域上影响第层神经元的输出脉冲,在时域上影响第 层神经元时刻的神经元膜电位。故脉冲神经网络进行反向传播时需要同时考虑空域和时域。结合图3以及式(4)式(8),得到损失函数与脉冲活动以及神经元膜电位之间的关系,即式(9),式(10):LEnt=LEn+1tEn+1tEnt+LEnt+1Ent+1Ent(9)LPnt=LEntEntPnt+LEnt+1Ent+1Pnt(10)Lwb然后根据式(4)式(10),通过复合函数的链式法则得到损失函数 与权重、偏置 之间的关系:Lw=Tt=1LPntPntw=Tt=1LPntEn1t(11)Lb=Tt=1
24、LPntPntb=Tt=1LPnt(12)LPntEntwb从式(11)和式(12)中可看出,损失函数 通过神经元膜电位以及神经元输出,构建与权重、偏置 之间的推导关系。值得注意的是,由于脉冲活动具有离散性,导致不能直接通过梯度下降法完成反向传播以更新参数。需要采用连续函数模拟脉冲活动的反向传播,使得梯度下降法有效,即EtPt=O(Pt)Pt f(Pt)(13)O(Pt)高斯累计分布函数在阶跃函数的值发生跳跃处连续且可导,所以可以求解其1阶导数,这保证了脉冲神经网络能够在反向传播过程中求解梯度,从而可以利用梯度下降法进行训练,同时该函数的性能在脉冲神经网络的其他领域已得到验证21,22。因此本
25、文采用高斯累计分布函数的1阶导数作为脉冲活动的近似函数,具体用式(14)表示:f(Pt)=12ae(PtPTH)22aO(Pt)Pt(14)a其中,是宽度系数,能够影响曲线的陡峭程度。2.3 具有正则化约束的脉冲神经网络机器人触觉物体识别方法神经网络借助大量数据训练,以得到更优的网络参数,提升网络性能。当已有数据量不足以使参数最优时,存在导致神经网络出现过拟合等问题的风险,在脉冲神经网络中亦然。现有机器人触觉脉冲数据样本较少,为增强网络的鲁棒性,本文在训练算法中引入正则化方法,缓解训练数据较少带来的过拟合问题,提升触觉物体识别算法性能。Dropout正则化方法通过随机丢弃神经网络中网络层上的神
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 具有 正则 约束 脉冲 神经网络 机器人 触觉 物体 识别 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。