面向生物视觉的神经编码模型研究:进展与挑战.pdf
《面向生物视觉的神经编码模型研究:进展与挑战.pdf》由会员分享,可在线阅读,更多相关《面向生物视觉的神经编码模型研究:进展与挑战.pdf(10页珍藏版)》请在咨信网上搜索。
1、面向生物视觉的神经编码模型研究:进展与挑战贾杉杉余肇飞*刘健黄铁军(北京大学计算机学院北京100871)(北京大学人工智能研究院北京100871)(利兹大学计算学院利兹LS29JT)摘要:视觉系统通过神经元将丰富且密集的动态视觉刺激编码成时变的神经响应。探寻视觉刺激与神经响应之间函数关系是理解神经编码机理的一种常见手段。该文首先介绍了视觉系统的神经编码模型,归纳为两类:生物物理编码模型和人工神经网络编码模型。然后介绍了各种模型的参数估计方法。通过对比各种模型的特性,总结了各自的优势、应用场景及所存在问题。最后,对视觉编码研究的现状以及未来面对的挑战进行了展望。关键词:类脑视觉;生物视觉系统;生
2、物物理编码模型;人工神经网络编码模型;系统辨识中图分类号:TN919.31;TP183文献标识码:A文章编号:1009-5896(2023)08-2689-10DOI:10.11999/JEIT221368Research on Neural Encoding Models for Biological Vision:Progress and ChallengesJIAShanshanYUZhaofeiLIUJianHUANGTiejun(School of Computer Science,Peking University,Beijing 100871,China)(Institute f
3、or Artificial Intelligence,Peking University,Beijing 100871,China)(School of Computing,University of Leeds,Leeds LS2 9JT,UK)Abstract:Thevisualsystemencodesrichanddensedynamicvisualstimuliintotime-varyingneuralresponsesthroughneurons.Exploringthefunctionalrelationshipbetweenvisualstimuliandneuralresp
4、onsesisacommonapproachtounderstandingneuralencodingmechanisms.Neuralencodingmodelsofthevisualsystemarepresentedthroughoutthispaper,whichcanbegroupedintotwocategories:biophysicalencodingmodelsandartificialneuralnetworkencodingmodels.Thenparameterestimationmethodsforvariousmodelsareintroduced.Bycompar
5、ingthecharacteristicsofvariousmodels,therespectiveadvantages,applicationscenariosandexistingproblemsaresummarized.Finally,thecurrentsituationandfuturechallengesofvisualencodingresearcharesummarizedandforecastedKey words:Brain-likevision;Biologicalvisualsystem;Biophysicalencodingmodel;Artificialneura
6、lnetworkencodingmodel;Systemidentification1 引言视觉是大脑中的一个重要组成部分,理解视觉系统的工作机理对神经科学、机器视觉都有着重要的意义。视网膜神经元捕获外部视觉信息并产生脉冲,经由外侧膝状体传输到视觉皮层,最后形成视觉感知。其中广泛存在的视觉编码是指神经元将丰富且密集的视觉刺激编码为动态的神经活动,是脑科学研究的关键问题,不仅具有重要的理论研究意义,而且具有实际的工程意义。一方面可以揭示人脑视觉系统加工处理信息的工作机理;另一方面可以根据计算机理来建立人工视觉系统:如视觉假体与视觉芯片应用。神经假体是一种区别于传统药物治疗的一种治疗方法,可以替代
7、身体、大脑的某些部分(例如受损运动、感觉和认知性行为),直接作用于神经元1,2。人工耳蜗作为一种感觉神经假体已被广泛应用,可帮助听力受损的人,并且表现良好3,4。然而与听觉相比,视觉神经假体的效果并不理想。视觉神经假体的研究可被分为两大方向:硬件和软件。材料的选择和设计是硬件部分研究的核心5,6,而计算模型的设计则是软件部分的重中收稿日期:2022-11-01;改回日期:2023-03-16;网络出版:2023-03-21*通信作者:余肇飞基金项目:国家自然科学基金(62176003)FoundationItem:TheNationalNaturalScienceFoundationofChi
8、na(62176003)第45卷第8期电子与信息学报Vol.45No.82023年8月JournalofElectronics&InformationTechnologyAug.2023之重。如何设计更好的刺激-响应的编码器,则成为一个十分重要且必须要跨越的难点。近年关于视觉芯片的研究也取得了很多进展,但是在处理实际中的复杂场景的任务上,依然远不及生物视觉系统。开发可模仿生物视觉的具有高清晰、低冗余、低功耗、鲁棒性强的仿生视觉传感器便成为研究热点。最近,受视网膜中央凹的信息处理机制启发,北京大学在视网膜芯片设计方面取得进展,由该芯片装备的脉冲相机是一种新型的神经形态相机7。应用场景十分广泛,包
9、括图像重建810、高速运动物体的检测跟踪识别7,11和光流估计12,13等。视觉系统编码的研究也为计算机科学、人工智能和脑科学的发展提供了新的手段。本文对经典的视觉编码模型进行了总结,指出模型的优势与不足,并对未来发展所面对的挑战进行了展望。2 生物物理编码模型传统视觉系统的编码研究的重点是描述感觉刺激和神经反应之间关系的功能模型。随着研究者对神经系统的了解也逐渐深入,通过设计了更多的生理可解释的计算组件来完善模型的构建。2.1 线性模型r(t)tdk()s(t )=KTS(t)s(t )tk()r(t)tKStr(t)tt 在最简单的情况下,可以假设神经元的响应是仅由一个滤波器的作用而输出的
10、,如:。其中表示时刻之前长度为 的刺激序列,而为长度为 的滤波器,是在 时刻神经响应,为滤波器矩阵,为刺激序列矩阵。线性模型(如图1)认为感受野仅对有限范围内的刺激做出响应。既模型在 时刻用于描述响应的输入,仅限于从 到之间的刺激。通过最小化预测响应与真实响应之间的差距以获得模型参数。但在真实实验的多次相同的刺激下,神经元的响应并不相同。为此,许多研究假设响应的变异性呈高斯分布,滤波器的输出也具有固定的方差。多次试验下,分别在建模脉冲平均发放率14和阈下膜电位15该方法取得一定的效果。但该模型的问题在于恒定方差的假设难以维持,此外高斯响应噪声的假设难以适用单次试验情况,从而导致应用范围受限。2
11、.2 线性非线性泊松模型r(t)f(KTS(t)f感知涉及诸如亮度和声音强度等基本特征的检测,其神经元计算应是非线性的,以便产生更复杂的选择性。经过大量的实验和经验的总结认为使用非线性函数代替滤波器积分刺激后的线性函数更合理,因此发展出了经典的线性非线性(Linear-Non-linear,LN)模型。LN模型主要经历两个阶段,第1阶段,刺激经过线性滤波器16。这些滤波器编码了神经元整合输入的方式,表示在该神经元的敏感区域,刺激随时间变化让该神经元做出响应。第2阶段是非线性获得神经脉冲信号的输出。模型描述为。其中 就是非线性函数。根据所建模的神经元的特点,设计不同种类的非线性函数。当数据量足够
12、时,使用更复杂的刺激也可以通过最大似然估计或者最大信息维度17对模型参数进行估计。当假设脉冲时间仅受刺激的影响,否则完全相互独立。且脉冲时间的分布受以刺激为条件的泊松过程控制,即所有采样时间间隔内的脉冲计数分布必须遵循泊松分布,由此得到线性非线性泊松(Linear-NonlinearPoisson,LNP)模型18。最常见的参数估计方法是基于最大似然估计(MaximumLikelihoodEstimation,MLE)19。此外,由于泊松分布假设了脉冲时间的独立性,因此可以使用最大信息维度的方法进行参数估计。最大信息维度估计(MaximallyInformativeDimensions,MID
13、)是信息论提供了一个直观的方法17,即最大化刺激在滤波器方向上的投影与响应之间的互信息。该方法最大的优点是,突破了以往只能在高斯刺激下描述刺激与响应之间的函数关系。2.3 增益控制模型r(t)f(k()s(t )u(s(t )/v(s(t )u(s)v(s)s研究表明,当外界刺激对比度低时,神经元会重新调整其增益,让神经元对刺激的微小变化变得更加敏感。这种现象普遍的存在于感觉系统,也是感觉系统中许多计算的基础,称为增益控制机制20。主要表现为神经元的响应根据最近刺激的对比度动态调整,或者在空间上感受野外周刺激成分也会影响神经响应。在LNP中,增益的差异通过输出非线性的形状的变化表现出来,主要包
14、括水平缩放对应于增益的变化,沿x轴偏移表示阈值变化,沿y轴偏移对应于最小发放率的变化。因此,增益模型通常会建模为,。其中和分别表示根据刺激 移动和结果。视觉系统中的神经元受到对比度增益控制,这被认为是自然图像的有效编码的理想选择。由于自然图像的对比度在空间和时间上是相关的,图1线性模型2690电子与信息学报第45卷因此通过刺激对比进行归一化可以减少神经编码的冗余21。当刺激水平统计数据在整个频谱中不均匀时,增益控制也不均匀地应用于神经元,这取决于它们的频率调谐。如果神经元的调谐曲线与该波段重叠,则高对比度的光谱受限波段对神经元的压缩作用最大。相反,调谐到其他频率的神经元对其输入的微小变化保持敏
15、感。由于自然环境不能均匀地覆盖整个可视范围,因此这种安排可能会使对比度适应每个特定环境带来的挑战。2.4 线性非线性层级模型简单线性空间滤波的一个基本假设是系统的所有相关非线性都可以包含在输出级的处理中,在空间(和时间)上的刺激积分已经发生之后。这与非线性空间积分的发现相冲突。人们认为,这种非线性空间整合也会影响视网膜神经节细胞对自然刺激的反应,导致使用单个空间滤波器的模型方法失败2224。由于非线性空间整合源于神经节细胞对具有较小感受野的突触前双极细胞的非线性汇集,因此可以通过使用多个空间过滤器(模型的子单元)来明确包含此网络结构来改进模型,并且并行和在求和之前对子单元信号进行非线性变换。这
16、对应于两个LN模型的序列,因此通常称为线性非线性层级模型(LNLN)25。2.5 非线性输入模型McFarland等人26在此基础上提出非线性输入模型(Non-linearInputModel,NIM)(如图2),假设感觉处理中的脉冲生成主要非线性限制来自终于神经元输入的校正以及神经元输出的校正。通过假设神经元的输入被纠正,NIM隐式地将神经元处理描述为兴奋性和抑制性输入的总和,该假设逐渐被视为感觉处理中的重要因素27。由于其相对简单的模型结构,参数估计表现良好,并且即使相关输入的数量很大或者刺激维度很高,也能有效地利用数据。因此,NIM可以捕获更广泛的非线性响应函数,同时提供神经计算的生理学
17、上可解释的描述,为非线性建模提供了一种强大而通用的方法,并补充了依赖于更抽象的非线性计算方法。2.6 广义2次模型虽然感觉刺激是高维的,但感觉神经元通常只对少数刺激特征敏感。线性降维方法寻求根据由少量时空滤波器的子空间来识别这些特征。这些滤波器描述了刺激如何在空间和时间上进行整合,可以被视为神经反应“级联”模型的第1阶段。而原则上,可以使用通用函数扩展来表征非线性神经响应函数。一种方法是使用基本线性模型的多项式展开,Volterra/Wiener核级数展开28。广义2次模型就正是对2阶Volterra模型的扩展。通过使用2次函数代替线性预测值,Park等人29提出了广义2次模型(General
18、izedQuadraticModel,GQM),用以表征神经对高维感官刺激的反应。GQM由低阶2次型组成,其后是点非线性和指数族噪声。其中的2次型指的是一组线性感受野和2次函数组合来表征神经元的刺激选择性,可逆非线性将此输出映射到期望的响应范围。GQM的特殊情况包括2阶Volterra模型和椭圆LNP30。这里证明了对于正则形式GQM,前两个响应加权矩的谱分解通过一个称为期望对数似然量产生近似最大似然估计量。此外,GQM提供了一个用于在单个模型中组合多维刺激敏感性和脉冲历史依赖性的框架。2.7 基于脉冲神经网络的编码模型脉冲神经网络是近年来研究重点,通过模拟神经元在接收到外部信号的过程中膜电位
19、(mem-branepotential)的变化。在真实场景中,膜电位的变化是由离子通道控制的,包括钠、钾和氯离子等。这类受生物物理启发的脉冲神经元有很多,精度很高但计算同样复杂的HH(Hodgkin-Huxley)模型,该模型复杂,由4个非线性微分方程表示,可以详细精确地描述各类离子通道的动态编码。一种折中的选择是Izhikevich模型。保留了生物精度并图2非线性输入模型第8期贾杉杉等:面向生物视觉的神经编码模型研究:进展与挑战2691且运算复杂度也相对较低。而漏电积分发放模型由膜电容和膜电导等价后建立,计算复杂度低,广泛应用于脉冲神经网络中。结合视觉系统的建模,已有工作使用漏电积分发放模型
20、神经元搭建多层脉冲神经网络31。3 基于人工神经网络的编码模型近年来,深度神经网络(DeepNeuralNetwork,DNN)成为计算机视觉任务中的一个强大的模型32。目前生物物理模型仅适用于人工刺激,基于人工神经网络的方法可适用于自然图像,但难以解释底层网络结构组件,同时难以生成与真实大脑一致的编码脉冲信号。3.1 基于卷积神经网络的编码模型Dicarlo组最先使用深度学习及变体来研究视觉的编码问题33,他们搭建一个卷积神经网络(ConvolutionalNeuralNetwork,CNN)来预测视觉系统的腹侧通路中高级视觉皮层的神经响应。发现该模型与人类在对象分类任务中的表现相匹配。尽管
21、没有明确限制匹配神经数据,但该模型结果证明对V4和下颞皮质的神经反应具有高度预测性。随后,大量使用深度学习方法对视觉通路开展研究的工作喷涌出现,并对神经元响应的预测表现良好3438。相对于视觉系统,视网膜的环路更加清晰,以此为对象使用卷积神经网络建模更易实现39,40。利用卷积神经网络对大量数据的学习能力,可用于验证其对复杂的自然场景刺激的编码。首先使用深度卷积神经网络模型捕获视网膜对自然场景响应的组是Ganguli团队41。他们设计了一个3层的网络,包括两层卷积层和1个全连接层。实验结果证明该模型几乎可以在细胞反应的可变性范围内捕获视网膜对自然场景的反应,并且比LN和广义线性模型更准确。此外
22、,还发现了CNN的另外两个令人惊讶的特性:当对少量数据进行训练时,它们比LN更不容易出现过拟合,当对来自不同分布(例如自然场景和白噪声之间)的刺激进行测试时,它们的泛化效果更好。这项工作表明CNN不仅可以准确地捕捉感官电路对自然场景的响应,而且可以产生有关电路内部结构和功能的信息。3.2 基于循环神经网络的编码模型视觉系统并非单纯的前向网络,而包含非常丰富种类的连接方式注定需要在卷积神经网络之外增添新的网络结构以进一步逼近大脑状态,例如循环网络。视觉皮层模型的研究强调了循环连接在模型本身的视觉处理中的作用42,43。这些连接有助于“填充”缺失的数据,许多研究表明真实的视觉皮层允许大脑“预测”未
23、来的刺激44,45。视网膜神经节细胞(RetinalGanglionCells,RGC)可以通过电突触横向连接,即间隙连接或特定的无长突细胞46,47。横向连接允许视网膜检测物体和背景的差异运动,而无长突细胞的特定不对称连接有助于RGC显示方向选择性48。鉴于间隙连接和循环连接在视网膜对动态视觉场景的有效编码中作用49,Zheng等人50提出了一种基于卷积循环网络的模型对视网膜神经节细胞网络进行建模。其中的两层卷积网络模拟视网膜前馈连接,此外增加1层循环网络,最后经由全连接网络输出编码的神经信号。网络设置为,第1层卷积网络中的卷积核大小为2525,在第2层网络的卷积核大小为1111,循环连接层
24、中的单元将使用L2规范化。基于长短时记忆的模型能对动态自然图像刺激产生更好的编码效果。揭示了神经元群体如何协同工作以编码更大的自然场景,使用的深度学习模型识别视网膜回路的计算元素有助于学习自然场景动力学。此外,该模型在模拟数据中学到了神经节细胞时空感受野的形状和位置。4 参数估计方法4.1 最大似然估计法Robs(t)LL=t(Robs(t)lnr(t)r(t)r(t)大多数模型明确或隐含地定义响应的概率分布,给定刺激和一些参数,例如非线性或感受野的权重。通过评估在此分布下观察到的数据的概率,对于已知刺激但变化的参数,可以获得了模型参数上的似然函数。使该函数最大化的参数值以及观测数据的概率,形
25、成最大似然估计器。假设神经元的脉冲在离散时间内由带有速率函数的条件非均匀泊松计数过程描述,则给定一组观测到的脉冲计数的模型参数的对数似然由给出,为发放率。4.2 最大信息维度最大似然估计不是1维的估计器。Sharpee等人17提出了最大信息维度的方法,该方法允许对非高斯且表现出强相关性的自然刺激的神经反应进行统计分析。他们认为神经元对高维刺激空间中的少数刺激维度具有选择性,但在这个子空间内,响应可以是任意非线性的。现有的分析方法基于刺激和响应之间的相关函数,但这些方法保证仅在高斯刺激集合的情况下有效。作为相关函数的替代方案,通过最大化神经反应和刺激投射到低维子空间之间的互信息。该过程可以通过增
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 面向 生物 视觉 神经 编码 模型 研究 进展 挑战
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。