机器学习回归不确定性揭示自驱动活性粒子的群集相变.pdf
《机器学习回归不确定性揭示自驱动活性粒子的群集相变.pdf》由会员分享,可在线阅读,更多相关《机器学习回归不确定性揭示自驱动活性粒子的群集相变.pdf(8页珍藏版)》请在咨信网上搜索。
1、专题:华南师范大学建校暨物理学科建立 90 周年机器学习回归不确定性揭示自驱动活性粒子的群集相变*郭唯琛艾保全贺亮(华南师范大学物理学院,理论物理研究所,广州510006)(2023年 5月 30 日收到;2023年 7月 16 日收到修改稿)本文发展了一种利用逆统计问题中的回归不确定性来自动探索物质相的新方法.以自驱动活性粒子的群集相变为例,展示了对于这一类涉及非平衡、非晶格、一阶相变等复杂要素的多体系统,在训练人工神经网络处理其中的逆统计问题回归任务,成功重构出系统的噪声强度这一参数之后,回归结果的不确定性关于实际噪声强度的分布具有非平庸的规律性,可用于揭示该系统中的群集相变,并自动提取相
2、变的临界噪声强度.本文还与两种基于神经网络分类能力的常见方法进行直接对比,讨论了它们的异同和各自特点.结果表明,本文发展的新方法不仅具有使用效率较高和所需预设的物理知识较少等实用优势,而且更有在理论层面较为自然地与传统物理概念建立联系的可能性,对于跨领域的不同物理系统都有良好的通用性和有效性.关键词:机器学习,相变,非平衡多体系统,逆统计问题PACS:07.05.Mh,05.70.Fh,05.70.Ln,02.30.ZzDOI:10.7498/aps.72.202308961引言近年来,基于人工神经网络(artificialneuralnetwork,ANN)的机器学习技术已越来越多地为凝聚态
3、和统计物理领域的研究提供帮助.尤其是2017 年Melko 和Carrasquilla1以及vanNieuwen-burg 等2分别报道了自动探索物质相的“留白法”(learningwithblanking)1,2和“混淆法”(learningbyconfusion)2之后,这两种利用 ANN 处理分类任务的强大能力的方法以及它们的一些衍生方法111,已成功地为许多不同物质相的存在性提供了数据驱动的新证据,并为对应相变点的参数临界值提供了数据驱动的新估计.这样的成功案例遍及凝聚态和统计物理领域的各种物理系统,也包括涉及非平衡3,4、拓扑缺陷5,6、强关联费米子7,8等复杂要素的情况.对于经典系
4、统和量子系统,这一类机器学习方法不仅能处理由数值模拟产生的原始数据,还可以协助分析由实验观测得到的原始数据911.然而,由于 ANN 的底层工作机制至今仍未得到足够清晰的解释,ANN 通过直接拟合原始数据而给出的分“类”结果与被研究的物理系统中的物质“相”的理论联系往往难以捉摸1214.面对这一困难,值得注意的是 ANN 除了具有强大的处理分类任务的能力,还同样具有强大的处理回归任务的能力,而回归任务的结果通常具有明确的物理意义.例如,相应于研究一个物理系统时的正向思维“给定系统参数的取值,求系统的可能状态”,所谓的逆统计问题(inversestatisticalpro-blem,ISP)15
5、指的是“给定一个具体的系统状态,*国家自然科学基金(批准号:12275089,12075090)、广东省自然科学基金(批准号:2023A1515012800,2022A1515010449)和科技部重点研发计划(批准号:2022YFA1405304)资助的课题.通信作者.E-mail:通信作者.E-mail:2023中国物理学会ChinesePhysicalSocietyhttp:/物理学报ActaPhys.Sin.Vol.72,No.20(2023)200701200701-1求它可能对应的系统参数值”,这就是一种典型的回归任务.如果用 ANN 处理 ISP 的回归,ANN 的输出值就不再是
6、处理分类任务时难以捉摸的“类”,而是被重构的系统参数值本身.事实上,ANN 处理回归任务的能力及其与传统物理概念的直接联系,已经开始被物理学家关注.尤其是 Tegmark 等1619探索了其自动构建物理理论的可能性,发现 ANN可以在一些相关的回归任务中提取出系统的运动方程16、对称性17、守恒律18等等,甚至还用 ANN重建了费曼物理学讲义中涉及的 100 公式19.这些有趣的研究成果体现了 ANN 的回归结果比ANN 的分类结果更具有联系物理的可能性.由此,基于 ANN 回归的自动探索物质相的机器学习方法也逐渐开始出现,例如最近刚刚出现的利用 ISP 中的回归不确定性的方法(learnin
7、gfromregressionuncertainty,LFRU 方法)20.这一方法自动探索物质相的能力及其与传统物理概念的直接联系在 Ising 模型和 Clock 模型中已得到了初步验证20,为机器学习在相变研究中的应用提供了新的视角.然而,该方法的通用性仍需要进一步检验,尤其是面对非平衡、非晶格的系统中的一阶相变,LFRU 方法仍然有效吗?我们知道,与连续相变不同,在一阶相变的临界点处,系统的关联长度不发散,这带来了更丰富的临界物理现象,但也使得它们的跨尺度普适性质难以被重整化群21等强大的物理学传统研究方法刻画.另一方面,与平衡系统不同,非平衡多体系统中细致平衡的缺失,同样带来了更丰富
8、的临界物理现象,例如湍流的无规律行为22,但这也同样使得相关领域缺乏较为通用的研究方法23.考虑到 ANN 的数据处理和信息挖掘能力本身是足够普适的,这类情景正是基于ANN 的机器学习技术的用武之地.如果基于 ANN回归的 LFRU 方法(以及基于 ANN 分类的“留白法”和“混淆法”)能在不额外增加针对非平衡、非晶格的系统中的一阶相变的特殊设计的情况下,有效处理这类复杂多体系统,实现自动探索其中的物质相,那么这将为非平衡多体系统中的相变研究提供一个具有较强通用性的工具箱,有助于更好地揭示这类系统中的丰富的临界物理现象.本文在一个由 Vicsek 模型描述的自驱动活性粒子系统2427中具体研究
9、 LFRU 方法的通用性.这是一个具有外部噪声的随机动力学模型,最初用于模拟鸟类在较低能见度的恶劣天气下的集群飞行,也是统计物理领域关于自驱动活性粒子系统的基础模型之一,具有丰富的集体动力学行为和自组织现象2427.这种非平衡多体系统的噪声强度的改变会引发一个从低噪声的群集相(flockingphase,所有粒子的运动方向大致相同)到高噪声的无序相(disorderedphase,系统保有旋转对称性)的一阶相变2427(如图 1 所示).研究发现,即使这涉及非平衡、非晶格、一阶相变等复杂要素,ANN 仍可以通用地被直接训练用于处理该系统中的 ISP 回归任务,成功重构出该系统中的噪声强度,如图
10、 2(b)所示.进一步考察 ANN 在这个任务中的回归不确定性,发现它关于被重构的实际噪声强度的分布具有规律性,其曲线呈现 M 字形,如图 3(a)所示.最重要的是,研究发现由 ANN 自主得到的 M 字形曲线,可以用于自动探索物质相.M 字形曲线不仅揭示群集相变的存在,而且其中间的极小值所在的位置,正对应于该相变的临界噪声强度.在先前研究20的基础上,上述新发现清晰展现了 LFRU 方法对于跨领域的不同物理系统具有良好的通用性.我们也检验了“混淆法”和“留白法”这两种基于 ANN分类的典型方法,用于研究自驱动活性粒子的群集相变的效果,在方法的使用效率、所需预设的物理知识、联系物理的可能性等方
11、面,对比讨论了 LFRU方法与它们的异同和各自特点.2自驱动活性粒子的群集相变和逆统计问题2.1 物理系统NL L本文研究的多体物理系统由 个在二维 空间中运动的自驱动粒子组成,这些粒子的集体行为由一组随机动力学方程描述2427:vi(t+t)=v0Nii+jAivj(t),(1)tv0(w)=w/|w|AiirNiAiii=N/L2其中,是离散的时间间隔,是粒子的速率(设为常数),是矢量的归一化算符,是以 粒子所在位置为圆心的半径为 的区域,是位于 区域内的粒子数(包括 粒子自身),是随机指向的单位矢量噪声,为表征环境扰动影响程度的噪声强度系数.这是一个标准的由外部噪声影响的 Vicsek
12、模型.在系统密度 取定的情况下,噪声强度的改变会引发一个从低噪物理学报ActaPhys.Sin.Vol.72,No.20(2023)200701200701-2 v=?Nj=1vj/(Nv0)?vN=2048=2L=32v0=0.5r=1 vc 0.626c声的群集相到高噪声的无序相的一阶相变2427.通过计算该系统的群速度 作为序参量,可看到 在相变点处发生突变.为不失一般性,以 ,的系统为例.在该参数取值下,如图 2(a)所示,的突变发生于 .本文的具体目标是利用基于 ANN 的机器学习技术,从图 1 所示的原始数据中自动提取出这一临界噪声强度 .2.2 机器学习要利用基于 ANN 的机器
13、学习技术研究该物理系统,无论是让 ANN 处理分类任务还是回归任务,都首先需要将数据整理为适合 ANN 进行分析的形式.这当然有很多不同的做法.我们选择类似于 ANN 在人脸识别等图像处理领域的用法,将数3 224 224224 224据整理为图像的形式(如图 1 所示).每个数据样本图像中的每个圆形标记表示二维空间中的一个自驱动粒子,其空间分布表示自驱动粒子的瞬时空间分布,其颜色分布表示自驱动粒子的运动方向的瞬时角度分布.由于本文将直接使用一个工业界成熟的深度残差网络架构(residualneuralnetwork,ResNet)28,其默认的输入尺寸是 ,其中的 3 对应于彩色图像的 RG
14、B 三通道,因而本文数据样本图像的尺寸也为 像素.这些样本被分配为 3 组,构成 3 个不同的数据集:训练集、验证集、测试集.3 224224 13 224 224 2所谓 ANN 的训练,指的是若干次遍历训练集的样本,每次遍历时,ANN 作为一个 (用于 ISP 回归任务)或(用于二元分类任务)的映射,对每个样本都给出p-pc图1数值模拟生成的对应于不同噪声强度 的典型样本.样本中的每个圆形标记表示二维空间中的一个自驱动粒子,其空间分布表示自驱动粒子的瞬时空间分布,其颜色分布表示自驱动粒子的运动方向的瞬时角度分布.此处作为示例的样本中,左边的 5 个样本处于群集相,最右边的样本处于无序相Fi
15、g.1.Typicalsamplescorrespondingtodifferentnoiselevelsthataregeneratedbynumericalsimulations.Ineverysample,eachofthecircularmarkersrepresentsasingleself-propelledparticleinthetwo-dimensionalspace,withtheirspatialdistributionrepresent-ingtheinstantaneousspatialdistributionofself-propelledparticles,and
16、theircolordistributionrepresentingtheinstantaneousan-gulardistributionofdirectionsofmotionoftheseself-propelledparticles.Amongthesamplesshownhereforinstance,thefivesamplesintheleftareintheflockingphase,andtherightmostoneisinthedisorderedphase.00.20.40.60.81.000.20.40.60.8-1.0(a)R(b)0.40.50.60.70.40.
17、50.60.7 v vc=0.626 0.006RU()R=图2自驱动活性粒子系统中的 ISP(a)系统的群速度 关于噪声强度 的依赖关系,在 的突变表明系统在该噪声强度处发生一阶相变;(b)训练完成的 ANN 给出的重构噪声强度 关于实际噪声强度 的依赖关系,误差棒表示回归不确定性 ,对角线表示理想的回归结果 c=0.626 0.006U()R=Fig.2.Inversestatisticalprobleminaself-propelledactiveparticlesystem:(a)Noiseleveldependenceofthesystemsglobalgroupvelocity,w
18、hosejumpat characterizesthefirst-orderflockingphasetransition;(b)noiseleveldependenceofthereconstructednoiselevelpredictedbythewell-trainedANN.Theerrorbarsrepresenttheregressionuncertainty ,andthedi-agonallinerepresenttheidealregressionresult .物理学报ActaPhys.Sin.Vol.72,No.20(2023)200701200701-31 个(ISP
19、 回归)或 2 个(二元分类)相应的值作为输出结果.基于 ANN 的输出结果,计算一个损失函数,并按照反向传播规则,以梯度下降等方式优化 ANN 中的大量可训练系数的取值,从而最小化损失函数,这就是 ANN 的训练.对于 ISP 回归任务,损失函数可以是输出结果与标签之间的均方误差,其中标签指的是我们为每个样本标注的参考答案,即实际的噪声强度值 .对于二元分类任务,损失函数可以是输出结果与标签之间的交叉熵函数,这里标签则是甲类或乙类(关于二元分类,详见3.2 节和 3.3 节).为了提高 ANN 的泛化能力,训练后最终采用的可训练系数的取值并不是在训练集实现损失函数最小的那一组,而是在验证集实
20、现损失函数最小的那一组.带着这组最终取定的可训练系数,训练完成的 ANN 将被应用于测试集,以评估其实际应用效果.下文首先讨论基于 ANN 的 ISP回归.2.3 逆统计问题x,yvRRU()LFRU 方法利用的是 ISP 中的回归不确定性.要使用这一方法研究自驱动活性粒子的群集相变,首先需要构建一个 ISP 回归任务让 ANN 尝试处理.在上述的非平衡多体系统中,相应于正向思维的给定噪声强度 ,求处于稳态的可能的系统状态(位置 分布与速度 分布,如图 1 所示),一个比较自然的 ISP 是:给定一个具体的系统状态,求它可能对应的噪声强度 .这是一个统计推断问题,推断得到的重构噪声强度记为 .
21、由于原始数据是由随机动力学方程演化得到的,不可避免在不同的噪声强度下出现极其类似的样本.这意味着对于在同一噪声强度 下生成的不同样本,ANN(或其他方法)给出的重构噪声强度值 不会完全一样.这就带来了回归不确定性 .我们可以用 ANN回归结果的标准差来刻画这一不确定性,即U()=(R R)2,(2)其中,表示对测试集所有属于同一噪声强度 的样本取平均.对于 ISP 本身,回归任务的核心目标之一是尽量减少这个不确定性,但其存在是系统性的,因而不可能被真正减少到零.再考虑到这是一个涉及非平衡、非晶格、一阶相变等复杂要素的情况,如何有效地实现 Vicsek 模型的 ISP,本身就是一个非平庸的问题.
22、传统方法研究 ISP 主要集中于 Ising 模型等简单情况15,还通常要使用平均场29或最大似然估计30等稍具针对性的方法.这里直接使用 ANN 进行 ISP 回归.3群集相变临界噪声强度的自动提取3.1 LFRU 方法:回归不确定性中的相变信号 0.39,0.71=0.02R本文使用的数据集涉及 范围内以 为间隔的 17 个不同的噪声强度值,对于每个噪声强度值,有 2000 个样本用于训练,500个样本用于验证,2500 个样本用于测试.17 个 的总共 34000 个训练集样本,在训练过程中被遍历20 次,并作相应的验证,最终得到一个训练完成的 ANN,在测试集评估其回归结果.如图 2(
23、b)所示的回归结果取自 20 个独立训练、独立验证的ResNet 的平均测试结果.可以看到,ANN 给出的重构噪声强度 虽然不能完美贴合于实际噪声强度 ,但也差得不远.由于 ISP 仅仅是利用其中的回归不确定性自动探索物质相的一个中间过程,目标不在于 ISP 本身,因此这里不讨论图 2(b)所示的回归结果与传统方法得到的回归结果的对比,也不评判各种研究 ISP 的方法的优劣.我们关注的是:对于这样的具有一阶相变的复杂系统,ANN可以克服诸如亚稳态等等的对于 ISP 回归的潜在干扰,“学会了”该系统中的噪声强度 这一参数.这意味着其输出值确实可以视为与噪声强度 具有直接的物理联系,使得进一步得到
24、的自动探索物质相的结果也有了联系物理的可能性.U()U()U()c=0.630.01 0.39,0.71c 0.626 vcc确认了 ANN 可以实现 ISP 回归之后,考察ANN 在这个任务中的回归不确定性 ,也就是图 2(b)的误差棒.这在图 2(b)中并不明显,图 3(a)所示为 关于噪声强度 的依赖关系,可以清晰地看到 的分布具有规律性,其曲线呈现M 字形,并且中间的极小值所在的位置 ,并不是位于整个参数区域 的正中间附近,而是恰好对应于系统的临界噪声强度(图 3 中的竖线表示由 的突变位置给出的临界噪声强度 ,即传统方法得到的相变点).这说明 LFRU 方法能够成功地从如图 1 所示
25、的原始数据中自动提取出自驱动活性粒子的群集相变临界噪声强度 .物理学报ActaPhys.Sin.Vol.72,No.20(2023)200701200701-4这与我们关于 LFRU 方法的研究20中在 Ising模型和 Clock 模型中发现的情况类似,说明这一方法对于跨领域的不同物理系统具有良好的通用性.利用 ANN 处理回归任务的强大能力及其与传统物理概念的直接联系,研究者只需提供每个样本的实际参数值,训练 ANN 处理 ISP 回归任务,训练完成后的回归不确定性就可以用于自动探索物理相.若 ISP 的参数区间内只有一个相,回归不确定性的曲线只会呈现一个平庸的单峰20.当曲线呈现 M 字
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 机器 学习 回归 不确定性 揭示 驱动 活性 粒子 群集 相变
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。