基于双模态的小角散射图像结构表征技术研究.pdf
《基于双模态的小角散射图像结构表征技术研究.pdf》由会员分享,可在线阅读,更多相关《基于双模态的小角散射图像结构表征技术研究.pdf(10页珍藏版)》请在咨信网上搜索。
1、 基于双模态的小角散射图像结构表征技术研究*谷文俊1,2,张晟恺3,邱晓梦1,2,李亚康4,宋 伟1(1.郑州大学河南省大数据研究院,河南 郑州 4 5 0 0 5 2;2.郑州大学计算机与人工智能学院,河南 郑州4 5 0 0 0 1;3.深圳综合粒子设施研究院,广东 深圳 5 1 8 1 0 7;4.中国科学院高能物理研究所,北京 1 0 0 0 4 9)摘 要:小角X射线散射设备的不断升级和发展产生了更多更高维的散射数据,给研究人员快速获取实验结果带来了极大挑战。亟需有效的自动化分类方法,加快数据表征速度的同时保证较高的准确率。然而,许多模型学习特征主要针对光照图像,忽略了散射图像特点,
2、分类准确率较低。因此,基于散射模式特点,提出了一种双模态细粒度特征提取模型B R T N e t。该模型采用双模态输入模式,其一为采用多尺度卷积为架构的特征学习网络P R S,学习散射图像的微观信息;其二为融合局部信息的多头注意力机制C o n v T r a n s f o r m e r,学习散射序列的相关性信息。然后,模型结合图像信息和序列信息,融合双分支特征,对散射数据进行分类并获得分类结果。在生物溶液散射数据集上的实验结果表明,模型分类准确率超8 9%,同基准模型相比具有较为明显的优势。关键词:小角散射图像;细粒度分类;散射特征;双模态中图分类号:T P 3 9 1.4 1文献标志码
3、:Ad o i:1 0.3 9 6 9/j.i s s n.1 0 0 7-1 3 0 X.2 0 2 3.0 8.0 1 3R e s e a r c h o n b i m o d a l S A X S i m a g e s t r u c t u r e c h a r a c t e r i z a t i o n t e c h n i q u eGU W e n-j u n1,2,Z HANG S h e n g-k a i3,Q I U X i a o-m e n g1,2,L I Y a-k a n g4,S ONG W e i1(1.H e n a n A c a d e
4、 m y o f B i g D a t a,Z h e n g z h o u U n i v e r s i t y,Z h e n g z h o u 4 5 0 0 5 2;2.S c h o o l o f C o m p u t e r a n d A r t i f i c i a l I n t e l l i g e n c e,Z h e n g z h o u U n i v e r s i t y,Z h e n g z h o u 4 5 0 0 0 1;3.I n s t i t u t e o f A d v a n c e d S c i e n c e F a
5、 c i l i t i e s,S h e n z h e n 5 1 8 1 0 7;4.I n s t i t u t e o f H i g h E n e r g y P h y s i c s,C h i n e s e A c a d e m y o f S c i e n c e s,B e i j i n g 1 0 0 0 4 9,C h i n a)A b s t r a c t:T h e c o n t i n u o u s u p g r a d i n g a n d d e v e l o p m e n t o f s m a l l-a n g l e X
6、-r a y s c a t t e r i n g(S A X S)e q u i p-m e n t h a v e g e n e r a t e d m o r e h i g h-d i m e n s i o n a l s c a t t e r i n g d a t a,w h i c h p o s e s g r e a t c h a l l e n g e s f o r r e s e a r c h-e r s t o q u i c k l y o b t a i n e x p e r i m e n t a l r e s u l t s.R e s e a
7、 r c h e r s u r g e n t l y n e e d e f f e c t i v e a u t o m a t e d c l a s s i f i c a t i o n m e t h o d s t o s p e e d u p d a t a r e p r e s e n t a t i o n a n d o b t a i n h i g h e r a c c u r a c y.H o w e v e r,m a n y m o d e l s l e a r n f e a-t u r e s m a i n l y f o r i l l u
8、 m i n a t i o n i m a g e s,i g n o r i n g t h e c h a r a c t e r i s t i c s o f s c a t t e r i n g i m a g e s a n d r e s u l t i n g i n l o w e r c l a s s i f i c a t i o n a c c u r a c y.T h e r e f o r e,b a s e d o n t h e c h a r a c t e r i s t i c s o f s c a t t e r i n g p a t t e
9、 r n s,t h i s p a p e r p r o p o s e s a b i m o d a l f i n e-g r a i n e d f e a t u r e e x t r a c t i o n m o d e l c a l l e d B R T N e t.T h e m o d e l a d o p t s a b i m o d a l i n p u t m o d e.T h e f i r s t m o d e i s t h e f e a t u r e l e a r n i n g n e t w o r k P R S u s i n
10、 g a m u l t i-s c a l e c o n v o l u t i o n a r c h i t e c-t u r e,w h i c h l e a r n s t h e m i c r o-i n f o r m a t i o n o f s c a t t e r i n g i m a g e s.T h e s e c o n d m o d e i s t h e m u l t i-h e a d a t t e n-t i o n m e c h a n i s m C o n v T r a n s f o r m e r f u s i n g l
11、 o c a l i n f o r m a t i o n,w h i c h l e a r n s t h e c o r r e l a t i o n i n f o r m a t i o n o f s c a t t e r i n g s e q u e n c e s.T h e n,t h e m o d e l c o m b i n e s i m a g e i n f o r m a t i o n a n d s e q u e n c e i n f o r m a t i o n,f u s e s t h e d u a l-b r a n c h f e
12、 a t u r e s,c l a s s i f i e s t h e s c a t t e r i n g d a t a,a n d o b t a i n s t h e c l a s s i f i c a t i o n r e s u l t s.E x p e r i m e n t a l r e s u l t s o n t h e b i o l o g i c a l s o l u t i o n s c a t t e r i n g d a t a s e t s h o w t h a t t h e m o d e l s c l a s s i f
13、 i c a t i o n a c c u r a c y e x c e e d s*收稿日期:2 0 2 2-0 9-1 5;修回日期:2 0 2 2-1 0-2 0基金项目:国家自然科学基金(1 2 0 0 5 2 4 8);河南省高等学校重点科研项目(2 2 A 5 2 0 0 1 0)通信作者:宋伟(i e w s o n g z z u.e d u.c n)通信地址:4 5 0 0 5 2 河南省郑州市郑州大学河南省大数据研究院A d d r e s s:H e n a n A c a d e m y o f B i g D a t a,Z h e n g z h o u U n
14、 i v e r s i t y,Z h e n g z h o u 4 5 0 0 5 2,H e n a n,P.R.C h i n a C N 4 3-1 2 5 8/T PI S S N 1 0 0 7-1 3 0 X 计算机工程与科学C o m p u t e r E n g i n e e r i n g&S c i e n c e第4 5卷第8期2 0 2 3年8月 V o l.4 5,N o.8,A u g.2 0 2 3 文章编号:1 0 0 7-1 3 0 X(2 0 2 3)0 8-1 4 4 3-1 08 9%,w h i c h h a s a s i g n i f
15、 i c a n t a d v a n t a g e o v e r t h e b a s e l i n e m o d e l.K e y w o r d s:s m a l l-a n g l e s c a t t e r i n g i m a g e;f i n e-g r a i n e d c l a s s i f i c a t i o n;s c a t t e r i n g f e a t u r e s;b i m o d a l1 引言小角X射线散射S A X S(S m a l l-A n g l e X-r a y S c a t t e r i n g
16、)是一种快速探测物质结构的分析方法。当X射线照射到样品上,若样品内部存在纳米尺度的电子密度不均匀区域,就会在入射光束周围的小角度范围内发生散射,样品将X射线散射到探测器上不同位置投射出的复杂图案,即为小角散射图像,如图1 a所示。散射图像包含了样品的结构信息,研究人员通过对散射图像进行分析,可推断出样品原子和分子的大小、方向以及排列信息。散射图像与普通的光学图像之间存在着明显的差别。散射图像不具备直观可见的物体形状、颜色和位置等信息,仅包含微观的“布拉格”(S A X S中的通用术语,表现在图中为非平滑圆环的凸起)峰值信息以及一些环、晕等微观特征,具有一定的复杂性,如图1 b所示。F i g
17、u r e 1 S m a l l a n g l e s c a t t e r i n g i m a g e图1 小角散射图像目前,S A X S方法被广泛应用于材料结构探索、生物大分子分析等领域,成为生物化学、材料科学以及药物学等研究和质量控制方面的强大技术1,2。随着同步辐射光源技术的发展,其X射线源峰值亮度在X射线广泛的光子能量范围内急剧增加,同时探测器的精度也不断提高,产生了更多更高维的散射数据3。散射图像的复杂性和高维性特征成为快速获取实验结果的瓶颈。近年来,深度学习在图形图像及文本处理中表现出了强大的优势。卷积神经网络C NN(C o n v o-l u t i o n a
18、l N e u r a l N e t w o r k)被广泛地应用于图像分类领域,在自动驾驶和人脸识别等任务中都取得了巨大成功。R e s N e t(R e s i d u a l N e t w o r k)4引入残差连接,解决了梯度爆炸问题,使神经网络更深更大。S E N e t(S q u e e z e-a n d-E x c i t a t i o n N e t w o r k s)5模型自适应提高有用通道响应,一举成为I m a g e-N e t图 像 分 类 的 冠 军 模 型。此 外,鉴 于T r a n s-f o r m e r6在N L P(N a t u r a
19、 l L a n g u a g e P r o c e s s i n g)领域的优良表现,研究人员开始将多头注意力机制引入图形图像处理。V i T(V i s i o n T r a n s f o r m e r)7模型将图像分块,使用全局注意力机制提取上下文信息,通过大数据量的数据集中训练,一跃成为图像处理中的热点模型。在文本处理方面,B E R T(B i d i r e c t i o n a l E n c o d e r R e p r e s e n t a t i o n f r o m T r a n s f o r m e r s)8微 调T r a n s f o r
20、 m e r学 习 语 境 信息,提高了其在不同自然语言处理任务上的性能。与此同时,以图像处理和文本处理融合的多模态特征提取深度网络模型也在快速发展。V i L B E R T(V i s i o n-a n d-L a n g u a g e B E R T)9训练图像和文本标题,用于文本、图像重建及任务匹配等。伴随着机器学习与深度神经网络方法在多领域多任务中的成功应用,更多的研究人员将相关方法应用于各种科学数据集以完成相关研究任务,如生物分子变化分析、医学影像分类等。在X射线实验中,机器学习也被用于衍射和散射数据特征表征等任 务 中。早 期 研 究 一 般 使 用 手 工 标 注 特征1
21、0,如 方 向 梯 度 直 方 图HOG(H i s t o g r a m o f O r i e n t e d G r a d i e n t)和 尺 度 不 变 特 征 变 换S I F T(S c a l e I n v a r i a n t F e a t u r e T r a n s f o r m)。然而这些类型的特征均是为自然图像设计的,对不具有光学特征的散射图像并不适用。W a n g等人1 1利用合成散射数据集,训练X射线散射图像的深层网络。也有 相 关 研 究 使 用S VM(S u p p o r t V e c t o r M a-c h i n e)、残差网络
22、和卷积自动编码器,提取散射图像特征。但是,由于未针对散射图像的特点对神经网络模型进行相应改进,导致相关模型的分类准确率较低。G u a n等人1 2考虑样品往复空间的对称性,提出使用汉克尔系数整合极性频率和图像域的特征,利用散射图像的中心围绕光束的对称性,处理模拟数据。该研究使用C NN网络模型,实现散射图像的自动标注,之后将预训练模型应用到真实散射数据上。Z i mm e r m a n n等人1 3受传统衍射数据分析 方式中的对数 相关性和计 算的启发,以R e s N e t为骨干网络,在R e s N e t第1层卷积中使用对数激活函数拟合数据。L i u等人1 4分析原子对分布函数表
23、达样品对称性的优越性,以原子对分布4441C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(8)函数数据为输入,设计C NN网络模型对空间群进行分类,提高了模型的普适性和准确性。L i u等人1 5训练A l e x N e t1 6等神经网络,实现薄膜材料的属性分类。T o m a s z e w s k i等人1 7以模拟数据散射序列为输入,使用随机森林和K近邻等方式拟合数据,但是不能有效拟合复杂的多形状混合数据。当前虽然有较多的研究方法应用于散射数据的分类,在一定程度上加快了小角散射结构的表征
24、速度,为研究人员的实验分析提供了及时反馈,但仍然存在数据针对性不强以及分类准确率不足的现象。例如,有直接使用现有网络模型学习散射图像特征的方式,由于未针对散射图像特点对神经网络模型进行相应改进,导致模型分类准确率较低;还有以模拟数据为数据集训练模型的方法,由于忽略了真实噪声影响,导致应用于真实数据时分类准确率较低。为了帮助研究人员及时获得分类准确率更高的实验结果,本文以生物溶液小角散射图像为实验数据集,提出了基于散射数据特点的双模态B R T-N e t(B i m o d a l R e s N e t a n d T r a n s f o r m e r N e t w o r k)深度
25、神经网络模型。该模型分别使用散射图像(散射实验原始数据)和散射序列(散射图像进一步处理的数据)为输入,一方面以残差结构为骨干,融合金字塔卷积和通道注意力机制,获取散射图像的细粒度特征;另一方面使用多头注意力机制,捕获散射长序列间的依赖性关系和局部序列的相关性特征。随后将散射图像信息和散射序列特征相互补充,增强模型特征图的特征表达能力。最后,模型拟合散射信息和生物大分子结构间的非线性关系,获得分类结果。在生物溶液散射数据集上的实验结果表明,相较于基准模型,本文提出的B R T N e t模型在散射数据表征方面具有较为明显的优势。2 B R T N e t模型小角散射数据分类目前常用的方法主要是以
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 双模 小角 散射 图像 结构 表征 技术研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。