基于内-外部互补先验的亚像素分辨率衍射成像算法研究.pdf
《基于内-外部互补先验的亚像素分辨率衍射成像算法研究.pdf》由会员分享,可在线阅读,更多相关《基于内-外部互补先验的亚像素分辨率衍射成像算法研究.pdf(12页珍藏版)》请在咨信网上搜索。
1、第 47 卷 第 4 期燕山大学学报Vol.47 No.42023 年 7 月Journal of Yanshan UniversityJuly 2023 文章编号:1007-791X(2023)04-0347-12基于内-外部互补先验的亚像素分辨率衍射成像算法研究石保顺1,2,吴一凡1,2,练秋生1,2,(1.燕山大学 信息科学与工程学院,河北 秦皇岛 066004;2.燕山大学 河北省信息传输与信号处理重点实验室,河北 秦皇岛 066004)收稿日期:2023-02-20 责任编辑:唐学庆基金项目:国家自然科学基金资助项目(61901406);河北省自然科学基金资助项目(F20202030
2、25,F2022203030);河北省青年拔尖人才项目(BJ2021044);中央引导地方科技发展资金项目(科技创新基地项目)(216Z1602G)作者简介:石保顺(1989-),男,河北唐山人,博士,副教授,主要研究方向为计算成像、衍射成像、深度学习及医学图像处理等;通信作者:练秋生(1969-),男,江苏遂川人,博士,教授,博士生导师,主要研究方向为图像处理、稀疏表示、压缩感知及相位恢复等,Email:lianqs 。摘 要:亚像素分辨率衍射成像旨在利用观测的低分辨率衍射强度图样重建高分辨率图像,它在多个科学与工程领域具有重要应用。现有算法大都存在重建质量低且重建图像丢失了大量细节信息的问
3、题。为解决这些问题,本文融合复图像的内部先验和外部先验提出了能够重建高质量图像的亚像素分辨率衍射成像方法。本文利用基于内部先验的三维块匹配滤波框架表示模型与蕴含外部先验的深度展开卷积稀疏编码模型结合复数表示模型提出了融合内-外部互补先验的复数域正则化模型,基于该正则化模型构建了面向亚像素分辨率衍射成像的优化模型,并利用交替优化方法对构建的优化模型进行了有效求解。仿真实验表明,提出的算法能够充分利用复图像内-外部互补先验知识进行亚像素分辨率衍射成像,并且在超分辨率因子为 2 时重建复图像的平均峰值信噪比较基于全变差的算法提升了 1.58 dB。实际无透镜片上显微镜的实验结果表明提出算法较基于全变
4、差的算法能够重建出更多的细节信息。关键词:计算成像;衍射成像;超分辨率相位恢复;深度展开卷积稀疏编码中图分类号:TP391.41;O436 文献标识码:A DOI:10.3969/j.issn.1007-791X.2023.04.0080 引言 衍射成像作为相位恢复的一个特例,其研究最早可追溯到 20 世纪 40 年代。Gabor 利用参考信号线性化相位恢复问题,并因此获得了 1971 年诺贝 尔 物 理 奖。20 世 纪 50 年 代,Karle 和Hauptman 对二进制原子晶体的衍射成像做出了重大贡献,于 1985 年获得了诺贝尔化学奖。Eric Betzig、Stefan W.Hel
5、l 和 William E.Moerner 为打破衍射极限的高分辨率荧光显微镜的研发做出了重要贡献,于 2014 年获得诺贝尔化学奖。高分辨率衍射成像引起了清华大学戴琼海院士课题组1、曹良才课题组2和深圳大学屈军乐课题组3的高度重视。他们的研究成果将高分辨率成像带入了一个新纪元。亚像素分辨率衍射成像(Sub-pixel Resolution Diffraction Imaging,SRDI)旨在利用计算成像技术突破观测设备像素大小对成像分辨率的限制进行高(超)分辨率衍射成像,该技术成为了突破衍射极限分辨率的重要手段。现有亚像素分辨率衍射成像方法可分为以下几大类:传统像素分辨率衍射成像方法4-9
6、、基于亚像素间距(Sub-pixel-pitch)平移的方法11-12、基于多波长的波长扫描方法13-14、基于多距离衍射成像的方法15-17和基于稀疏性的方法18-24。理论上,传统像素分辨率衍射成像算法可通过调整非线性采样算子或建立合适的优化模型用于亚像素分辨率衍射成像。在一些成像领域,例如同轴数字全息成像,亚像素分辨率成像方法首348 燕山大学学报2023先利用拼接法、内插法或外推法获得高分辨率衍射强度图样4,然后直接采用像素分辨率衍射成像算法进行高分辨率图像重建。按照不同的模型、数值求解方法及利用先验知识的方式,大致可将现有像素分辨率衍射成像算法分为以下几大类:交替投影方法、基于最小二
7、乘估计的方法及基于正 则 化 的 方 法。交 替 投 影 法,例 如 GS(Gerchberg Saxton)算法5,通常寻找同时满足测量域约束集合(幅值或强度值约束集合)和图像空域约束集合的交集。该方法简单、有效,但容易陷入停滞状态。基于最小二乘估计的衍射成像算法,例如 WF(Wirtinger Flow)算法6,通常构造最小二乘估计问题,然后利用梯度下降方法对该问题进行求解。基于最小二乘估计的衍射成像算法在理论上有严格的证明保证收敛性,但重建高质量图像所需的衍射强度图样数量多。为解决该问题,基于正则化的衍射成像方法通过正则化模型将图像先验引入到图像重建中7-11。该类方法首先融合数据保真项
8、与蕴含图像先验的正则项构建衍射成像优化模型,然后利用优化方法对所对应的问题进行求解。Tillmann 等人7利用盲字典学习框架进行衍射成像,重建性能优于未利用任何先验知识的 WF 算法。天津师范大学的常慧宾8课题组利用全变差(Total Variation,TV)正则化针对被泊松噪声污染的测量数据进行衍射成像,实验表明了 TV 正则化模型的有效性。Shi 等人9构建了一个可学习实例自适应和空间变化阈值函数的深度收缩对偶框架网络正则化项,并提出了一种用于衍射成像的深度展开方法,实现了低信噪比下高质量重建。同时 Shi 等人10利用基于加权l1范数的卷积稀疏编码模型以及深度展开技术构建了一个模型架
9、构可解释的先验模块,基于该模块构建了一个模型驱动的相位恢复网络。上述方法虽然给亚像素分辨率衍射成像提供了思路并且可作为亚像素分辨率衍射成像方法的一部分,但并未直接给出具体的亚像素分辨率衍射成像算法。基于亚像素间距平移的方法是通过对光源或样本进行亚像素间距平移,获取多幅低分辨率衍射强度图样,并利用这些衍射强度图样进行高分辨率成像。该类方法最早可追溯到 Ozcan12课题组对无透镜片上数字同轴全息成像系统的研究。他们发现全息图并不能无限增大,通过增大全息图提升分辨率的方法受到了限制。为突破该限制,Ozcan 等人利用小孔在二维平面进行亚像素间距平移并记录多幅低分辨率全息图以获取更多关于原始图像的信
10、息。实验表明,通过多幅低分辨率全息图利用像素超分辨率方法能够达到亚微米分辨率成像。Ozcan 课题组首次将亚像素的概念引入到无透镜片上成像系统中,并提出了具体的亚像素分辨率衍射成像方法。基于亚像素间距平移的成像方法13通常包含以下几步:记录多幅低分辨率衍射强度图样、重建高分辨率衍射强度图样及图像再现。重建高分辨率衍射强度图样通常融合数据保真项和对高频成分施加约束的惩罚项构建优化模型。该优化模型可直接求解或迭代求解。图像再现步骤通常利用基于角谱、菲涅尔变换的反向传播技术或传统衍射成像方法重建图像。基于多波长的波长扫描方法14-15首先通过窄光谱带选择或压缩侧照明获取不同波长的光波,然后利用这些光
11、波多角度依次照明样本并记录多幅衍射强度图样。该方法与基于亚像素间距平移的方法相比,需要较少的测量数据就能够进行高分辨率成像且不需要亚像素间距平移。基于多距离衍射成像的方法是在观测设备和样本的不同距离上记录多幅衍射强度图样,利用亚像素分辨率衍射成像技术重构高分辨率图像16-18。该类方法引起了哈尔滨工业大学的刘正君17-18课题组的重视,该课题组提出了对噪声鲁棒的亚像素分辨率衍射成像方法。上述基于亚像素间距平移、多波长、多距离的方法大都通过构建的光学系统记录多幅衍射强度图样以进行亚像素分辨率衍射成像,但并未考虑图像的先验知识,成像质量和成像分辨率仍有提升空间。基于稀疏性的方法利用稀疏先验进行亚像
12、素分辨率衍射成像。Song 等人利用 l0伪范数衡量图像的空域稀疏性,在无透镜数字同轴全息系统下实现了超分辨率因子为 3 的亚像素分辨率衍射成像。Fournier 等人19以 l1范数衡量图像空域稀疏性提出了基于反问题求解的亚像素分辨率成像算法,实验结果表明该算法能够重建高分辨率图像且能够减小孪生像及边界效应的影响。上述算法仅利用了图像的空域稀疏性,然而,多数图像本身并不是稀疏的,而是在某种字典或稀疏变换第 4 期石保顺 等 基于内-外部互补先验的亚像素分辨率衍射成像算法研究349 下是稀疏的,故上述算法应用有限。基于变分模型,Vladimir Katkovnik20-22课 题 组 利 用
13、图 像 在BM3D(Block matching and 3D collaborative filtering)框架下的稀疏性提出了亚像素分辨率衍射成像算法 SR-SPAR。该方法通过含泊松噪声的相位编码衍射图样交替进行菲涅尔幅值约束和BM3D 滤波,实验证实其重建质量优于 SR-GS 算法(根据 GS 算法改编的亚像素分辨率成像算法)。上述方法通过薄透镜和空间光调制器对观测图像进行相位编码,硬件复杂度高。随后,他们舍弃了薄透镜,直接利用空间光调制器对观测图像进行孔径相位编码,并通过角谱变换建模光波传播过程,实现了超分辨率因子为 4 的亚像素分辨率成像。在低信噪比情况下,该算法仍然能够高质量成
14、像22。SR-SPAR 算法构建的数据保真函数是非平滑的,算法收敛性难以保证。为解决该问题,Bacca 等人23对数据保真函数进行了平滑处理,利用 TV 正则项构建了成像模型。实验表明,在超分辨率因子为 4 时,Bacca 等人的算法成像质量优于SR-SPAR 算法。Gao 等人24以 WF 框架为基础引入 Nesterov 动 量 用 以 加 速 算 法 收 敛,提 出 了AWFTV 算法,并利用梯度稀疏性重建图像。该算法在保证重建质量的同时减少了测量数据,加快了收敛速度。上述利用稀疏先验进行亚像素分辨率衍射成像的算法是通过解析方法构建的先验模型,难以充分描述所有图像的统计分布信息。为解决该
15、问题,Shi 等人25提出了融合深度去噪器先验的稀疏表示正则化模型,有效提高了亚像素分辨率衍射成像的成像质量及分辨率,并通过实验证明了深度去噪器先验在实图像上亚像素分辨率衍射成像的有效性。为提高亚像素分辨率衍射成像的成像质量及分辨率,现有亚像素分辨率衍射成像方法大多是利用图像固有的先验知识设计或学习正则项来约束重建过程。基于图像内部先验的方法利用待重建图像本身的先验信息,如空域稀疏性、梯度稀疏性及非局部相似性等,忽视了图像之间普遍存在的外部先验信息,即通过外部数据集学习到的先验。基于图像间共有外部先验的方法例如基于深度卷积网络的成像方法,通常需要大量难以获取的高分辨率图像进行训练,且存在泛化能
16、力较差的问题。为弥补这些不足,本文将能够利用图像非局部相似性的 BM3D 框架与能够捕获外部先验特征的深度卷积稀疏编码模型相结合,提出了一种面向复图像的亚像素分辨率衍射成像算法,简称 SRDI-doubleR。理论上该方法能够利用内部先验与外部先验的互补性进行衍射成像,进而提升重建复图像过程中伪影去除和细节保留能力。与现有亚像素分辨率衍射成像相比,本文提出的算法有望重建出更高分辨率、更高质量且具有更多细节的复图像。1 亚像素分辨率衍射成像 亚像素分辨率衍射成像旨在从记录的低分辨率衍射图样中恢复高分辨率图像。图 1 给出了亚像素分辨率衍射成像的示意图。在物体平面上,连续物体由大小为 oo 的像素
17、离散化。与传感器的固定像素大小 ss 相反,物体的像素大小o 是可计算的。当 os 时,从观测数据中恢复具有小像素尺寸的物体,该成像过程称为亚像素分辨率衍射成像。一束相干光照射物体,经光学系统调制后到达传感器平面,此衍射过程可通过角谱法计算的线性变换过程进行建模。入射光到达传感器平面后,入射到同一像素上的所有光子都被转换成单个强度信号,在数学上,强度信号可以被认为是对应子像素信号的加权和。在超分辨率因子为 2 的情况下,物体的像素尺寸是传感器像素尺寸的 2 倍,物体的像素数是传感器像素数的 4 倍,经传感器采样获得低分辨率衍射图案的像素值是对应 4 个子像素值的总和。理论上,亚像素分辨率衍射成
18、像采样模型可以建模为y=S|Ax|2+n=1,2,L,(1)其中,x=|x|exp(jx)Cn表示观测样本的复透射率即待重建复图像,|x|Rn和xRn分别表示 x 的振幅和相位图像。n 表示加性高斯白噪声对应的向量,ACmn表示 L 个采样矩阵构成的集合中第 个采样矩阵,yRd表示传感器采集到的衍射强度图样。SRdm表示传感器像素的下采样算子,其中 m=d,表示下采样因子。|及下文中均表示逐元素运算符。350 燕山大学学报2023图 1 亚像素分辨率衍射成像说明图Fig.1 Subpixel resolution diffraction imaging figure 根据最大后验概率准则,从低
19、分辨率衍射强度图样 y 中重建观测样本 x 的优化模型可表示为min|x|,x12LL=1S|A|x|exp(jx)|2-y22+R(|x|exp(jx)。(2)式中,第一项为数据保真度项,由于低阶振幅的数据保真度函数更有利于加快算法收敛,且文献26验证了利用低阶保真度函数作为亚像素分辨率相位恢复中数据保真度函数的优越性能,本文构建的数据保真度项保证重建振幅图样逼近观测振幅图样。第二项为正则化项,可通过该项引入图像的先验知识,为正则化参数用以平衡数据保真项和正则化项的比重。式(2)定义的优化问题可采用近端梯度算法进行求解,但由于近端梯度算法收敛较慢,AWFTV算法引入 Nesterov 动量项
20、加速算法收敛。具体迭代步骤如下(以第 t 次迭代为例):v(t)=u(t-1)-uF(u(t-1),(3)x(t)=proxR(v(t),(4)u(t)=x(t)+t(x(t)-x(t-1),(5)其中,F()为数据保真函数的 Wirtinger 梯度,为步长。AWFTV 框架根据 Nesterov 方法令动量项的参数 t=t/(t+3);u(0)=x(0)。prox()为邻近算子,其定义为proxR(v)=argminx12x-v22+TV(x),(6)其中,TV()表示 TV 正则化项。当式(6)中=0 时,则为 AWF 算法。该算法较 AWFTV 算法缺少正则项约束,未能利用图像的梯度稀
21、疏先验知识,因此其重建质量通常较低。2 融合内-外部互补先验的亚像素分辨率衍射成像算法2.1 基于 BM3D 框架的表示模型 BM3D 算法27是利用图像自身冗余信息进行去噪的非局部算法,过程主要分为三个步骤:1)分组:将输入图像分成大小相同的块,通过块间欧式距离在邻域内搜索参考块的相似块并将参考块与相似块堆叠成三维数组,构造若干三维数组。2)协同滤波:对三维数组经变换后的系数矩阵进行硬阈值滤波。3)合成:对滤波后的频谱进行反演,计算每个块的估计值并将图像块放回原始位置,利用加权平均值得到最终重建图像。BM3D 算法的过程可通过框架表示28,其解析框架表示模型为第 4 期石保顺 等 基于内-外
22、部互补先验的亚像素分辨率衍射成像算法研究351 w=x=1Bx,(7)其中,w 为表示系数,B 表示相似块组成的组数。解析算子 b定义为b=jJbdj(D2D2)Bj,(8)其中,Jb=jb,1,jb,K表示第 b 组中图像块索引的集合,每组中图像块的总数为 K。dj表示 1D 块间变换D1的第 j 列,D2表示 1D 块内变换,Bj表示整个图像的取块算子。估计图像由组估计中块的加权平均值获得,权重为 gb。与上述推导类似,综合框架模型可表示为x=w=W-1g11,gBBw,(9)其中,W=bgbjJbBTjBj。综合算子 b定义为b=jJbdTjBTj(D2D2)T。(10)针对实值图像 x
23、 的去噪问题,BM3D 去噪框架可描述为BM3D(x)=H(x),(11)其中,H表示阈值为噪声标准差 的硬阈值算子。本文根据上述表示模型,利用 BM3D 的解析框架构建正则化模型以利用图像的非局部相似性。本文将基于复图像 x 内部块相似性先验的正则项定义为RBM3D(x)=(|x|)+(x),(12)其中,表示正则化参数。2.2 基于外部先验的卷积稀疏编码正则化模型深度展开卷积稀疏编码是将传统卷积稀疏编码迭代过程展开成深度神经网络,其优化模型可表示为minD,i1NNi=112xi-Di22+(ai),(13)其中,D 表示卷积字典,表示对应的表示系数,表示正则化因子。()表示 的稀疏惩罚函
24、数,通常采用0或1衡量稀疏性。上式中,Di=Cc=1Dci,c,表示二维卷积算子,C 表示通道数。式(13)中第一项为图像在卷积字典下的表示误差,第二项是对表示系数进行稀疏约束的正则项。传统方法通常通过交替优化方法求解上述优化问题,即卷积稀疏编码步骤和卷积字典更新步骤交替进行。深度卷积稀疏编码将上述交替迭代的过程展开成网络,卷积字典和超参数均通过端到端的方式进行学习。学习过程中,xi,xgti代表N 个训练样本对,xi代表噪声图像,xgti代表干净图像。式(13)可表示为双层优化问题minD1NNi=1L(Di,xgti)s.t.i=argmin122ixi-D22+(),(14)其中,L(:
25、,:)表示损失函数,i表示xi的噪声水平。式(14)约束项定义的优化问题可以通过ISTA 迭代求解:=S,-1rot180(D)(xi-D)(),(15)其中,S 表示收缩(Shrinkage)函数,表示超参数,rot180(D)表示 D 旋转 180。现有的深度展开方法通过两个 DNN 模块来参数化 和 D 以构建网络架构。然而参数化两个独立的卷积模型违反了数学约束(rot180(D)和 D 满足转置约束),背离了卷积字典的物理意义。此外,参数化一个通用字典 D 来表示所有图像,削弱了图像表示的灵活性。为解决上述深度展开卷积稀疏编码的局限性,文献29提出了一种新的深度展开框架,即DCDicL
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 外部 互补 先验 像素 分辨率 衍射 成像 算法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。