多光谱成像技术.ppt

*,物理与电子信息学院,*,杨卫平,云南师范大学物理与电子信息学院,跨媒体颜色复制与多光谱成像技术,2005.07.24,一,.,跨媒体颜色复制,二,.,跨媒体颜色复制技术简化,三,.,基于色貌的,CRT,特性化及颜色复制,四,.,基于色貌的,LCD,特性化及颜色复制,五,.,多光谱成像与光谱重建,主要内容,2025/12/5 周五,2,一,.,跨媒体颜色复制,当前的跨媒体颜色复制主要集中在两个方面：,色度匹配,和,色貌匹配,2025/12/5 周五,3,T,T,T,T,T,T,T,T,T,T,T,T,T,T,=,不同设备色空间之间的变换,色度匹配是要求“,色度真实,”的颜色复制，主要是解决色空间的设备依赖问题。,一,.,跨媒体颜色复制,2025/12/5 周五,4,一,.,跨媒体颜色复制,2025/12/5 周五,5,一,.,跨媒体颜色复制,=,每一个设备色空间到标准色空间的变换,T,T,T,T,T,T,T,T,与设备无关的,标准色空间,2025/12/5 周五,6,一,.,跨媒体颜色复制,独立于色设备的颜色空间变换,2025/12/5 周五,7,一,.,跨媒体颜色复制,独立于色设备的颜色空间变换,2025/12/5 周五,8,一,.,跨媒体颜色复制,国际色彩联盟（,ICC,，,International Color Consortium,）提出了基于,Profile,的颜色管理系统，不论在理论上还是实践上，均已比较成功地解决了设备色空间不独立的问题。,2025/12/5 周五,9,一,.,跨媒体颜色复制,但是解决了,色度匹配,问题并不能实现,色貌匹配,。色貌不匹配是因为即使解决了色空间的设备依赖性问题，使两个颜色的,CIE,三刺激值（,XYZ,）相同，也只有在,周围环境、背景、样本尺寸、样本形状、样本表面特性和照明条件等因素都相同的观察条件下，,视觉感知,才是一样（匹配）的,。换言之，一旦将两个相同（,XYZ,）的颜色置于不同的观察条件下，则人的视觉感知会产生变化，这就是所谓的,色貌现象,。,2025/12/5 周五,10,颜色置于不同的观察条件下，则人的视觉感知会产生变化,2025/12/5 周五,11,一,.,跨媒体颜色复制,色貌现象,例如,背景,对,色,貌,的,影响,不同的背景色，,会,造成人,对,色彩的,错觉,，它不只造成,颜色,(,色,调,),的“,错误”感觉,，也造成“,错误”,的灰度感,觉,。,这点,在,颜色,工程上，造成相,当,大的困,扰,，非常不好,处,理。由此也,发,展了很多的色貌模式,(Color Appear,a,nce Model),来,处,理此,问题,。,2025/12/5 周五,12,一,.,跨媒体颜色复制,A,B,B,A,2025/12/5 周五,13,一,.,跨媒体颜色复制,输入设备特性化,色貌模型正变换,XYZ,图像,色域,变换,JCH,图像,RGB,图像,输入设备色度特性,观察条件,RGB,图像,输出设备特性化,色貌模型逆变换,修正后的,JCH,图像,观察条件,输出设备,色度特性,输入输出设备色域,XYZ,图像,评价,2025/12/5 周五,14,色貌模型的理论基础,Von Kries(18531928),的色适应模型,R,G,B,R,，,G,，,B,R,0,G,0,B,0,R,0,G,0,B,0,2025/12/5 周五,15,CIECAM97s,色貌模型的建立,输入量,颜色样本的三刺激值,XYZ,值,照明光源的白场三刺激值,背景的亮度因数,适应场的绝对亮度,(cd/m2),观察条件参数（,Viewing Condition),输出量,明度：,Lightness,彩度,:,Chroma,色相,:Hue,视亮度,:Colorfulness,色饱和度,:Saturation,2025/12/5 周五,16,CIECAM97s,色貌模型数学过程,对样本的,XYZ,进行色适应变换,对色适应变换后的信号进行非线性压缩,根据上述结果计算各色貌属性参数,色貌模型的逆计算,2025/12/5 周五,17,CIECAM97s,色貌模型数学过程,色适应变换,2025/12/5 周五,18,CIECAM97s,色貌模型数学过程,非线性压缩,2025/12/5 周五,19,CIECAM97s,色貌模型数学过程,灰度响应,明度,Lightness,饱和度,saturation,彩度,Chroma,视彩度,colorfulness,偏心因子,四,原色相位,计算各色貌属性参数,2025/12/5 周五,20,CIECAM,02,色貌模型,CIE,于,2002.09.26,公布了,CIECAM97s,修正版本,CIECAM02,，对,CIECAM97s,模型的缺点进行了改进，补充了一些信息并更加趋向于实用。,CIECAM02,可以被推荐用于色彩管理等应用场合。它是基于,CIECAM97s,，也是由色适应变换和预测相关属性的计算等式组成。,2025/12/5 周五,21,表,1,色貌模型的开始数据,开始数据,样本在测试条件下的色品坐标,x,y,Y,测试条件下的白点的色品坐标,x,W,y,W,Y,W,测试条件下背景的色品坐标,x,b,y,b,Y,b,参考条件的参考白,x,Wr,=1/3,y,Wr,=1/3,Y,Wr,=100,测试适应场的亮度,/,cd,m,-2,L,A,（一般取测试白场亮度的,1/5,）,表,2,色貌模型的观察条件参数,环境,c,Nc,F,平均环境,0.69,1.0,1.0,暗环境,0.59,0.95,0.9,黑环境,0.525,0.80,0.8,2025/12/5 周五,22,一,.,跨媒体颜色复制,Rosen,等人（,2001,）和,Masahiro Yamaguchi,（,2002,）等人也提出了一个复杂的基于光谱的颜色复制系统。,2025/12/5 周五,23,一,.,跨媒体颜色复制,1.,不考虑真实性的直接复制,输入设备,输出设备,RGB,RGB,人工控制设备和算法的复制,2.,设备独立色空间,输出 设备特性化,色域映射,输入设备特性化,3.,颜色偏爱复制,5.,多光谱成像光谱重建系统,输入观察条件,1,输入设备特性化,色貌模型变换,XYZ,XYZ,输出观察条件,输入观察条件,2,输出设备特性化,4.,2025/12/5 周五,24,一,.,跨媒体颜色复制,可以将跨媒体颜色复制归结为,5,个等级,不考虑“真实”的颜色复制,考虑“近似真实”的颜色复制,考虑“色度真实”的颜色复制,考虑“色貌真实”的颜色复制,考虑“人文真实”的颜色复制,2025/12/5 周五,25,一,.,跨媒体颜色复制,目前跨媒体颜色复制存在的问题,ICC,基于,Profile,的颜色管理系统,较少考虑色貌因素,基于色貌模型的颜色管理系统由于,参数较多,、,计 算复杂,和,应用条件严格,，故难于应用推广。,基于光谱的颜色管理系统可以解决色貌模型的一些应用困难和提高复制精度。但,技术复杂,，,尚不成熟,，需进行广泛深入的研究。,2025/12/5 周五,26,二,.,跨媒体颜色复制技术简化,人工神经网络,XYZ,RGB,色适应与设备特性化结合的跨媒体颜色复制简化流程,观察条件一,观察条件二,视觉,匹配,XYZ,图像,RGB,图像,输入设备特性化,RGB,图像,基于色貌的显示设备特性化方法,该方法的核心：,“,视觉匹配,”,+,神经网络,相当于,CAM,的正变换,相当于,CAM,的逆变换,RGB,图像,2025/12/5 周五,27,二,.,跨媒体颜色复制技术简化,在“视觉匹配”过程中将给定照明条件下的一个媒体的一些色貌因素“映射”到另一个媒体，把具体颜色传播媒介的颜色参数与通用的色貌属性参数（包括照明、背景、环境因素等）直接联系起来。是一种基于色貌的特性化方法。克服了以往特性化方法仅涉及色度参数的变换、与色貌脱离的问题。,2025/12/5 周五,28,三,.,基于色貌的,CRT,特性化及颜色复制,输入设备为数码相机（,Canon,PowerShot,G2,）,采用神经网络特性化方法（,6-20-20-20-3,结构）,RGB,XYZ,的非线性变换,训练样本,869,个，,测试样本,400,个（,Munsell,色卡）,1.,基础工作,：输入设备（数码相机）的特性化,2025/12/5 周五,29,三,.,基于色貌的,CRT,特性化及颜色复制,训练样本,测试样本,网络结构,动量,因子,学习,步长,全局,误差,/,10,2,平均,色差,色差超过,10,的样本,数,平均,色差,色差超过,10,的样本,数,6-20-20-20-3,0.3,0.1,0.45,2.36,1,2.98,13,泛化精度,泛化是指，对于从未在训练网络时使用过的测试数据（但属于同一个数据集），若网络计算的输入,输出的映射对它们来说是正确（或接近于正确）的，则认为网络的,“,泛化,”,是很好的,2025/12/5 周五,30,三,.,基于色貌的,CRT,特性化及颜色复制,训练样本集,L,*,a,*,b,*,拟合图（,6-20-20-20-3,结构）,测试样本集,L,*,a,*,b,*,拟合图（,6-20-20-20-3,结构）,2025/12/5 周五,31,三,.,基于色貌的,CRT,特性化及颜色复制,色差大于,10,的测试样本的分布图（,6-20-20-20-3,结构）,由于一张,Munsell,色卡分布着明度从,9,到,2.5,，彩度从,1,14,的色块，之间的差异很大。不论是平均测光还是重点测光，高明度的色块可能会曝光过度，而低明度再加上低彩度的色块可能曝光不足。因此，产生颜色信息的较大误差。从实用的角度来看，图像中太亮和太暗的颜色出现的几率都是很低的。低彩度的色块多为某一色调的边界点，神经网络的插值效果较差，导致误差增大。,2025/12/5 周五,32,三,.,基于色貌的,CRT,特性化及颜色复制,实验方法及条件,办公室环境混合照明下不完全适应,采用同时双眼匹配技术（,simultaneous,binocular,（,SMB,）,matching technique,）,2.,核心工作,：基于色貌的,CRT,特性化,2025/12/5 周五,33,三,.,基于色貌的,CRT,特性化及颜色复制,视觉匹配者,北,位置,1,位置,3,位置,2,窗,2025/12/5 周五,34,三,.,基于色貌的,CRT,特性化及颜色复制,a.,分色调训练,网络结构,3-7-7-3,泛化效果,选择,V=3,，,4,，,5,，,6,，,7,和,C=2,，,6,，,10,或,14,共,457,个,Munsell,色卡作为训练样本集。样本对（,XYZ,RGB,）按照各自所属色调,R,（红），,YR,（黄红），,Y,（黄），,GY,（绿黄），,G,（绿），,BG,（蓝绿），,B,（蓝），,PB,（紫蓝），,P,（紫）和,RP,（红紫），分别训练出结构为,3-7-7-3,的,10,个神经网络。,选择,V=3,，,4,，,5,，,6,，,7,和,C=4,，,8,或,12,共,372,个,Munsell,色卡作为测试集。,2025/12/5 周五,35,三,.,基于色貌的,CRT,特性化及颜色复制,1,2,3,4,5,6,7,8,9,10,其中：,1,5,是视觉匹配的,Munsell,色卡在,CRT,上的显示；,6,10,是神经网络的输出值在,CRT,上的显示，其中：,6,、,8,和,10,是训练样本，,7,和,9,是测试样本。,2025/12/5 周五,36,三,.,基于色貌的,CRT,特性化及颜色复制,色调,(H),平均,色差,平均,彩度差,平均,色调差,最大,色差,最大,彩度差,最大,色调差,色差超过,10,的样本数,R,2.79,1.68,1.37,7.06,6.75,4.32,0,YR,2.76,1.87,1.09,11.45,10.72,7.32,1,Y,2.51,1.77,1.12,6.12,5.42,4.06,0,GY,3.52,2.61,1.51,8.91,8.42,5.64,0,G,1.68,0.93,0.73,4.05,3.23,1.70,0,BG,1.95,1.04,0.95,4.71,3.25,3.22,0,B,2.35,0.92,1.68,5.75,3.68,5.35,0,PB,2.54,1.29,1.37,8.71,5.38,4.37,0,P,3.19,2.28,1.08,12.87,12.57,3.04,1,RP,2.47,1.40,1.06,8.16,8.08,3.40,0,平均,2.58,1.58,1.20,7.78,6.75,4.24,2,训练样本集的实验结果,（彩度差取绝对值）,2025/12/5 周五,37,三,.,基于色貌的,CRT,特性化及颜色复制,色调,(H),平均,色差,平均,彩度差,平均,色调差,最大,色差,最大,彩度差,最大,色调差,色差超过,10,的样本数,R,4,2.68,1.67,9.56,7.85,6.21,0,YR,3.41,2.54,1.92,7.73,7.46,4.01,0,Y,4.34,3.03,1.38,10.43,8.97,3.55,1,GY,5.16,4.26,1.69,13.23,12.76,6.21,2,G,3.05,2.14,1.33,6.99,5.73,3.64,0,BG,2.51,1.55,0.92,5.39,4.87,2.83,0,B,6.01,3.37,2.15,16.49,9.27,9.92,6,PB,3.27,1.88,1.74,10.72,7.92,6.93,1,P,3.47,2.11,1.26,9.93,8.07,9.48,0,RP,3.29,1.95,1.46,7.62,5.03,5.45,0,平均,3.85,2.55,1.55,9.81,7.79,5.82,10,测试样本集的泛化效果,（,彩度差取绝对值,）,2025/12/5 周五,38,三,.,基于色貌的,CRT,特性化及颜色复制,b.,加入光源信息训练,x,0,y,0,z,0,x,y,Y,R,G,B,神经网络模型,2025/12/5 周五,39,三,.,基于色貌的,CRT,特性化及颜色复制,网络结构,6-20-20-20-3,和,3-20-20-20-3,泛化效果,6,个输入（,x,y,Y,x,0,y,0,z,0,）和,3,个输入（,x,y,Y,）网络实验结果,网络结构,全局,误差,/10,4,训练样本集,测试样本集,均方,根差,平均,色差,色差超过,10,的样本数,均方,根差,平均,色差,色差超过,10,的样本数,6-20-20-20-3,2.08,1.0137,2.12,0,2.4903,4.51,17,3-20-20-20-3,3.30,1.3682,2.53,1,2.5297,4.33,16,2025/12/5 周五,40,三,.,基于色貌的,CRT,特性化及颜色复制,3-20-20-20-3,结构训练样本集,L,*,a,*,b,*,拟合图,3-20-20-20-3,结构测试样本集,L,*,a,*,b,*,拟合图,2025/12/5 周五,41,三,.,基于色貌的,CRT,特性化及颜色复制,c.,结果分析,采用色品坐标作为网络的输入矢量，可以减小网络 的全局误差，使网络尽可能地收敛到全局最小。这是因为，色品坐标可以将明度（,Y,）与色品坐标分离，不会因,Y,值的改变而改变，而三刺激值,X,、,Y,、,Z,均与明度有关，且相互之间均有联系。以色品坐标作为训练网络的输入参数，可以增加网络收敛的稳定性。,2025/12/5 周五,42,三,.,基于色貌的,CRT,特性化及颜色复制,实验中发现，在输入矢量中加入光源参数，可以加速网络的收敛和减小全局误差，使训练样本集有较小的平均色差。但在测试集中则会出现一些较大的色差。不加光源信号训练的网络，虽然全局误差相对较大，训练样本集的平均色差也不甚理想,(,色差超过,10,的样本有,1,个,),，但在测试样本空间却有较理想的输出。对于这些现象，可以理解为由于输入矢量加入光源信号后，一方面使网络的结构趋于复杂，对输出样本产生了串扰。另一方面，,“,过训练,”,也会导致泛化效果的变差。,2025/12/5 周五,43,三,.,基于色貌的,CRT,特性化及颜色复制,色差较大的样本多集中于某几个彩度（例如,C=4,，,8,）。这些色度值在,Munsell,色卡中，多为某一明度下的最大值，属边界点。因此误差较大。这一点与分色调训练相同。,2025/12/5 周五,44,三,.,基于色貌的,CRT,特性化及颜色复制,3.,评价：,基于色貌特性化方法颜色复制的主观评价,实验条件,随机选取,22,个,Munsell,色块；办公室环境；,组织了,10,名颜色视觉感知正常、经过培训的学生和,2,名专业老师共,12,人进行主观评价。其中，女性,4,名，男性,8,名，年龄在,1546,岁之间。,评价方法,采用相对记分评价法（,6,分制），即把复制效果最好的色块定为,6,分，以复制效果最差的色块为,0,分,2025/12/5 周五,45,三,.,基于色貌的,CRT,特性化及颜色复制,四种跨媒体颜色复制方法示意图,Munsell,色块,数码相机图像,RGB,CRT,RGB,特性化,RGB,XYZ,基于色貌的特性化,XYZ,RGB,CIECAM02,正变换,XYZ,JCH,CIECAM02,逆变换,JCH,XYZ,办公室,环境观察,硬拷贝,办公室环境观察自发光体,直接颜色复制,RGB,RGB,sRGB,空间,RGB,XYZ,办公室环境,2,3,1,4,一般特性化,XYZ,RGB,2025/12/5 周五,46,三,.,基于色貌的,CRT,特性化及颜色复制,评价结果,序号,颜色复制方法,视觉评价（,6,分制）,1,视觉匹配,4.74,2,色貌模型,4.78,3,sRGB,变换,0.99,4,直接复制,3.03,2025/12/5 周五,47,四,.,基于色貌的,LCD,特性化及颜色复制,实验条件,符合,CIE TC8-04,（,2004.07,）的混合照明下的不完全适应的实验规定。全部视觉匹配在暗室进行，日光灯照明。,实验设备,1.,中国建筑色卡，,实验中选择了共,498,个色样进,行视觉匹配。其中,395,个训练样本，,103,个测试,样本。,2.LCD,（东芝,TE2100,笔记本电脑）,2025/12/5 周五,48,四,.,基于色貌的,LCD,特性化及颜色复制,2025/12/5 周五,49,网络结构,6-20-20-20-1,（,RGB,）（,XYZx,0,y,0,z,0,RGB,）,LCD,视觉匹配实验环境参数,硬拷贝,软拷贝,周边环境,光源,D65,荧光灯,观察条件,环境参数,近测场,背景,灯箱,后壁,近测场,背景,LCD,表面照度,x,0.3218,0.3443,0.3280,0.3187,0.0499,y,0.3288,0.3519,0.3394,0.4012,0.4217,Y,0,369.6,cd,m,-2,136.8,cd,m,-2,124.2,cd,m,-2,106.24,cd,m,-2,21.25,cd,m,-2,7.00cd m,-2,四,.,基于色貌的,LCD,特性化及颜色复制,2025/12/5 周五,50,四,.,基于色貌的,LCD,特性化及颜色复制,泛化效果,神经网络测试样本输出结果,网络结构,X,的均,方根差,Y,的均,方根差,Z,的均,方根差,XYZ,综合均方根差,最大,平均,色差超过,10,的样本数,6-20-20-20-1_R,6-20-20-20-1_G,3.8217,2.7757,3.9413,3.5517,17.64,5.75,15,6-20-20-20-1_B,6-20-20-20-3,5.5939,4.8719,4.4036,4.9806,26.68,6.35,18,3-20-20-20-3,6.4614,5.9573,5.2918,5.6229,30.03,7.50,29,2025/12/5 周五,51,四,.,基于色貌的,LCD,特性化及颜色复制,6-20-20-20-1,（,RGB,）结构测试样本集神经网络输出效果,6-20-20-20-3,结构测试样本集的神经网络输出效果,2025/12/5 周五,52,四,.,基于色貌的,LCD,特性化及颜色复制,误差分析,1.,多集中于,V=7,以上的较高明度区。,2.,多集中于,H=Y,（黄）及其相邻色调。,3.,多集中于,C=4,以下的低彩度部分。,2025/12/5 周五,53,四,.,基于色貌的,LCD,特性化及颜色复制,实验结果分析,1.,网络的泛化效果与样本空间的排序有密切的关系,2.,误差集中在,蓝通道,（,B,通道）。红和绿通道（,R,和,G,通道）有较好的输出效果,3.,网络具有小的全局误差并不一定具有好的泛化效果,2025/12/5 周五,54,四,.,基于色貌的,LCD,特性化及颜色复制,从长、中、短波锥体细胞的灵敏度解释,2025/12/5 周五,55,四,.,基于色貌的,LCD,特性化及颜色复制,从色适应过程锥体细胞的灵敏度调节解释,2025/12/5 周五,56,五,.,多光谱成像与光谱重建,在颜色复制过程中引入光谱信息是为了解决色貌模型的一些应用困难和提高复制精度,1.,色貌模型必须知道原图像与复制图像,两边,的照明 条件,3,.,同色异谱匹配虽然,使得,颜色复制成为可能，但在一些应用领域也影响了颜色复制的精度。,例如艺术品、文物的电子复制，牙齿、面颌修复和服装的颜色搭配等,。,2,.,由分析可知，大部分影响色貌保持复制的主要因素是,照明条件,的改变，例如电子商务和远程医疗。,2025/12/5 周五,57,五,.,多光谱成像与光谱重建,多光谱图像颜色复制技术发展回顾,多光谱颜色技术最早由德国的亚琛工业大学于,1974,年提出并发展起来的，主要经历了如下几个发展阶段：,1,多光谱图像光谱重建概念的提出（,1974,1984,）：早期的多光谱图像采集装置，其最初目的是采用电子的方法精确测量打印过程中的产品颜色。采用了,16,个光谱通道。,1984,年，一台称作,“,Colorcomp,”,的分光光度计进入市场。这是第一台商品化的快速采集颜色信息的多光谱光度计。,2025/12/5 周五,58,五,.,多光谱成像与光谱重建,多光谱图像颜色复制技术发展回顾,2,全面发展阶段（,1987,1994,年）：在德国亚琛，多光谱数码相机研究获得资助，于,1990/1991,年建成一套实验装置。这是一套基于数字图像技术的多光谱图像采集系统。采用,512,512,像素的黑白（单色）,CCD,，由电机控制的转轮，装有,16,片窄带干涉滤色片。,1994,年改进了光电系统，安装了,2048,2048,像素的带制冷系统的数码相机（,CCD,），采集,16,个波段的光谱图像需要约,30,分钟。,在这一时期，美国的,Munsell,颜色科学实验室等研究机构开始从事这一领域的研究工作，并取得了许多进展。,2025/12/5 周五,59,3,逐步发展和应用阶段（,1998,今），多光谱图像颜色重建的一些实际问题被逐步解决（例如：机械系统的稳定问题；光源的均匀性问题；物镜与滤色片之间的多反射和光学灵敏度问题等），一个完整的多光谱数码相机重建系统被建立。两年以后（,2000,），亚琛的,“,Color,AIXperts,”,系统进入市场。它可以采集分辨率为,1280,1280,到,3000,2000,的图像，时间为,20,秒到,2,分钟（视分辨率而定）。,多光谱图像颜色复制技术发展回顾,2025/12/5 周五,60,五,.,多光谱成像与光谱重建,基于多光谱成像和多通道显示技术的颜色复制原理图,2025/12/5 周五,61,五,.,多光谱成像与光谱重建,建于,1990/1991,年的第一台多光谱数码相机实验装置，一直工作到,1995,年,2025/12/5 周五,62,五,.,多光谱成像与光谱重建,1998/1999,年，亚琛工业大学开始进行,6,通道显示研究。实验中使用了二台,LCD,背投投影仪，通过给每个光学通道上加装窄带滤色片在屏幕上显示,6,通道的光谱图像（图,2,）。,6,原色的显示装置可以获得比传统的三原色装置更大的色域范围。这项研究目前仍在继续。同时，又开始研制基于,DLP,（,micro-mirror device,）背投系统。,2002,年，东京理工大学也实验室实现了类似的双,LCD,背投的,6,原色显示系统。,2025/12/5 周五,63,五,.,多光谱成像与光谱重建,二套,LCD,背投投影仪组成的,6,通道显示系统示意图,2025/12/5 周五,64,五,.,多光谱成像与光谱重建,实验中的二套,LCD,背投,6,原色显示系统,2025/12/5 周五,65,五,.,多光谱成像与光谱重建,基于光谱模型的多原色打印,基于光谱的,打印模型最早可追溯到,1937,年，,Neugebauser,建立了第一个打印模型。由,Yule-Nielsen,修正的光谱,Neugebauser,模型可以表示为：,这里，,R,pr int,是被打印颜色的反射率，,n,是,Yule-Nielsen,因子，,R,p,是第,p,个,Neugebauser,原色的反射率。,a,p,是原色的覆盖面积。每一个,Neugebauser,原色的覆盖面积使用,Demichel,的点交迭模型计算：,p=0,15,c=c,m,y.k,2025/12/5 周五,66,五,.,多光谱成像与光谱重建,基于多光谱图像的光谱重建流程图（多光谱打印）,2025/12/5 周五,67,五,.,多光谱成像与光谱重建,在,CIE-UCS,色度图、,D65,施照态下的,6,通道显示的色域（彩色部分）和,sRGB,色域（三角形）,2025/12/5 周五,68,五,.,多光谱成像与光谱重建,图像,融合,色度和色貌变换,色域映射,显示器特性化,普通打印机特性化,光谱重建,基于光谱打印分离的最小同色异谱,多原色直接数字打印,高分辨率图像,Munsell,实验室基于多光谱技术颜色复制流程,2025/12/5 周五,69,五,.,多光谱成像与光谱重建,CIECAM02,正变换,XYZ,JCH,CIECAM02,逆变换,JCH,XYZ,一般特性化,XYZ,RGB,观察条件三,多光谱成像光谱重建系统,XYZ,图像,RGB,图像,视觉,匹配,人工神经网络,XYZ,RGB,观察条件一,任意照明条件,观察条件二,办公室环境,基于光谱的颜色复制,2025/12/5 周五,70,五,.,多光谱成像与光谱重建,选择玉石与常见水果进行表面光谱反射比重建,采用多通道图像采集系统采集多光谱图像,考虑一个由,M,个宽带彩色滤光片和一个三通道,CCD,数码相机组成的多光谱图像采集系统。,这里，可以事先用仪器测定。是第,m,个滤光片的光谱透射比，是系统噪声。,1.,基础工作：,物体表面光谱反射比重建,2025/12/5 周五,71,五,.,多光谱成像与光谱重建,在实际操作中，把,离散化：,写成矩阵形式：,Q,是一个,P,N,的变换矩阵，其元素为：,a.,由训练样本集获取,Q,+,由上式，通过相机对训练样本集的拍摄获得相应的输出,g,，从而获得一套,r,g,样本集，然后利用最小二乘法原则求得 。,有：,（,1,）,2025/12/5 周五,72,五,.,多光谱成像与光谱重建,b.,获取,Q,+,的,PCA,方法,可以将,r,分解为：,根据主成分定义，,是,r,ln,的主成分。写成矩阵形式：,（,3,）,将（,1,）式代入,(3,）式，有：,令：,B,=,e,+,Q,+,，有：,（,2,）,将上两式代入,(2,）式，有：,2025/12/5 周五,73,玉石的前,6,个特征矢量,五,.,多光谱成像与光谱重建,2025/12/5 周五,74,五,.,多光谱成像与光谱重建,常见水果的前,6,个特征矢量,2025/12/5 周五,75,五,.,多光谱成像与光谱重建,样本集,最大,RMSE,/10,-4,平均,RMSE,/10,-4,最大,%R,/10,-4,平均,%R,/10,-4,最大,平均,训练,10.02,5.07,114.24,64.24,0.23,0.14,测试,24.15,14.07,220.79,117.19,0.35,0.20,由训练样本获取,Q,+,光谱重建评价,19,个玉石训练样本和,10,个测试样本的光谱反射比重建及评价,2025/12/5 周五,76,五,.,多光谱成像与光谱重建,6,个玉石测试样本的光谱反射比重建,2025/12/5 周五,77,五,.,多光谱成像与光谱重建,样本集,最大,RMSE,/10,-4,平均,RMSE,/10,-4,最大,%R,/10,-4,平均,%R,/10,-4,最大,平均,训练,153.67,80.07,1000.75,433.49,3.46,1.48,测试,218.41,134.52,2996.84,828.57,15.61,3.35,30,个水果训练样本和,13,个测试样本的光谱反射比重建及评价,2025/12/5 周五,78,五,.,多光谱成像与光谱重建,6,个水果测试样本的光谱反射比重建,2025/12/5 周五,79,五,.,多光谱成像与光谱重建,由训练样本及,PCA,方法获取,Q,+,光谱重建评价,特征矢量数,贡献率,/%,最大,RMSE,/10,-4,平均,RMSE,/10,-4,最大,%R,/10,-4,平均,%R,/10,-4,最大,平均,1,72.53,302.69,100.24,3385.76,1024.19,17.58,5.78,3,91.43,57.44,29.11,354.08,259.75,1.31,0.72,6,97.77,31.01,15.69,201.02,132.47,0.56,0.26,9,99.11,24.18,14.08,220.56,117.60,0.35,0.20,10,个玉石测试样本的,PCA,方法光谱反射比重建及评价,2025/12/5 周五,80,五,.,多光谱成像与光谱重建,6,个玉石测试样本的,PCA,方法光谱反射比重建,2025/12/5 周五,81,五,.,多光谱成像与光谱重建,特征矢量数,贡献率,/%,最大,RMSE,/10,-4,平均,RMSE,/10,-4,最大,%R,/10,-4,平均,%R,/10,-4,最大,平均,1,69.81,1086.00,658.05,10788.46,3927.35,32.63,19.94,3,90.30,511.68,234.46,3370.58,1190.95,11.70,4.17,6,96.48,219.07,134.36,2623.98,817.00,14.11,3.32,9,98.54,218.41,134.36,2980.45,831.55,15.50,3.35,13,个水果测试样本,PCA,方法光谱反射比重建及评价,2025/12/5 周五,82,五,.,多光谱成像与光谱重建,6,个水果测试样本的,PCA,方法光谱反射比重建,2025/12/5 周五,83,五,.,多光谱成像与光谱重建,不同种类主成份和训练样本的比较结果,如果采用非同种类的物体，如色卡，作为训练样本集，重建的光谱反射比会产生较大的误差。以下是以,24,个,Gretag,Machbeth,Color,Checher,色卡作为训练样本集，用,NCS,色卡的光谱反射比构建主成份（,3,和,6,个），重建的,10,个玉石和,13,个水果的光谱反射比。,物体种类,特征矢量数,最大,RMSE,/10,-4,平均,RMSE,/10,-4,最大,%R,/10,-4,平均,%R,/10,-4,最大,平均,玉石,3,82.52,36.94,522.06,308.17,2.39,1.08,6,88.14,37.72,527.16,288.19,2.48,1.31,水果,3,2816.08,1775.49,6133.43,5996.87,28.90,23.20,6,2813.43,1765.79,6149.12,6014.70,28.96,23.86,2025/12/5 周五,84,五,.,多光谱成像与光谱重建,实验中随机选择了,20,个（不在神经网络训练样本集内）,中国建筑色卡,色卡作为评价对象（光谱反射比由,DataColor,CS-5,测量）。为了保证实验环境的稳定，实验在暗室中进行。样本置于标准灯箱，,D65,光源照明；,LCD,由日光灯照明。,有,6,名颜色视觉感知正常、经过培训的学生和专业老师参加视觉评价。其中，女性,2,名，男性,4,名，年龄在,2446,岁之间。,颜色复制方法,视觉评价（,100,分制）,光谱,+,视觉匹配,+,神经网络,77.63,2.,光谱与基于色貌,LCD,特性化相结合的颜色复制,2025/12/5 周五,85,敬请指教！,谢谢！,2025/12/5 周五,86,