2016, Vol. 38
Issue (5): 393-401
, FANG Yuping, LI Meng, LÜ Xiankui, WANG Yuanfangzhou, DONG Ming, ZHANG Yang, ZHU Jiawei, YANG Weiping, LUO Yanlin
多光谱成像技术早在20世纪70年代就应用于航空航天遥感领域,并且不断得到发展[1]。由于其克服了传统三原色数字成像设备固有的同色异谱问题,实现了物体表面光谱信息的真实记录。该技术逐步在博物馆、美术馆和计算机图形学得到应用[2],为文化遗产真实的数字化典藏、艺术品的高保真复制提供基础[3]。当前在颜色科学领域,光谱成像设备主要分为由窄带滤光片组成的窄带光谱成像系统[4]和由宽带滤光片配合三通道或单色CCD数码相机组成的宽带成像系统[5]。宽带成像系统通过光谱重建算法计算得到物体表面的光谱反射率,并且只需要对具有高分辨率的数码相机进行简单的改造,即可获取具有高分辨率和高空间分辨率的光谱图像,较好地克服了窄带光谱成像系统的低空间分辨率的缺点,光谱图像获取周期短,所以得到了广泛应用[6]。
美国孟塞尔颜色科学实验室Berns等对Sinar54型号数码相机进行改造,配合从肖特(scott)滤光片中所选取出的两个宽带滤光片schottBG39和schottGG475组成6通道宽带光谱相机,重建出D50光源下油画的光谱反射率。所选的滤光片只是为了得到与改造后的数码相机有近似的光谱灵敏度,并未形成一个使用滤光片的选择方法[7]。Day在Berns等的指导下也进行了相应的滤光片选择实验,结合伪逆法与相机数学模型成功地选择出在光谱上达到最佳精度的滤光片柯达雷登55(Kodak Wratten 55)和unfiltered (NF)。在色度上达到较高精度的是柯达雷登60(Kodak Wratten 60)和unfiltered (NF),但只是对不同型号滤光片组合的性能进行了简单分析,且选取出的滤光片在短波段重建效果较差,因为实验中采用的光源主要分布在长波段[8]。由此可见,不同光源下对于滤光片的选择也是决定光谱成像系统能否精确获取数据的重要因素之一。
国内武汉大学参考美国孟塞尔颜色科学实验室的研究成果,建立了一套完整的宽带光谱成像系统,并在文物保护领域得到了有效应用[9-10]。而对于宽带光谱图像滤光片的选择研究工作,目前还尚未深入。本文针对展览馆或美术馆进行艺术品高保真复制时用到的模拟日光D65和偏红A光源这两种典型的光照环境,基于普通的商用数码相机与普通的吸收宽带滤光片搭建出多光谱成像平台,对不同光源下滤光片的选择进行研究。
1 宽带多光谱成像系统的优化原理从11种不同的宽带滤光片中任选两个滤光片分别与数码相机配合,结合提出的基向量法和多项式模型光谱重建算法,组成的多光谱成像系统在颜色复制精度方面相对于未加滤光片的图像获取系统有明显的提升。由于本研究侧重于滤光片的优化,故舍弃数码相机原始的输出信号,即RGB量化值,从而搭建出一个六通道的宽带多光谱成像系统。重建出不同光源环境下的油画的光谱反射率,然后运用色度学与计算机图形学知识实现测试样本的颜色真实再现。在55种不同滤光片组合中选取一组最优滤光片,使再现出的物体在光谱和色度上都达到较高精度。滤光片组合总数为:
|
(1) |
式中:h为组合得到的总数；M为实验中采用的滤光片个数；G为从M个滤光片中任取的进行组合的个数。实验中M取11,G取2,h即为55。
2 光谱反射率重建算法根据基函数理论,将测得的大量的光谱数据在满足计算精度的前提下,用主成分分析提取出它的基向量[11-14],然后用基向量结合多项式模型的光谱重建算法,将六通道信号值进行拓展至4项。以已知光谱反射率的SG色卡为训练样本,从而得到每个滤光片下数码相机输出信号值与光谱反射率之间的转换矩阵,进而重建出油画的光谱反射率。
2.1 基函数理论假设物体表面的光谱数据R可用一个N维向量表示,则M个样本的光谱数据可表示为R=(r1,r2,r3,…,rn)。由于R的自由度小于N,所以R可由一系列彼此正交的基向量线性组合来表示:
|
(2) |
式中:D为提取到的基向量,且D=(d1,d2,d3,…,dP)；A为系数向量,且A=(a1,a2,a3,…,aP)T；P为特征向量的数目。求解基向量最常用的是主成分分析法(PCA),可以通过协方差矩阵进行主成分分析。由式(2)计算训练样本的协方差矩阵B(B=(Rij)N×M,其中,N为光谱数据的维数,M为样本数),B中元素可表示为:
|
(3) |
由式(3)求出B的特征值λi及相应的基向量分量di。对于P的选取,可以按ξ判据接近于1的程度确定,即
|
(4) |
式中:λi是与基向量分量di对应的特征值,且按λ1≥λ2≥λ3≥…的次序排列。本实验中取ξ>0.996,因此可以确定基向量数目P=8。
将基向量D代入式(2),求出基向量D对应的转换系数矩阵A,即:
|
(5) |
根据多项式原理可知数码相机信号值C与光谱反射比R存在着一个线性关系:
|
(6) |
令矩阵Q=(MD)－1,则由式(5)和式(6)可得:
|
(7) |
上述M和D都可通过训练样本求得,其中A随着C的变化而变化。由最小二乘法可得:
|
(8) |
即系数矩阵A可表示为:
|
(9) |
则由式(2)和式(9)可估算出测试样本的反射率R:
|
(10) |
式中:C0为测试样本经滤光片后得到的数码信号值。
2.2 多项式模型在一定的照明和观察条件下,在数码相机镜头前依次手动加载和更换不同颜色的滤光片,获得每个滤光片对应的三通道图像。任意两个滤光片对应的三通道图像通过融合组成六通道图像。多项式模型的精度与项数和扩展项的种类密切相关,通过在信号向量C中添加不同种类的项数来提高转换矩阵Q的精度[15]。本文在宽带多光谱成像系统的研究中,分别将11种不同的宽带滤光片放至数码相机的镜头前,获得相应的数码相机的数字信号值。参照三通道对信号向量进行扩展[16-17],基于重建的光谱反射率精度,最终确定扩展的项数取值为4,即:
|
(11) |
通过融合组成六通道图像通道数[rgbr′g′b′]则由6个增至24个[18],其中rgb、r′g′b′对应两个不同宽带滤光片获得的数码相机信号通过融合组成的六通道信号值。六通道的多光谱成像系统已经能够达到准确的重构精度[19],所以不再对更多通道数的成像系统作进一步分析。
3 实验样本的获取和数据处理 3.1 实验环境搭建的宽带多光谱成像系统平台如图 1所示。实验是在Image Quality Labs提供的反射测试光源下进行。左右两边照明光束的光轴方向与样品法线成45°,相机拍摄方向的法线和样品法线之间的夹角尽量重合,误差不超过2°,以确保待测样品在不同空间位置所受到的光辐射量是均匀的。
|
图 1 宽带多光谱成像系统 Figure 1 Broadband multi-spectral imaging system |
实验中采用国际照明委员会(CIE)针对颜色的测量和计算推荐的标准光源A和标准光源D65,这两种常见的光源的相对光谱功率分布用PR-715辐射分光光度计测得,如图 2所示。
|
图 2 D65和A光源的相对光谱功率分布曲线 Figure 2 The relative spectral power distribution curve of D65 and light source A |
为了检验光谱重建精度,需要预先测量训练样本和测试样本的光谱反射率。本实验使用X-RiteSP64分光光度计来测量实验样本的光谱反射率,测量范围为400~700 nm,采样间隔为10 nm,排除镜面反射。采用佳能EOS400D配合不同颜色的宽带滤光片来采集实验样本的颜色信息。通过反复实验找到最佳拍摄方法。采用光学变焦镜头,焦距为38 mm,光圈值为1/2.8,ISO设置为400,曝光时间为1/160 s,聚焦设置为手动模式,且拍摄过程中相机保持静止不动。拍摄完后,通过在MATLAB平台上编程提取实验样本的RGB值。
3.2.2 滤光片及实验样本滤光片的选择决定了多光谱成像系统获取数据的精度,实验采用高透光率的卓美P系列方形滤光片,每个滤光片厚度为1.76 mm,尺寸为83 mm×95 mm。滤光片共11种颜色,分别为全粉、全蓝、全紫、全橙、全红、全黄、全茶、全绿、灰ND2、灰ND4、灰ND8。11种颜色滤光片的透过率如图 3所示。
|
图 3 实验中使用的11个滤光片的透射率 Figure 3 The transmittance of the 11 filters used in the experiment |
选用爱色丽公司的标准色卡Digital Color Checker SG(简称SG)中间的96个色块(外围的44色是三种中性色的重复)作为训练样本集,如图 4所示其彩色色块大都代表自然界的真实颜色。待测样本为D65光源和A光源下的油画,针对油画具有代表性的不同颜色参考区域进行研究。
|
图 4 Color Checker SG色卡 Figure 4 Color Checker SG |
最优的滤光片组合应该具有色差ΔE00最小,光谱均方根误差(RSME)最小以及颜色主观因素影响的评分值最大。评价流程如图 5所示。
|
图 5 最优滤光片选取流程图 Figure 5 The optimization of the filter selection flow chart |
在标准光源D65和标准光源A下拍摄的测试样本如图 6所示,其中选取了8种(在图中用1、2、3、4、5、6、7、8标出)具有代表性的不同颜色的部分区域进行研究[20]。
|
图 6 D65和A光源下的油画 Figure 6 Oil painting under D65 light source and light source A |
对55组滤光片组合再现的油画颜色,利用主观评价的方法,通过视觉判断将误差太大的组合筛选出去,在光源D65和A光源下分别选取出6组重构图像效果较好的数字油画,如图 7、图 8所示。
|
图 7 D65光源下6组不同滤光片组合下的油画再现 Figure 7 Oil painting reproduction of the combination of the six different filters under D65 light source |
|
图 8 A光源下6组不同滤光片组合下的油画再现 Figure 8 Oil painting reproduction of the combination of the six different filters under light source A |
将两种光源下选取的6种组合进行进一步的分析研究,分别采用6组滤光片的组合对其重建,结果如表 1、表 2所示。ΔE00是国际照明委员会于2001年正式推荐的CIE2000色差公式的色差符号。
|
表 1 D65光源前6组滤光片组合的重建结果 Table 1 Reconstruction results of the combination of the first 6 sets of filters under D65 light source |
|
|
表 2 A光源前6组滤光片组合的重建结果 Table 2 Reconstruction results of the combination of the first 6 sets of filters under light source A |
基于两种光源下分别选出的6种组合,需要选出一组最优滤光片。其分析结果如表 3所示。
|
|
表 3 D65光源和A光源前6组滤光片的综合误差结果 Table 3 All error results of the first 6 sets of filters under D65 light source and under light A |
在D65光源下,从表 1重构的数据可看出,每个色块在蓝绿滤光片组合下的误差相对较小,由于所研究的油画色调偏暖,对其中冷色调的5号和8号色块进行分析,在蓝绿组合的滤光片下其误差也比较小,这进一步说明,蓝绿滤光片的组合不仅可以较好地重建与其成对立色的颜色,同时也可以照顾到一些与其成补色的颜色。所选取的最优滤光片同样适用于冷色调的油画。同时对表 3所选取的色块进行综合误差分析可知,全蓝和全绿滤光片组合的ΔE00和光谱均方根误差(RMSE)的综合误差优于其他组合。蓝和绿滤光片的光谱透射率如图 9所示。
|
图 9 滤光片蓝和绿的光谱透射率 Figure 9 The spectral transmittance of blue and green filter |
对表 2及表 3分析可知,在A光源下8个色块在全红和全蓝这两个滤光片组合下,ΔE00和RMSE都很小,包括冷色调的5号和8号在红蓝组合的滤光片下误差也比较小。所以所选取的最优滤光片同样适用于冷色调的油画。其综合误差分析结果也是红蓝滤光片组合优于其它组合。滤光片红和蓝的光谱透射率如图 10所示。
|
图 10 滤光片红和蓝的光谱透射率 Figure 10 The spectral transmittance of red and blue filter |
深入分析可知,测试样本再现效果的好坏与光源密切相关。A光源偏暖,光谱功率分布主要在长波波段,滤光片1的长波波段透过率较高,并由D65光源下滤光片的选取分析可知,蓝色滤光片也可以较好地重建与其成补色的颜色,所以在红蓝滤光片下重现效果最好。D65光源色温相比A光源偏冷,所以在蓝绿滤光片组合下重现效果最好。
4.3 D65和A光源下的颜色再现主观评价主观评价要求所有的评测者均无色盲和色弱现象且视力正常,平均年龄在20岁左右,男性25人,女性25人,其中有颜色技术背景的15人,没有颜色技术背景的35人。将显示器的背景设置为灰色,色温设置为6 500 K,色空间设置为sRGB色空间,源场景和显示器均使用可调光照强度的标准D65光源和A光源照明,调节光照强度使人眼感受到的源场景亮度与显示图像亮度持平,然后所有的评测者对图 7(a)~(f)6幅测试图颜色再现的效果进行主观评价。同样,将显示器的色温设置为2 856 K(A光源),重复上述步骤再对图 8(a)~(f)6幅测试图颜色再现的效果进行主观评价。0～0.25表示颜色再现质量非常差,0.25～0.5表示颜色再现质量一般,0.5～0.75表示颜色再现质量好,0.75～1.00表示颜色再现质量非常好。表 4为主观评价的实验结果。
|
|
表 4 主观评价的实验结果 Table 4 Experimental results of subjective evaluation |
由表 4可知,所有场景再现的效果都在可接受的范围之内,在D65和A光源下再现效果最好的分别是蓝绿滤光片和红蓝滤光片下的再现图像,主观评价与客观评价结果一致。实验表明,所选取的滤光片组合为55种组合中最优。
5 结 论本文是基于普通数码相机结合优化的滤光片搭建了可用于实际颜色复制应用的多光谱图像重建系统。通过实验分析知,滤光片的选取与光源密切相关,在D65光源下选取出的最优滤光片组合为蓝、绿,重构光谱的色差最小可以达到1.53,RMSE最小可达到0.045 1。而Berns等在D50光源下所选取出的两个宽带滤光片schottBG39和schottGG475的光谱特性曲线与本文所研究的蓝色和绿色滤光片光谱特性曲线基本一致。标准照明体D50和D65都是日光模拟器,所以在模拟日光环境下,选用蓝、绿滤光片搭建的多光谱成像系统基本会达到最佳精度。在A光源下选取出的最优滤光片组合为红、蓝,重构光谱的色差最小可以达到0.66,RMSE最小可达到0.046 0,都具有较高的重构精度。并对再现颜色的质量进行了主观评价,与客观评价的结果相一致。初步实验结果表明,根据光照环境不同采用选出的最优滤光片可得到最好的光谱成像图,能满足人们在日常生活中对于油画等艺术品高保真图像再现的基本需求,可以在实际中得到广泛应用。
| [1] | CURRAN P J. Principle of remote sencing[M]. Harlow,UK: Addison Wesley Longman, 1985 . |
| [2] | ZHAO Y, LI P S, WANG C S, et al. A novel fiber-optic sensor used for small internal curved surface measurement[J]. Sensors and Actuators A , 2000, 86 (3) :211–215. DOI:10.1016/S0924-4247(00)00441-6 |
| [3] | CREAGH D, BRADLEY D. Physical techniques in the study of art,archaeology and cultural heritage[M]. Amsterdam: Elsevier, 2007 . |
| [4] | HARDEBERG J Y, SCHMITT F, BRETTEL H. Multispectral color image capture using a liquid crystal tunable filter[J]. Optical Engineering , 2002, 41 (10) :2532–2548. DOI:10.1117/1.1503346 |
| [5] | SUGIURA H,KUNO T,WATANABE N,et al.Development of a multispectral camera system[C]//Proceedings of SPIE3965,Sensors and Camera Systems for Scientific,Industrial,and Digital Photography Applications.San Jose,CA:SPIE,2000,3965:331-339. |
| [6] | BERNS R S, BYRNS S, CASADIO F, et al. Rejuvenating the color palette of Georges Seurat's A Sunday on La Grande Jatte-1884:a simulation[J]. Color Research & Application , 2006, 31 (4) :278–293. |
| [7] | BERNS R S,TAPLIN L A.Practical spectral imaging using a color-filter array digital camera[R].Rochester,New York,United States:Rochester Institute of Technology,Munsell Color Science Laboratory,2006. |
| [8] | DAY D C.Filter selection for spectral estimation using a trichromatic camera[D].New York:Rochester Institute of Technology,2001. |
| [9] | 刘振.面向复制的多光谱图像获取技术研究[D].武汉:武汉大学,2012. |
| [10] | 刘振, 万晓霞, 黄新国, 等. 基于宽带多通道的光谱反射率重建方法研究[J]. 光谱学与光谱分析 , 2013, 33 (4) :1076–1081. |
| [11] | MALONEY L T. Evaluation of linear models of surface spectral reflectance with small numbers of parameters[J]. Journal of the Optical Society of America A , 1986, 3 (10) :1673–1683. DOI:10.1364/JOSAA.3.001673 |
| [12] | FAIRMAN H S, BRILL M H. The principal components of reflectances[J]. Color Research & Application , 2004, 29 (2) :104–110. |
| [13] | TZENG D Y, BERNS R S. A review of principal component analysis and its applications to color technology[J]. Color Research & Application , 2005, 30 (2) :84–98. |
| [14] | AGAHIAN F, AMIRSHAHI S A, AMIRSHAHI S H. Reconstruction of reflectance spectra using weighted principal component analysis[J]. Color Research & Application , 2008, 33 (5) :360–371. |
| [15] | HONG G W, LUO M R, RHODES P A. A study of digital camera colorimetric characterization based on polynomial modeling[J]. Color Research & Application , 2001, 26 (1) :76–84. |
| [16] | 王莹, 王忠民, 王义峰, 等. 面向色彩再现的多光谱图像非线性降维方法[J]. 光学精密工程 , 2011, 19 (5) :1171–1178. |
| [17] | 宓超波, 黄小乔, 石俊生. 普通办公照明环境下数码照相机的颜色特性化[J]. 光学学报 , 2013, 33 (9) :0933001. |
| [18] | PARK J I,LEE M H,GROSSBERG M D,et al.Multispectral imaging using multiplexed illumination[C]//Proceedings ofthe IEEE 11th International Conference on Computer Vision.Rio de Janeiro,Brazil:IEEE,2007:1-8. |
| [19] | IMAI F H, BERNS R S, TZENG D Y. Acomparative analysis of spectral reflectance estimated in various spaces using a trichromatic camera system[J]. Journal of Imaging Science and Technology , 2000, 44 (4) :280–287. |
| [20] | 秦峰, 杨卫平, 杨葭, 等. 基于亮度信息匹配的国画艺术品图像重建研究[J]. 光学学报 , 2014, 34 (10) :1033001. |