高分辨率图像能够提供更多的图像细节,能够为图像分析提供更加准确的信息,因此在遥感、定位、监控、医学等领域有着广泛的应用。传统的通过增大光学镜头尺寸或减小成像器件像元尺寸的方法受到应用环境和技术等的限制,已经不能满足对高分辨率图像的需求。超分辨率重构技术作为一种不需改变现有成像硬件就能提高图像分辨率的技术手段,成为解决这一问题的新方法^{[1, 2, 3]}。

噪声作为实际图像获取过程中不可避免的因素,使图像受到不同程度的降质,从而影响最终的重构结果。文献^{[4, 5]}为了获取较好的重构结果,从消除噪声的角度研究了不同的滤波方法来改善图像视觉效果。文献^{[6, 7]}从重构算法的角度,将改善图像质量的方法加入到重构迭代的每一步,进而获取更好的视觉效果,但噪声影响重构结果的基本原理,以及不同噪声对于重构结果的影响程度并没得到分析。

本文结合常见成像模型,针对图像噪声种类,重点研究了常见的高斯(Gaussian)噪声和乘性噪声,分析了常见噪声对于重构结果的影响机理以及不同程度的噪声对重构结果的影响。通过实验,对图像施加不同噪声,研究其对重构结果的影响。

高斯噪声主要来源于图像采集过程中电子电路噪声、低照明度或者高温带来的传感器噪声,是图像采集中最为常见的噪声,其函数概率分布函数为:

另一种主要的噪声是乘性噪声,其分布式如下:

图 1为低分辨率图像分别为峰值信噪比为30时的高斯噪声和乘性噪声图像对比,分析可知相对于高斯噪声,施加乘性噪声后低分辨率图像出现了较大的灰度变化,这说明乘性噪声的存在使得各低分辨率图像间出现较大差异,为后续超分辨率重构带来较大影响。

图 1

Fig. 1

图 1 不同噪声图像的灰度分布 Fig. 1 Intensity distribution of images with different noises

以4像素为采样间隔对512×512的Lena图像进行采样,获取16幅128×128低分辨率图像,依次对16幅低分辨率图像施加高斯白噪声或乘性噪声,获取四组不同的低分辨率图像集,采用POCS算法^[8],对加入噪声的低分辨率图像序列集进行重构获取高分辨率重构结果,重构结果图像的分辨率相对于低分辨率图像提高4倍,最后采用峰值信噪比(peak signal to noise ratio,PSNR)和信噪比(signal to noise ratio,SNR)为评价指标^[2]对重构结果进行评价。

依次对16幅低分辨率图像分别施加方差为0.031,0.010,0.003,0.001的高斯白噪声,获取四组不同的低分辨率图像集,最后采用POCS算法对加入噪声的低分辨率图像序列集进行重构获取高分辨率重构结果。为更直观反映实验结果,本文只展示每一低分辨率图集的第一幅图像中细节丰富部分作为对比,如图 2所示(a)～(d)依次是加入方差为0.031,0.010,0.003,0.001的高斯噪声,其PSNR依次为25,30,35,40,(e)为原始图像,(f)～(j)分别为其重构后的高分辨率图像。

图 2

Fig. 2

图 2 施加不同高斯噪声后重构前后图像对比 Fig. 2 The results of reconstruction with different Gaussian noises

计算过程仍然采用完整图像,计算重构前后图像信噪比与峰值信噪比见表 1。

表 1(Table 1)

表 1 不同高斯噪声重构后的SNR与PSNR Tab. 1 SNR and PSNR of the reconstruction 原始 PSNR/db 重构后 SNR/dB 重构后 PSNR/dB 25 12.033 5 17.690 7 30 14.341 9 19.985 2 35 17.779 6 23.452 0 40 18.774 9 24.451 5 Inf 19.226 9 24.501 7

表 1 不同高斯噪声重构后的SNR与PSNR Tab. 1 SNR and PSNR of the reconstruction

由图 3可知,随着低分辨率图像集中加入的高斯噪声量的减少,即信噪比的增加,图像重构后的信噪比也随之增大,图像质量逐渐改善。当分辨率图像的峰值信噪比为25时,其PSNR为不加入噪声时的53.76%,其SNR为不加入噪声时的65.07%;当分辨率图像的峰值信噪比为40时,其PSNR为不加入噪声时的99.8%,其SNR为不加入噪声时的97.65%,其基本趋势如图 3所示。

图 3

Fig. 3

图 3 重构前后的PSNR和SNR Fig. 3 PSNR and SNR with Gaussian noise

依次对16幅低分辨率图像分别施加方差为0.010 5,0.003 6,0.001 1,0.000 36的乘性噪声,获取四组不同的低分辨率图像集,最后采用POCS算法对加入噪声的低分辨率图像序列集进行重构获取高分辨率重构结果。同样为更加直观地反映实验结果,本文只展示每一低分辨率图集的第一幅图像中细节丰富部分作为对比,如图 4(a)～(d)依次是加入方差为0.010 5,0.003 6,0.001 1,0.000 36的乘性噪声,其PSNR依次为25,30,35,40,其中(e)为原始图像,(f)～(j)分别为其重构后的高分辨率图像。

图 4

Fig. 4

图 4 施加不同乘性噪声后重构前后图像对比 Fig. 4 The results of reconstruction with different multiplicative noises

计算过程仍然采用完整图像,计算重构前后图像信噪比与峰值信噪比如表 2。

表 2(Table 2)

表 2 不同乘性噪声重构后的SNR与PSNR Tab. 2 SNR and PSNR of the reconstruction 原始 PSNR/dB 重构后 SNR/dB 重构后 PSNR/dB 25 11.183 7 16.737 6 30 14.737 0 20.117 6 35 16.756 7 22.310 6 40 18.563 0 24.054 2 Inf 19.226 9 24.501 7

表 2 不同乘性噪声重构后的SNR与PSNR Tab. 2 SNR and PSNR of the reconstruction

由图 5可知,随着低分辨率图像集中加入的乘性噪声量的减少,即信噪比的增加,图像重构后的信噪比也随之增大,图像质量逐渐改善。当分辨率图像的峰值信噪比为25时,其PSNR为不加入噪声时的58.17%,其SNR为不加入噪声时的68.31%;当分辨率图像的峰值信噪比为40时,其PSNR为不加入噪声时的96.53%,其SNR为不加入噪声时的98.17%,其基本趋势如图 5所示。

图 5

Fig. 5

图 5 乘性像重构后的PSNR和SNR Fig. 5 PSNR and SNR with multiplicative noise

对比两组实验结果可得出以下结论:

(1)高斯噪声和乘性噪声对重构结果都有影响,且两者对于重构结果影响的趋势基本一致,即随着信噪比的增加,噪声对重构结果的影响逐渐减少。

(2)在相同条件下,乘性噪声对重构结果的影响大于高斯噪声。

(3)在原始图像峰值信噪比低于25 dB时,图像质量污染严重,重构图像信噪比不到原始图像的60%;当信噪比在35 dB以上,图像质量很好,重构图像的峰值信噪比是未加入噪声重构结果的90%以上。

(4)对于高斯噪声,随着信噪比的增加,SNR和PSNR改善波动较大,且当原始图像峰值信噪比在30～35 dB时,重构结果SNR和PSNR改善明显;对于乘性噪声,随着信噪比的增加,SNR和PSNR改善接近线性改变。

分析实验结果可知,当原始图像峰值信噪比低于25 dB时,低分辨率图像相对于原始图像失真严重,这使得低分辨率图像间出现较大的相关性差,图像配准困难,因此图像质量改善有限,且噪声严重。当信噪比在35 dB以上时,低分辨率图像相对于原始图像改变较少,此时低分辨率图像间出现较大的相关性改变少,因此重构图像相对于未施加噪声时改变少。另一方面由于相对于高斯噪声乘性噪声对原始低分辨率图像灰度该变量大,这使得低分辨率图像间存在较大的差异,因此乘性噪声对重构结果的影响更加明显。

高斯噪声和乘性噪声对重构结果都有影响,且两者对于重构结果影响的趋势基本一致,即随着信噪比的增加,噪声对重构结果的影响逐渐减少;但乘性噪声对重构结果影响增长速度相对于高斯噪声增长较快。在低分辨率图像峰值信噪比低于25 dB时,图像质量污染严重,重构的峰值信噪比仅为为加入噪声重构结果的60%;当信噪比在35 dB时,图像质量很好,重构图像的峰值信噪比是未加入噪声重构结果的90%以上,说明此时噪声对于重构结果的影响较小。