2019, Vol. 41
Issue (4): 14-21, 53
2. 上海出版印刷高等专科学校 印刷包装工程系，上海 200093
2. Department of Printing and Packaging Engineering, Shanghai Publishing and Printing College, Shanghai 200093, China
在信息技术高速发展的当代，图像占人类获取外界信息的70%~80%，图像在生成、传递、压缩、储存和变换等过程中会受到各种因素影响，发生质量退化，从而影响人的视觉效果[1-2]。在不同失真类型图像的恢复结果中，都不可避免地出现了图像模糊现象，因此本文主要针对模糊图像恢复问题进行研究。
模糊图像恢复算法有很多，从经典的基于最小均方误差的维纳滤波到对模糊模型添加正则化项解决去模糊不适定问题的正则化方法。例如Alanazi 等[3]提出基于正则化方法的图像去模糊算法，该方法把待恢复图像看作一个普通的矩阵，没有考虑矩阵元素间的结构连续关系，去模糊后图像难免出现一些视觉上的问题，如振铃问题。Fergus等[4]提出利用混合高斯模型拟合图像梯度的重尾分布，但该算法会产生严重的振铃效应；Shan等[5]以分段函数拟合图像梯度的重尾分布，并引入局部先验来抑制振铃效应，提高模糊核估计的准确性；Xu等[6]提出利用深度学习进行运动模糊核估计的去模糊算法，虽然对运动模糊失真图像恢复效果有所提高，但去模糊运算时间过长。Xu等[7]提出基于L0范数的盲去模糊算法，该算法简单可靠，在保证精度的同时显著提升了运算速度，但细节恢复能力不足；Krishnan等[8-9]提出基于归一化稀疏度量的图像盲去模糊算法，取得了不错的去模糊效果，但其运算复杂度较高，运行速度缓慢；Xu等[10]利用图像先验初始化网络权值，实现了端对端的图像去模糊，但该算法复杂度较高；Su等[11]提出基于深度卷积神经网络的视频去模糊方法，但该方法需要学习多帧图像特征，不适用于单幅图像；Wang等[12]提出基于反卷积的分块去模糊算法，虽然使图像处理速度提升，但对于实际模糊核未知的图像处理效果有待提高，因此模糊核的选择对反卷积去模糊算法最为关键。图像模糊的实质就是图像与点扩展函数进行卷积运算的结果，反卷积运算则是一个由模糊图像恢复清晰图像的过程，原理简单，恢复速度快，但反卷积核大小和图像恢复效果直接相关，反卷积核的不合理选择会使得图像出现“弱增强”或者“过增强”。
1 算法设计本文选择基于反卷积运算的去模糊算法，对于反卷积核难以确定的问题，提出一种客观方法确定反卷积核，克服根据主观依据对模糊核进行估计的不确定性，算法流程如图1所示。
|
图 1 本文算法流程图 Figure 1 Flowchart of the proposed method |
一幅图像的模糊过程可以描述为
| $Y = X*k + n$ | (1) |
式中：Y表示模糊图像；X表示清晰图像；*表示卷积运算；k是模糊核，又称点扩展函数（PSF）；n代表图像采集过程中引入的噪声。
从式（1）可以看出，一幅图像的模糊过程可以看作由清晰图像与点扩展函数进行卷积运算并伴随些许噪声。点扩展函数总是一个低通滤波器，即对图像的局部对象进行临近区域像素值平均，使图像失去高频信息而保留低频信息。反卷积是上述算法的逆向运算过程[13-16]。
1.1 反卷积运算反卷积运算是模糊图像增强中的关键一步，但反卷积核估计是否准确会对图像去模糊结果产生重要影响，如图2（c）所示，反卷积核小于模糊核时图像去模糊效果不明显；当反卷积核大于模糊核时，去模糊后的图像产生严重的振铃效应，降低视觉效果，如图2（d）所示；当反卷积核选择合适时，图像恢复效果较好，如图2（e）所示。
|
图 2 不同尺寸卷积核恢复图 Figure 2 Recovery images obtained by different convolution kernels |
从图2可以看出，选择不同大小的模糊核对反卷积去模糊运算至关重要。一般而言，图像模糊程度越小，图像质量评价越好；图像失真越严重，图像质量评价越差。据此对模糊失真图像进行失真等级判别，自适应调整反卷积核大小。
图像质量评价方法总体来讲可分为两大类：主观质量评价方法和客观质量评价方法。
1.2.1 主观质量评价方法图像主观质量评价方法被认为是最具代表性的图像质量评价方法，它是通过统计受测者的评价分数均值来判断图像质量的方法，评价尺度见表1。
|
表 1 主观质量评价尺度 Table 1 Subjective quality evaluation scale |
主观评价结果最接近人的主观视觉感受，结果也最为准确，但主观评价一般需要专业的实验环境以及大量的受测人员，因此成本较高。鉴于实际应用过程，只能采用更加实际和方便的方法，才能获得更好的效果。
1.2.2 客观图像质量评价客观图像质量评价算法简单，计算方便，不需要大量的测试人员及专业的实验环境，因此应用更加广泛。客观图像质量评价方法也可以分为两类，有参考图像质量评价和无参考图像质量评价。
有参考的图像质量评价方法是通过原图与失真图的相似度得到质量分数的方法。该方法简单易行且种类多。其中最经典的当属峰值信噪比(PSNR)和结构相似度(SSIM)，但有参考的图像质量评价方法获取参考图像信息成本较大，因此实用性受到限制。
无参考图像质量评价是没有原始图像信息作为参考的图像质量评估方法。在很多实际应用场合无参考方法更加适用，在本文作为模糊核估计工具更是首当其冲。其中典型算法有盲图像质量指数(BIQI)、盲/无参考图像空域质量评价(BRISQUE)算法和频域空域信息熵评价(SSEQ)算法[17-19]。
图像是一种视觉产物，图像最终的呈现对象为人眼，因此人眼的视觉打分最能刻画图像质量。本文采用斯皮尔曼等级秩序相关系数(SROCC)、皮尔逊线性相关系数(PLCC)和平方误差(RMSE)对几种图像质量评价算法的客观值与主观值之间的准确性、单调性、一致性和区分率进行评价，结果见表2。
|
|
表 2 不同图像质量评价算法比较 Table 2 Comparison of different image quality evaluation methods |
在表2中可以发现SSEQ算法的SROCC和PLCC系数值比其他算法更接近于1，表示SSEQ评价算法和人的主观评价分数更加接近，说明SSEQ算法性能更优；而且SSEQ算法的RMSE值低于其他算法，充分说明SSEQ算法用于模糊图像失真评价的准确性。区分率（D）表示某一等级图片区别于其他等级图片的概率，公式如下：
| $D = \frac{{X_i}}{{\displaystyle\sum\nolimits_{i = 1}^n {X_i} }} \times {\rm{ }}100\% $ | (2) |
式中：Xi表示等够区分的某一模糊等级的图片总数；
本算法中D代表某个模糊等级图像能够区别于其他等级图像的概率，是本文选取模糊核的关键。综合比较这四个参数的值，SSEQ算法区分率最高，能够对不同失真等级的图像进行较为理想的区分，又鉴于全参考方法很难获得参考原图，因此选用SSEQ算法进行反卷积模糊核估计。通过SSEQ算法计算具体数值与人眼平均主观得分（MOS）后进行比较，结果见图3。
|
图 3 SSEQ算法评价分数和主观评价分数对比图 Figure 3 SSEQ score and MOS comparison |
通过SSEQ算法的评价分数和主观评价分数对比图可以看出，SSEQ计算得出的数值与人眼评价契合度高，能够忠实代表人眼评分，因此作为模糊核选择方法的SSEQ算法能够精确选出模糊核。
1.3 优化算法设计单步的反卷积去模糊处理方法都不能得到理想的恢复效果，存在去模糊处理速度慢、颜色忠实性差和振铃效应等问题，因此需要对本文算法进行进一步优化，以获得性能更佳的去模糊处理算法。
1.3.1 保持颜色忠实性的快速运算优化彩色图像具有多个通道，一般彩色图像处理方式大都是分通道单独处理。不考虑通道间的相互作用，容易使得处理后图像发生颜色失真。本文提出转变图像默认颜色空间RGB到YUV[20-22]，使图像颜色信息与亮度信息分离，保证颜色信息不改变，分通道提取直方图如图4所示。
|
图 4 高清图与失真图 YUV 空间分通道直方图 Figure 4 Sub-channel histogram of original image and distorted image in YUV space |
图4(a)是高清图的Y通道分量，可以看出像素在各个阶调分布比较均匀，U分量[图4(b)]与V分量[图4(c)]的像素值主要分布在暗调。根据人眼对暗调变化感受不明显、对轻微的亮调变化反应明显的视觉特性，本文提出仅对Y通道进行图像去模糊处理，从而保护颜色忠实性，保证了去模糊质量，且提高了运算效率[23]。
1.3.2 去除振铃效应优化算法振铃效应是指在图像灰度剧烈变化的邻域出现类吉布斯分布的振荡，因此找出图像灰度剧烈变化的区域成为去除振铃效应的关键。本文采用梯度作为定义边缘的关键。梯度的本意是表示某一函数在某点处的方向导数沿着该方向取得最大值。因此在图像灰度剧烈变化的地方，梯度值较大；在图像灰度缓慢变化的地方图像梯度较小，因此可用图像的梯度矩阵反映图像边缘变化情况。以7×7大小模糊核对图片进行模糊处理，在图片进行反卷积去模糊的过程中，相邻边缘像素值对中心像素值的贡献不同，即根据基于梯度的权重矩阵对模糊图像对应位置的反卷积进行权重控制，最终减小并去除图像振铃效应。
本文选择模糊图像水平与竖直方向梯度的均值作为权重矩阵，图5为去模糊算法中添加梯度权重矩阵与不添加梯度权重矩阵的效果对比图。
2 实验结果采用图6所示10幅图像作为原图，对原图采用标准差为3，大小分别为5×5、7×7、9×9三个等级尺寸的高斯模糊核进行模糊，生成测试图像。
|
图 5 去模糊效果对比图 Figure 5 Comparison of deblurring effect |
|
图 6 原图 Figure 6 Original images |
|
|
表 3 等级一模糊图像恢复评价 Table 3 Evaluation of Level 1 blurred image restoration |
|
|
表 4 等级二模糊图像恢复评价 Table 4 Evaluation of Level 2 blurred image restoration |
|
|
表 5 等级三模糊图像恢复评价 Table 5 Evaluation of Level 3 blurred image restoration |
表3~5中“图像1，图像2，……”代表不同的图像，“PSNR_mohutu”代表模糊图的峰值信噪比，“PSNR_huifutu”表示去模糊后图像的峰值信噪比，“SSIM_mohutu”代表模糊图像的结构相似度，“SSIM_huifutu”表示去模糊后图像的结构相似度，“SSEQ_yuantu”代表未失真图的SSEQ算法打分，“SSEQ_mohutu”表示模糊图的SSEQ算法打分，“SSEQ_huifutu”代表去模糊后图像的SSEQ算法打分，“SSEQ_chazhi”表示去模糊后图像的SSEQ值与原图的差值。从表3~5可以看出，去模糊后图像峰值信噪比与结构相似度提升明显，且SSEQ打分与原图充分接近，根据主观质量评价表可以看出去模糊后图像与未失真图像人眼评分的差值大都在20分之内，充分表明去模糊后图像可以达到“非常好”的恢复效果，满足图像处理要求。选择年龄在21～25岁之间、男女比例1:1的20名视觉正常观察者对去模糊后图像进行主观评价实验，通过比较无失真图像和失真图像评价得分的差异，进一步验证本文去模糊算法的有效性，得出人眼的平均主观得分差(DMOS)，结果如表6所示。
|
|
表 6 去模糊后图像平均主观得分差 Table 6 DMOS value after deblurring |
通过实验结果可以看出，基于无参考图像质量评价的自适应反卷积去模糊算法对模糊图像具有较为理想的恢复效果。由于目前大多去模糊处理算法都选用峰值信噪比PSNR作为评价指标，本文分别与GISA算法[24]、FGISA算法[25]进行去模糊性能比较，比较结果见表7。
|
|
表 7 不同算法去模糊结果比较 Table 7 Comparison of deblurring results by different methods |
通过表7对比可知，本文提出的去模糊算法在保证去模糊后图像质量的同时提高了去模糊效率，减少了去模糊恢复时间，能够有效快速地对模糊图像进行去模糊处理。
3 结 论本文提出基于反卷积运算的快速去模糊算法，使用客观方法对不同模糊等级的图像进行评价打分，从而自适应选择不同大小模糊核进行去模糊运算。针对去模糊运算中出现的振铃效应，本文提出基于梯度的权重矩阵进行优化，同时对于图像处理前后颜色忠实性差、运算速度慢等问题，本文采用转变颜色空间处理方式予以解决，从而在保证图像去模糊质量的同时，提高去模糊运算效率。
| [1] | 杨东. 模糊降质图像恢复技术研究进展[J]. 计算机应用研究, 2016, 33(10): 2881–2888. DOI:10.3969/j.issn.1001-3695.2016.10.001 |
| [2] | 赵阳. 运动图像去模糊技术研究[D]. 西安: 西安电子科技大学, 2014. |
| [3] | ALANAZI A M, BALLAL T, MASOOD M, et al. Image deblurring using a perturbation-based regularization approach[C]//Proceedings of the 2017 25th European Signal Processing Conference. Kos, Greece: IEEE, 2017. |
| [4] | FERGUS R, SINGH B, HERTZMANN A, et al. Removing camera shake from a single photograph[J]. ACM Transactions on Graphics, 2006, 25(3): 787–794. DOI:10.1145/1141911 |
| [5] | SHAN Q, JIA J Y, AGARWALA A. High-quality motion deblurring from a single image[J]. ACM Transactions on Graphics, 2008, 27(3): 73. |
| [6] | XU X Y, PAN J S, ZHANG Y J, et al. Motion blur kernel estimation via deep learning[J]. IEEE Transactions on Image Processing, 2018, 27(1): 194–205. DOI:10.1109/TIP.2017.2753658 |
| [7] | XU L, ZHENG S C, JIA J Y. Unnatural L0 sparse representation for natural image deblurring[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR, USA: IEEE, 2013: 1107 − 1114. |
| [8] | KRISHNAN D, TAY T, FERGUS R. Blind deconvolution using a normalized sparsity measure[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Colorado Springs, CO, USA: IEEE, 2011: 233 − 240. |
| [9] | KRISHNAN D, FERGUS R. Fast image deconvolution using hyper-Laplacian priors[C]//Proceedings of the 22nd International Conference on Neural Information Processing Systems. Vancouver, British Columbia, Canada: Curran Associates Inc., 2009: 1033 − 1041. |
| [10] | XU L, REN J S J, LIU C, et al. Deep convolutional neural network for image deconvolution[C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press, 2014: 1790 − 1798. |
| [11] | SU S C, DELBRACIO M, WANG J, et al. Deep video deblurring for hand-held cameras[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 237 − 246. |
| [12] | WANG N N C, DING J J, CHEN L A, et al. Efficient image deblurring via blockwise non-blind deconvolution algorithm[C]//Proceedings of the 2015 10th International Conference on Information, Communications and Signal Processing. Singapore: IEEE, 2015: 1 − 5. |
| [13] | YANG G, YU Z Q, ZHANG B, et al. Evaluation of lightning current from magnetic field based on deconvolution method[J]. IEEE Transactions on Electromagnetic Compatibility, 2018, 60(3): 679–684. DOI:10.1109/TEMC.2017.2747514 |
| [14] | ZHANG J W, PAN J S, LAI W S, et al. Learning fully convolutional networks for iterative non-blind deconvolution[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 6969 − 6977. |
| [15] | 杨航. 图像反卷积算法研究[D]. 长春: 吉林大学, 2012. |
| [16] | 温恒, 史伟, 刘峰. 运动去模糊反卷积算法的分析与研究[C]//2015连铸装备的技术创新和精细化生产技术交流会会议论文集. 西安: 《连铸》杂志编辑部, 中国金属学会连铸分会, 2015: 7. |
| [17] | 郑加苏. 基于图像信息熵的无参考图像质量评估算法的研究[D]. 北京: 北京交通大学, 2015. |
| [18] | HERZOG A, VOIGT K, MEYER B, et al. Psychological and interactional characteristics of patients with somatoform disorders: validation of the somatic symptoms experiences questionnaire (SSEQ) in a clinical psychosomatic population[J]. Journal of Psychosomatic Research, 2015, 78(6): 553–562. DOI:10.1016/j.jpsychores.2015.03.004 |
| [19] | LIU L X, LIU B, HUANG H, et al. No-reference image quality assessment based on spatial and spectral entropies[J]. Signal Processing: Image Communication, 2014, 29(8): 856–863. DOI:10.1016/j.image.2014.06.006 |
| [20] | 刘琼, 史诺. 基于Lab和YUV颜色空间的农田图像分割方法[J]. 国外电子测量技术, 2015, 34(4): 39–41, 59. DOI:10.3969/j.issn.1002-8978.2015.04.010 |
| [21] | PATAN R J, CHAKRABORTY M, DEVI S S. Blind color image de-convolution in YUV space[C]// Proceedings of International Conference on Communication and Signal Processing. Melmaruvathur, India: IEEE, 2016: 1551 − 1555. |
| [22] | ZHANG X, YANG L, CUI S L, et al. YUV-based material modeling from a single image[C]//Proceedings of the 2016 9th International Congress on Image and Signal Processing, Biomedical Engineering and Informatics. Datong, China: IEEE, 2017: 801 − 805. |
| [23] | 姜继春, 王晓红, 许秦蓉. 基于YCbCr颜色空间的快递单手写文字分割[J]. 包装工程, 2014, 35(5): 121–125. |
| [24] | ZUO W M, MENG D Y, LEI Z, et al. A generalized iterated shrinkage algorithm for non-convex sparse coding[EB/OL]. [2017-02-02]. http://www.cv-foundation.org/openaccess/content_iccv_2013/html/Zuo_A_Generalized_Iterated_2013_ICCV_paper.html. |
| [25] | 王鹏, 段鹏飞, 熊盛武. 基于lp正则化图像去模糊的快速广义迭代收缩算法 [J]. 武汉大学学报 (理学版), 2017, 63(6): 551–556. |