光学仪器  2021, Vol. 43 Issue (2): 16-23   PDF    
基于同态滤波和深度卷积模型的低照度工件表面粗糙度等级识别
洪琛, 朱坚民, 黄之文     
上海理工大学 机械工程学院,上海 200093
摘要: 为解决低照度下工件表面粗糙度等级识别正确率低的问题,提出一种基于同态滤波和深度卷积模型的低照度工件表面粗糙度等级识别的方法。该方法通过对不同照度下工件表面粗糙度图像进行等级识别,确定了同态滤波器的最优参数值,再将图像从RGB空间转换到HSV空间,在对V(亮度)分量进行同态滤波处理后,再将图像转回RGB空间并通过设计好的深度卷积模型对图像进行识别。实验结果表明:图像的亮度对比度得到了改善,图像的纹理细节更加显著;该方法简单、有效,对低照度工件表面粗糙度等级识别有很好的效果,识别正确率达到95%以上。
关键词: 低照度图像    同态滤波    粗糙度等级    卷积神经网络    图像识别    
Surface roughness level recognition of low-illumination workpieces based on homomorphic filtering and deep convolution model
HONG Chen, ZHU Jianmin, HUANG Zhiwen     
School of Mechanical Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China
Abstract: In order to solve the problem of low accuracy in identifying the surface roughness of workpieces under low illumination, a method based on homomorphic filtering and deep convolution model is proposed. This method optimizes and determines the optimal parameter value of the homomorphic filter by identifying the level of the workpiece surface roughness image under different illuminances. The brightness and contrast of the image are improved. The texture details of the image are more prominent. The conversion method converts the image from RGB space to HSV space, performs homomorphic filtering on the V (brightness) component, returns to RGB space, and recognizes the image through the designed deep convolution model. The experimental results show that the brightness and contrast of the image are improved, and the texture details of the image are more prominent. The method is simple and effective. It has a good effect on the surface roughness level recognition of low-illumination workpieces, and the recognition accuracy rate reaches more than 95%.
Key words: low-illuminance image    homomorphic filtering    roughness level    convolutional neural network    image recognition    
引 言

目前,随着深度学习技术[1-2]的发展,深度卷积神经网络[3-5]在图像识别及图像分类上优势明显,在基于深度学习的非接触式表面粗糙度测量[6-8]图像分类上得到了广泛的应用。然而在工业生产中,由于受到照明设备和周围环境的影响,被拍对象往往会出现光照不足的情况,导致采集的图像照度低、细节纹理不清晰,从而使得识别效果差。所以对低照度图像进行粗糙度等级识别之前的预处理变得十分重要。

低照度图像增强的目的是为了使图像整体亮度提升,细节纹理更清晰。目前常用的方法主要有基于直方图[9]的增强方法、基于小波变换[10]的增强、直方图和小波变换相结合的增强、基于Retinex理论[11-12]的增强、基于同态滤波[13-16]的增强及其他方法。焦竹青等[17]在频域内采用同态滤波对图像进行处理,利用压缩亮度范围来消除图像光照带来的影响,使图像的人眼视觉效果更好。徐黎明等[18]通过同态滤波方法对自然环境下光照不均的杨梅果实进行亮度增强预处理,然后通过K均值聚类算法有效地分割出杨梅果实。

针对现有低照度图像存在图像亮度对比度低、细节纹理不清晰,从而造成工件表面粗糙度等级识别精度低的问题,本文提出一种基于同态滤波和深度卷积模型的低照度工件表面粗糙度等级识别的新方法。首先将彩色图像从RGB空间转到HSV空间,保持色调H和饱和度S不变,在频域内对V亮度分量进行同态滤波处理,以增强图像整体亮度和对比度,减少光照不足引起的图像纹理细节不清晰,最后通过深度卷积模型进行识别。

1 基本原理

本文提出的基于同态滤波和深度卷积模型的低照度工件表面粗糙度等级识别原理如图1所示。通过调节LED光源并利用显微镜CCD,分别从不同加工方式的粗糙度等级样块上采集低照度图像。根据图像的亮度信息对图像进行预处理:当图像平均亮度值大于70时视为正常图像,不进行预处理;当图像平均亮度值低于20时判定为错误图像,不进行识别;当图像平均亮度值为20~70时视为低照度图像,要进行图像预处理。利用正常光照图像进行尺度变换、数据标注,离线训练粗糙度等级识别模型,在线识别工件表面粗糙度等级。通过判断图像平均亮度值,对低照度图像进行预处理。首先将图像从RGB空间转换到HSV空间,把V分量单独分离出来;然后通过优化得到的同态滤波器对V分量进行同态滤波处理,使图像亮度增强,细节纹理更清晰;最后用设计好的用于粗糙度等级识别的深度卷积神经网络(DCNN)对增强过的图像进行粗糙度等级识别,检验识别的准确性。

图 1 低照度工件表面粗糙度等级识别原理图 Figure 1 Schematic diagram of low illumination workpiece surface roughness level identification
2 HSV空间变换的同态滤波算法 2.1 HSV空间变换

对低照度图像进行增强是图像处理中用来消除光照影响的必不可少的环节。HSV颜色空间是根据颜色的直观特性创建的一种颜色空间,与人的心理感知更接近,它主要包括H(色调hue)、S(饱和度saturation)和V(亮度value)三要素。

人们通常观察到图像的颜色信息主要表现在色调和饱和度上,这种颜色空间的优点就是三要素互不干扰。亮度分量是一个与色调和饱和度无关的分量,因此亮度分量的改变对图像颜色信息的影响甚微,将该分量从颜色信息中分离出来进行矫正,不仅可以大幅度调整彩色图像亮度,而且能够较好地保留图像的彩色信息。

对低照度图像进行RGB空间与HSV空间转换,具体算法可参考文献[14]。

2.2 同态滤波算法

根据图像的形成原理和光照的特性,一幅图像f(x,y)可以用光源的照度分量 ${i}\left({x},{y}\right)$ 和目标物的反射分量 ${r}\left({x},{y}\right)$ 的乘积来表示,即

$ {f}\left({x},{y}\right)={i}\left({x},{y}\right)\cdot {r}\left({x},{y}\right) $ (1)

在这种基于光照−反射的模型中,光照条件主要体现在照度分量 ${i}\left({x},{y}\right)$ 上,其频谱主要在低频区域且变换缓慢,而 ${r}\left({x},{y}\right)$ 是反映图像的细节等特征,其频谱主要在高频区域。对光照不足的彩色图像,处理时需要尽量缩减图像的低频分量和放大图像的高频分量。

同态滤波算法原理是,通过滤波函数控制图像的照射分量和反射分量,对图像进行压缩低频分量、提升高频分量,从而减少光照不足带来的影响,在提升图像亮度和对比度的同时,又增强了图像的细节纹理。同态滤波算法的具体流程如图2所示。

图 2 同态滤波算法流程图 Figure 2 Flow chart of homomorphic filtering algorithm

同态滤波的具体步骤如下:

1)首先对式(1)两边同时取对数,将入射分量和反射分量分开,即

$ \mathrm{l}\mathrm{n}{f}\left({x},{y}\right)=\mathrm{l}\mathrm{n}{i}\left({x},{y}\right)+\mathrm{l}\mathrm{n}{r}\left({x},{y}\right) $ (2)

2)然后对上式两边取傅里叶变换,可得

$ {F}\left({u},{v}\right)={I}\left({u},{v}\right)+{R}\left({u},{v}\right) $ (3)

3)再利用滤波函数 ${H}\left({u},{v}\right)$ ${F}\left({u},{v}\right)$ 进行滤波处理

$ {H}\left({u},{v}\right){F}\left({u},{v}\right)={H}\left({u},{v}\right){I}\left({u},{v}\right)+{H}\left({u},{v}\right){R}\left({u},{v}\right) $ (4)

4)滤波后,对式(4)进行傅里叶逆变换回到空间域,即

$ {h}_{f}\left({x},{y}\right)={{h}}_{{i}}\left({x},{y}\right)+{{h}}_{{r}}\left({x},{y}\right) $ (5)

5)对式(5)两边取指数,可得

$ {g}\left({x},{y}\right)={\mathrm{e}}^{{{h}}_{{f}}\left({x},{y}\right)}={\mathrm{e}}^{{{h}}_{{i}}\left({x},{y}\right)}\cdot {\mathrm{e}}^{{{h}}_{{r}}\left({x},{y}\right)} $ (6)

在同态滤波处理中,合适的滤波函数以及函数参数值的选择都至关重要。同态滤波函数需要选择能减少低频分量和增加高频分量的滤波器,本文采用的是高斯型同态滤波器,其传递函数为

$ {H}\left({u},{v}\right)=\left({{R}}_{\mathrm{H}}-{{R}}_{\mathrm{L}}\right)\left[1-{\mathrm{e}}^{-{c}\left[\textstyle\frac{{{D}}^{2}\left({u},{v}\right)}{{{D}}_{0}^{2}}\right]}\right]+{{R}}_{\mathrm{L}} $ (7)

式中:RHRL分别是高频增益和低频增益; $D\left( {u,v} \right) = \sqrt {{{\left( {u - {u_0}} \right)}^2} + {{\left( {v - {v_0}} \right)}^2}} $ ,表示点 $\left( {u,v} \right)$ 到滤波中心 $\left( {{u_0},{v_0}} \right)$ 的距离; ${D_0}$ $\left( {u,v} \right) = \left( {0,0} \right)$ $D\left( {u,v} \right)$ 的值,表示截止频率;c是常数用来控制滤波器函数斜面的锐化,它在 ${{R}}_{\mathrm{H}}$ ${{R}}_{\mathrm{L}}$ 之间过渡。当 ${{R}}_{\mathrm{H}} > 1$ $ {0<R}_{\mathrm{L}}<1 $ 时,可以达到减小低频和增强高频的作用,使得图像的亮度和对比度增强,动态范围压缩,而 ${{R}}_{\mathrm{H}}$ ${{R}}_{\mathrm{L}}$ 具体选择对图像的改善效果不一样,通常需要通过反复实验才能得到比较合适的值。

3 深度卷积模型设计 3.1 网络结构

卷积神经网络是深度学习的一种,它与生物神经网络很相似,与其他神经网络相比,可以实现不同神经元之间的权值共享,降低网络模型的复杂度及减少权值的数量。在训练过程中只需要将图像作为卷积神经网络输入,就能避免传统识别算法中复杂的特征提取和数据重建过程,卷积神经网络自身可以自动地选择利于分类的特征,使得表征特征的能力更为客观全面。本文以CaffeNet模型为基础进行网络和参数的调整,建立了一种工件表面粗糙度等级识别模型。模型主要包括5层卷积层(C1、C2、C3、C4、C5)、3层池化层(P1、P2、P5)和3层全连接层(F6、F7、F8)。卷积神经网络具体结构如图3所示。

3.2 卷积层

二维图像可以用一个矩阵表示,即将输入当成是一定区域大小的数据,通过和滤波器filter(带着一组固定权值的神经元)做内积后得到新的二维数据。通过不同的滤波器来提取图像的特定信息,如颜色深浅或纹理细节特征。在粗糙度等级识别模型中,上一层的特征图和一个可学习的卷积核进行卷积,然后通过一个激活函数得到下一个输出特征图。所有的输出特征图可以组合卷积多个特征图的值,即

$P_j^l = f\left( {\sum\limits_{i \in {M_j}} {p_j^{l - 1} * k_{ij}^l + b_j^l} } \right)$ (8)

式中: ${{P}}_{{j}}^{{l}}$ 是卷积层 ${l}$ 的第 ${j}$ 个通道的输出; ${f}$ 是激活函数,这里采用的是 $ \mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d} $ 函数完成计算; ${{M}}_{{j}}$ 是计算 ${{P}}_{{j}}^{{l}}$ 的特征图子集; ${{k}}_{{i}{j}}^{{l}}$ 是卷积核矩阵; ${{b}}_{{j}}^{{l}}$ 是偏置;“*”是卷积符号。

图 3 卷积神经网络结构图 Figure 3 Convolution neural network structure diagram
3.3 池化层

池化层是特征映射层,在卷积计算完成后选择池化区域,然后取用特征图的最大值、最小值或者平均值作为池化区域的特征,这样可以极大地降低特征向量的维度,减少计算量,防止过拟合。

最大池化能显著增强局部特征,对于细节纹理特征的学习有很大的作用,适用于粗糙度等级识别。所以本文采用最大池化规则对卷积层特征图进行采样,如图4所示,对图像进行降维的同时,在一定程度上保证了特征的尺度不变。设 ${{P}}_{{i}}$ 为池化层(假定卷积神经网络有L层,i=1, 2, ∙∙∙,L-1),池化的过程为

图 4 最大池化 Figure 4 Maximum pooling
$ {{P}}_{{i}}=\mathrm{m}\mathrm{a}\mathrm{x}\mathrm{p}\mathrm{o}\mathrm{o}\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{g}\left({{P}}_{{i}-1}\right) $ (9)
3.4 全连接层

在全连接层中,将所有二维图像的特征信息降为一维信息。模型的最后一层为逻辑回归层(softmax),卷积神经网络输入的每个节点表示输入图片属于某一类别 ${i}$ 的概率,即

$P\left( {Y = i\left| {x,w,b} \right.} \right) = {\rm{softma}}{{\rm{x}}_i}\left( {wx + b} \right) = \frac{{{{\rm{e}}^{{w_i}x + {b_i}}}}}{{\displaystyle\sum\limits_i {{{\rm{e}}^{{w_i}x + {b_i}}}} }}$ (10)

式中:Y是一个图像类别的预测量; ${w}$ 是最后一层的权参数; ${b}$ 是对应偏置参数。

输出层的个数与目标分类的个数相一致,每个输出值表示识别样本属于对应标签的概率大小。

4 实验研究 4.1 实验平台

为了验证转换空间后的同态滤波算法对低照度下工件表面粗糙度等级识别的有效性和准确性,首先进行低照度粗糙度等级图像的采集,粗糙度识别模型的训练和测试,以及分析低照度下同态滤波参数对于识别准确率的影响。本文的实验装置如图5所示,主要由计算机、CCD相机、显微镜、可调节亮度的LED照明灯和粗糙度标准样块等组成。

图 5 实验装置图 Figure 5 Experimental installation diagram

为了研究不同亮度下同态滤波参数对其识别准确率的影响,通过调节LED光源的亮度拍摄不同光照条件下工件表面粗糙度图像,根据图像整个平均亮度值将图像亮度从20到70划分为5种情况,对亮度低于20和高于70不做处理的原因是,实际工况下图像亮度值低于20以下基本不会出现,亮度高于70已经比较接近正常光照。

为了研究转换空间后同态滤波算法对工件表面粗糙度等级识别准确率的影响,将同种光照条件下的图像先从RGB空间转到HSV空间,对V分量单独进行同态滤波处理,然后通过事先训练好的深度卷积模型进行工件表面粗糙度等级识别。

4.2 实验结果及分析

为了研究本文提出的同态滤波算法对低照度工件表面粗糙度等级识别的有效性,通过调节LED光源亮度和采用显微镜CCD拍摄得到工件样块表面图像,将得到的图像按亮度值大小分成5组,如图6所示。

图 6 不同亮度值的工件表面粗糙度图像 Figure 6 Surface roughness image of workpiece with different brightness values

工件的加工方式为平铣,粗糙度等级为5个等级,分别为Ra0.4、Ra0.8、Ra1.6、Ra3.2和Ra6.3,每个等级采集5组,每组拍摄30张图像,共计150张不同亮度值的低照度图像。

针对同态滤波器的参数调试,对低照度图像采用控制变量的方法研究每个参数对图像的改善效果,从而找到最优参数。首先针对同态滤波的参数 ${{R}}_{\mathrm{L}}$ 进行研究,其中 ${{R}}_{\mathrm{H}}=2$ ${c}=1.5$ ${{D}}_{0}=10$ 均保持不变,结果如图7所示。

图 7 参数值 $ {{R}}_{\mathrm{L}} $ 对其影响 Figure 7 Influence of parameter values $ {{R}}_{\mathrm{L}} $

同理保持其他参数不变,分别对 ${{R}}_{\mathrm{H}}$ ${{D}}_{0}$ 的取值进行实验研究,结果如图8所示。

图 8 参数值 $ {{R}}_{\mathrm{H}} $ $ {{D}}_{0} $ 对其影响 Figure 8 Influence of parameter values $ {{R}}_{\mathrm{H}} $ and $ {{D}}_{0} $

图7图8可以看出,同态滤波参数里只有 $ {{R}}_{\mathrm{L}} $ 这个参数对图像有所改善,其他参数对图像基本没有改变,下面分别对5组亮度值的图像进行 $ {{R}}_{\mathrm{L}} $ 参数的研究,确定最优值。实验结果如图9所示。

图 9 $ {{R}}_{\mathrm{L}} $ 参数对不同亮度值下粗糙度等级识别的影响结果图 Figure 9 Result of the influence of $ {{R}}_{\mathrm{L}} $ parameter on roughness level recognition under different luminance values

图9可以看出,经过同态滤波处理后的图像识别正确率都有很大提高,当参数 $ {{R}}_{\mathrm{L}}\mathrm{} $ 为0.4时,识别正确率最高,达到了90%左右。

同态滤波器的各个参数确定好后,将采集好的图像从RGB空间转换到HSV空间中,然后单独对V亮度分量进行同态滤波处理。对同种加工方式、不同粗糙度的样块采集亮度值20~70的图像各150张,并对其进行图像处理和测试。识别结果如图10所示。

图 10 平铣图像实验结果 Figure 10 Experimental results of flat milling image

为了进一步验证本文方法的有效性,又采集了立铣加工的低照度图像,测试了使用同态滤波处理后图像的识别正确率,实验结果如图11所示。

图 11 立铣图像实验结果 Figure 11 Image experimental results of vertical milling

图10图11可看出:基于同态滤波和转换空间后的同态滤波算法对图像识别的正确率都有很大的提高,对平铣图像粗糙度除了Ra3.2识别的正确率在93%之外,其余正确率都达到100%,对立铣图像粗糙度识别的正确率均在96%以上。

大量的低照度图像识别实验结果表明,本文方法的识别正确率达到95%以上。

5 结 论

本文针对低照度下工件表面粗糙度等级识别正确率低的问题,提出了一种基于空间转换的同态滤波算法。利用HSV空间亮度分量的不相关性再用同态滤波算法处理,很好地保留了图像的原有的特征信息,提高了工件表面粗糙度等级的正确识别率。

参考文献
[1] 刘斌, 冯其波, 匡萃方. 表面粗糙度测量方法综述[J]. 光学仪器, 2004, 26(5): 54–58. DOI:10.3969/j.issn.1005-5630.2004.05.012
[2] 陈继涛. 表面粗糙度检测方法发展史及研究现状概述[J]. 中国科技信息, 2007(17): 305–306.
[3] 刘建伟, 刘媛, 罗雄麟. 深度学习研究进展[J]. 计算机应用研究, 2014, 31(7): 1921–1930, 1942. DOI:10.3969/j.issn.1001-3695.2014.07.001
[4] 卢宏涛, 张秦川. 深度卷积神经网络在计算机视觉中的应用研究综述[J]. 数据采集与处理, 2016, 31(1): 1–17.
[5] 周飞燕, 金林鹏, 董军. 卷积神经网络研究综述[J]. 计算机学报, 2017, 40(6): 1229–1251. DOI:10.11897/SP.J.1016.2017.01229
[6] 傅隆生, 冯亚利, TOLA E, 等. 基于卷积神经网络的田间多簇猕猴桃图像识别方法[J]. 农业工程学报, 2018, 34(2): 205–211. DOI:10.11975/j.issn.1002-6819.2018.02.028
[7] 高震宇, 王安, 刘勇, 等. 基于卷积神经网络的鲜茶叶智能分选系统研究[J]. 农业机械学报, 2017, 48(7): 53–58. DOI:10.6041/j.issn.1000-1298.2017.07.007
[8] 程曦, 吴云志, 张友华, 等. 基于深度卷积神经网络的储粮害虫图像识别[J]. 中国农学通报, 2018, 34(1): 154–158. DOI:10.11924/j.issn.1000-6850.casb16110146
[9] 韩殿元. 低照度下视频图像保细节直方图均衡化方法[J]. 计算机仿真, 2013, 30(8): 233–236, 300. DOI:10.3969/j.issn.1006-9348.2013.08.054
[10] 李庆忠, 刘清. 基于小波变换的低照度图像自适应增强算法[J]. 中国激光, 2015, 42(2): 0209001-1–0209001-7.
[11] LIN H N, SHI Z W. Multi-scale retinex improvement for nighttime image enhancement[J]. Optik, 2014, 125(24): 7143–7148. DOI:10.1016/j.ijleo.2014.07.118
[12] 肖进胜, 单姗姗, 段鹏飞, 等. 基于不同色彩空间融合的快速图像增强算法[J]. 自动化学报, 2014, 40(4): 697–705.
[13] 齐永锋, 火元莲. 一种基于同态滤波器与Radon变换的光照不变人脸识别方法[J]. 计算机工程与科学, 2015, 37(12): 2393–2398. DOI:10.3969/j.issn.1007-130X.2015.12.030
[14] 胡窦明, 赵海生, 李云川, 等. 一种基于同态滤波的红外图像增强新方法[J]. 红外技术, 2012, 34(4): 224–228. DOI:10.3969/j.issn.1001-8891.2012.04.009
[15] AGARWAL T K, TIWARI M, LAMBA S S. Modified histogram based contrast enhancement using homomorphic filtering for medical images[C]//Proceedings of 2014 IEEE International Advance Computing Conference. Gurgaon: IEEE, 2014: 964-968.
[16] VISHWAKARMA A K, MISHRA A, GAURAV K,et al. Illumination reduction for low contrast color image enhancement with homomorphic filtering technique[C]//Proceedings of 2012 International Conference on Communication Systems and Network Technologies. Rajkot: IEEE, 2012: 171 − 173.
[17] 焦竹青, 徐保国. 基于同态滤波的彩色图像光照补偿方法[J]. 光电子·激光, 2010, 21(4): 602–605.
[18] 徐黎明, 吕继东. 基于同态滤波和K均值聚类算法的杨梅图像分割 [J]. 农业工程学报, 2015, 31(14): 202–208. DOI:10.11975/j.issn.1002-6819.2015.14.028