光学仪器  2015, Vol. 37 Issue (1): 57-64   PDF    
引用本文
文方青, 叶志龙, 张弓. 基于改进CV模型和PCNN的NSST域焊接缺陷提取[J]. 光学仪器 ,2015,37(1)57-64.  
WEN Fangqing, YE Zhilong, ZHANG Gong. Extraction of welding defect based on improved CV model and PCNN in non-subsampled Shearlet domain[J].Optical Instruments ,2015,37(1)57-64.  
基于改进CV模型和PCNN的NSST域焊接缺陷提取
文方青1,2, 叶志龙3, 张弓1,2    
1. 南京航空航天大学 电子信息工程学院, 江苏 南京 210016;
2. 南京航空航天大学 雷达成像与微波光子技术教育部重点实验室, 江苏 南京 210016;
3. 上海航天控制技术研究所, 上海 200233
收稿日期: 2014-07-16
基金项目：国家自然科学基金(61071163,61271327);南京航空航天大学博士学位论文创新与创优基金(BCXJ14-08);江苏省研究生培养创新工程(KYLX_0277);中央高校基本科研业务费专项资金资助;江苏高校优势学科建设工程(PADA)
作者简介：文方青(1988-),男,博士研究生,主要从事数字图像处理、雷达信号处理方面的研究。E-mail:wfqzhc@163.com
摘要：为了精确地提取焊接缺陷,进一步提高缺陷检测的准确性,提出了一种基于改进Chan-Vese(CV)模型和脉冲耦合神经网络(pulse coupled neural network,PCNN)的非下采样Shearlet变换(non-subsampled Shearlet transform,NSST)域焊接缺陷提取方法。首先,对焊接缺陷图像进行NSST分解,对得到的低频分量采用PCNN提取出缺陷的主要区域;然后,利用背景抑制后的低频分量和高频分量构造出高频特征图像,并对其进行粗分割,再利用改进的CV模型寻找最优轮廓,提取出缺陷精细轮廓;最后,融合缺陷的主要区域和精细轮廓信息得到最终的结果。实验结果表明,与其他缺陷提取法相比,所用方法提取的缺陷结构更为完整,缺陷轮廓更为精细。
关键词： 焊接缺陷     轮廓提取     非下采样Shearlet     改进的CV模型     脉冲耦合神经网络    
Extraction of welding defect based on improved CV model and PCNN in non-subsampled Shearlet domain
WEN Fangqing1,2, YE Zhilong3, ZHANG Gong1,2    
1. College of Electronic and Information Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China;
2. Key Laboratory of Radar Imaging and Microwave Photonics(MOE), Nanjing University of Aeronautic and Astronautics, Nanjing 210016, China;
3. Institute of Spaceflight Control Technology, Shanghai 200233, China
Abstract: In order to extract welding defect more accurately and further improve the accuracy of defect detection, a welding defect extraction method based on improved Chan-Vese(CV)model and pulse coupled neural network(PCNN)in the non-subsampled Shearlet transform(NSST)domain is proposed. Firstly, a welding defect image is decomposed by NSST. The main region of defect is obtained through processing low-frequency component by using PCNN. Then, high-frequency feature image is constructed through low-frequency after background suppression and high-frequency, and improved CV model is used to search optimal contour of defect after coarse segmentation. Finally, the final defect is extracted by fusing main region and fine contour of welding defect. Compared with recently proposed defect extraction methods, the extracted welding defect using the proposed method has more complete structure and optimal contour.
Key words: welding defect     contour extraction     non-subsampled Shearlet     improved CV model     pulse coupled neural network    
引 言

随着图像处理技术的发展,对X射线焊接图像进行缺陷检测已成为焊接产品质量评判的重要手段。作为缺陷检测的关键步骤,焊接缺陷提取的准确性直接影响缺陷特征参数的计算,决定了缺陷检测的性能。

焊接缺陷图像通常对比度较低、背景起伏大,且伴有少量的噪声,易淹没如气孔、细裂纹之类细小缺陷[1,2,3]。而缺陷提取就是要从不稳定的背景和噪声中将缺陷的全部信息尽可能地分离出来,焊接缺陷的提取包括缺陷的分割及其轮廓的提取[4]。现有的缺陷提取方法主要有阈值分割法、模型法和多尺度几何分析法。其中基于阈值分割的缺陷提取法较为简单,应用也较广,此方法通常是考虑图像灰度分布,选取一个最佳阈值分离出背景与目标,但阈值选取难以自适应选取,易丢失细小目标。文献[5]提出了选用对称Tsallis交叉熵作为分割质量的评价指标,克服了传统阈值选取方法对弱小目标的失效,但此方法在图像受噪声干扰时,易产生错分现象,适应性仍不强。模型法主要有PCNN和CV模型。其中PCNN是一种新型的神经网络,其图像处理结果更符合人类的视觉神经系统,但由于难以确定PCNN最佳迭代次数,其获得的缺陷的边缘往往较为粗糙,且结果易受噪声干扰[6,7]。CV模型可有效利用图像的先验信息知识,对于弱边缘图像有较好的分割效果,已成功应用于焊接图像的识别[8]。但CV模型对于初始条件较为敏感,计算效率较低[9,10]。多尺度几何分析具有局部性、各向异性、多方向性等特性,对于图像的边缘细节信息有较好的捕捉能力。该方法将图像分解为高低频分量,并采取不同策略分别进行缺陷提取,最后融合二者的结果得到最终的缺陷区域[11,12]。文献[13]研究了一种基于非下采样Contourlet变换(non-subsampled Contourlet transform,NSCT)和PCNN的缺陷提取方法,取得了较好的效果,然而该方法采用的NSCT高频方向数受到分解层数的制约,未能最优表达图像方向信息,且用于高频分量缺陷提取的PCNN难以分辨噪声和缺陷的细小边缘。Shearlet变换较NSCT能够自适应地跟踪图像奇异曲线方向,方向选择更为丰富,但其缺乏平移不变性,易产生阶梯效应[14,15]。针对上述问题,可考虑采取NSST代替NSCT,以克服Shearlet产生的伪Gibbs效应,更为有效地捕捉缺陷的细节信息;利用PCNN提取低频分量的缺陷主要区域;在CV模型中加入移动因子,改善边缘的逼近效果,并利用其提取高频分量中的缺陷,避免细节的丢失。 1 非下采样Shearlet域的焊接缺陷提取 1.1 非下采样Shearlet变换

Shearlet变换是在合成小波理论基础上发展而来,通过仿射系统结合几何和多尺度构造得到,当维数为2时,仿射系统为[16]:

式中,ψ∈L2(R2),j,,k分别为尺度、剪切和平移参数。当MAB(ψ)满足Parseval框架,其元素称为合成小波。A为各向异性膨胀矩阵,B为剪切矩阵,若称为Shearlet。

同NSCT类似,NSST分为多尺度分解和方向分析两部分,即图像首先经过非下采样拉普拉斯金字塔(non-subsampled Laplacian pyramid,NSLP)分解,得到一个低频分量和一个高频分量,得到的低频分量再经过非下采样拉普拉斯金字塔分解完成下一级分解,以此类推完成多尺度分解。方向分析是通过改进的剪切滤波器完成的,即图像经n层NSST分解,可得到2n+2个与源图像同尺度的高频子带图像。 1.2 脉冲耦合神经网络(PCNN)

PCNN是受哺乳动物神经元模型启发而提出的一种新型人工神经网络。PCNN的每一个神经元都是由接收、非线性连接调制和脉冲产生3部分组成,设F为神经元的反馈输入,则可表示为:

式中:i、j表示神经元的标号,对应图像中像素点的位置;k、l为当前像素点与周围连接的范围;n为当前的迭代次数;αF为对应的衰减系数; VF为F的幅度常数;Mijkl为连接权矩阵;Ykl为PCNN的二值输出;Sij为神经元的外部刺激,也就是图像中像素矩阵的i行j列的像素灰度值。设L为神经元的连接输入,可表示为:

式中:αL为对应的衰减系数; VL为L的幅度常数;W为连接权矩阵。设Uij为神经元的内部活动项,可表示为:

式中β为连接系数。PCNN的二值输出可表示为:

式中θij为神经元的动态阈值,可表示为:

式中:αθ为对应的衰减系数;Vθ为θ的幅度常数。PCNN的神经元模型如图 1所示。
图 1 PCNN神经元模型 Fig. 1 Model of PCNN neuron

PCNN的工作流程为:神经元的接收部分反馈输入Fij[n]和Lij[n],经过调制产生Uij[n],再与按指数衰减后的阈值门限θij比较,来确定是否产生脉冲,若Uij[n]>θij[n－1],则脉冲产生,PCNN被点火。焊接缺陷处的像素值一般与周围的焊道部分有明显的区别,当缺陷处的某一神经元触发脉冲点火,脉冲信号便会通过连接输入L传递给邻近的神经元,造成与该神经元像素值相似的邻近像素点趋于同步点火,即提取出缺陷所在的区域。 1.3 改进的CV模型

CV模型未考虑图像的局部信息,仅考虑了图像各均匀区域的均匀信息,虽可得到图像的渐进型边缘,但分割结果存在误差。针对这一问题,可考虑加入移动因子,以减小分割误差,提高计算效率[17]。若O(C)和I(C)分别为可变曲线C的内部和外部,则CV模型可表示为:

式中,z为图像灰度值,c1和c2为曲线C内部和外部区域的图像灰度均值。CV模型原始能量泛函可以表示为:

式中,μ、ν、λ1和λ2为权重参数,Le(C)和A(I(C))分别为曲线C的长度和内部面积。将式(8)映射为水平集的形式为:

式中,δ和H分别为Dirac函数和Heaviside函数,Ω为定义域,为水平集函数。通过极小化上述泛函得到相应的Euler-Larange方程:

式中,

CV模型仅考虑了图像各均匀区域的均匀信息，未考虑图像的局部信息，分割结果存在误差。针对这一问题考虑加入移动因子，以减小分割误差，提高计算效率。引入局部凸凹性给出移动因子的定义:

局部凸(凹)性:,其邻域集,在i轴上的点x的子邻域集为Ni(x)={y∈N(x)yi－xi=1}。当(或<0)时,则x在i轴上局部凸(凹)。

对,引入移动因子,其中s1≥1时,x在i轴上为局部凹;当0<s2≤1时,x在i轴上为局部凸,因此,可通过调整s1和s2的值实现因子的移动。

对于CV模型,可改变0-水平线内外部的区域均值(式(7)的最优解(c1+c2)/2)来调整0-水平集平面所在高度,为此引入权值ω调整0-水平集高度,即:

式中,,其中ω1用于提高0-水平集平面高度,使得边界向灰度值较大的方向移动,ω2则用于降低0-水平集平面高度,使得边界向灰度值较小的方向移动。经改进后的CV模型原始能量泛函为:

在式(12)中加入正则项Le(C),并求关于的极小值,得到相应的Euler-Larange方程:

由于式(13)与式(11)所导致的0-水平集平面演化方向相反,可将式(13)改进如下:

可见式(14)在0-水平集平面上与式(11)有相同的驱动效果[18]。

采用移动因子s作为权值,一方面可调整曲线内外区域的灰度均值,使得目标的总体灰度值能保持大致不变,促使0-水平集平面接近于目标平面;另一方面,移动因子可根据边界周围的凹凸性调整相应点的灰度值,以不断逼近最优的边界。

2 焊接缺陷提取算法

基于上述分析,本文提出了一种基于改进CV模型和PCNN的NSST域的焊接缺陷提取方法,现以一副焊接夹钨缺陷为例,说明本文算法的步骤和流程,具体步骤如下。

Step1:非下采样Shearlet变换。对焊接图像进行单层非下采样Shearlet分解,得到1个低频分量和6个高频分量,其中用于非下采样拉普拉斯塔式分解的滤波器选择“maxflat”,进行方向分析的窗函数为“Meyer”。

Step2:利用低频图像进行缺陷粗分割。将低频图像作为PCNN的输入源图像,利用香农熵作为判断PCNN的最佳迭代次数标准,经PCNN处理得到粗分割后的焊接缺陷图像,PCNN的迭代方程为式(2)~式(6),其中VL=Smax,β=0.4,αθ=0.3,Vθ=0.2,连接权矩阵M和W设置如下:

Step3:低频图像背景抑制。焊接缺陷图像通常对比度较低,背景起伏较大,而焊道部分灰度值一般偏大。可根据图像直方图曲线的一个谷值拐点寻找相应的阈值,将起伏的背景部分直接置0,以减少背景对于缺陷提取的干扰。为了防止由于直方图曲线局部起伏导致的阈值误选,本文选用B样条曲线对直方图曲线进行拟合。

Step4:高频特征图像构造。利用NSST逆变换对背景抑制后的低频图像和高频图像进行重构,得到高频特征图像。

Step5:利用高频特征图像进行缺陷精分割。先对高频特征图像利用阈值分割对其进行粗分割,将得到的图像作为改进CV模型的初始条件,不断逼近缺陷的最优边缘,得到高频部分的分割结果,其中改进CV模型的轮廓演化方程为式(14),μ=0.01×2552,λ1=λ2=1,ω1=1.65,ω2=1。

Step6:融合高频分量分割得到的结果。对高频特征图像提取的缺陷图像和低频图像提取的缺陷图像作与操作或者或操作,并采用Sobel算子提取出缺陷的轮廓。一方面可以提取缺陷的精细边缘,另一方面可有效地去除背景噪声。图 2为夹钨缺陷的提取过程示意图,图 3为本文提出焊接缺陷算法的流程图。

图 2 夹钨缺陷提取过程 Fig. 2 Extraction process of tungsten inclusion defects

图 3 焊接缺陷提取算法流程图 Fig. 3 Flow chart of welding defects extraction algorithm
3 实验结果与分析

针对本文提出的焊接缺陷提取方法,进行了大量的实验,同时给出了本文算法和近年来提出的基于二维对称Tsallis交叉熵的缺陷提取法(STCE)[5]、PCNN缺陷提取法(PCNN)[7]、基于NSCT域特征的PCNN的缺陷提取法的结果(NSCT+PCNN)[12],依据主观视觉和对数归一化似然比对上述方法进行了评价和分析。所对比的焊接缺陷方法参数设置如下:STCE方法中背景与缺陷面积差因子中的可调指数γ=0.003;PCNN方法中衰减系数αF,αL,αθ分别为0.1、2.0、1.0;幅度常数VF、VL、VT分别取为0.5、0.2和20;链接权矩阵W取两个神经元的欧式距离的平方倒数,链接系数β=1,最大迭代次数为10;NSCT+PCNN方法中采用3层NSCT对缺陷图像分解,高频特征图像由多尺度能量得到,低频粗分割图像和高频特征图像的分割均由PCNN得到,其设置与PCNN方法相同。本文的焊接缺陷提取实验均是在Intel(R)Core(TM)2,主频2.0 GHz,内存2 GB,处理程序为MATLAB R2009a的环境下进行的。

现以夹钨、烧穿、焊缝余温过高3种焊接缺陷图像为例说明本文提出的焊接缺陷提取方法的有效性。图 4~图 6分别给出了3种缺陷使用STCE、PCNN、NSCT+PCNN及本文方法提取的缺陷结果。其中(a)给出了受到噪声污染的缺陷图像、(b)给出了STCE方法提取的缺陷、(c)给出了PCNN方法提取的缺陷、(d)给出了NSCT+PCNN方法提取的缺陷、(e)为本文方法提取的缺陷、(f)为提取出缺陷的轮廓。

图 4 夹钨缺陷提取的结果 Fig. 4 Extraction results of tungsten inclusion defects

图 5 烧穿缺陷提取的结果 Fig. 5 Extraction results of burn defects

图 6 焊缝余温过高缺陷提取的结果 Fig. 6 Extraction results of overheated weld temperature defects

由图 4~图 6可看出:3种焊接缺陷图像均含有大量的噪声。STCE方法仅对烧穿缺陷有效,对夹钨和焊缝余温过高两种缺陷仅能分割出焊道部分,且残留了大部分噪声;由于噪声对于神经元点火机制的影响,PCNN方法虽能提取缺陷的主要区域,但缺陷的轮廓较为粗糙,然而对于目标较小的缺陷,如图 4中的夹钨缺陷,PCNN方法提取的缺陷易淹没在噪声中;NSCT+PCNN方法提取的缺陷轮廓比PCNN方法提取的缺陷轮廓更为精细,但对于区域性的缺陷,如图 6中的焊缝余温过高缺陷,其缺陷提取的区域偏大。本文方法提取的3种缺陷更为完整,其轮廓更为精细,也更接近于缺陷的实际轮廓,这是因为本文采用的NSST变换能更好地捕捉缺陷的边缘细节,用于高频特征图像分割的改进CV模型对于缺陷轮廓的逼近也更加准确。

为了进一步说明本文提出的焊接缺陷提取方法效果,以原始缺陷图像与提取出的缺陷图像相除的比率图像对其进行定量评价。以比率图像的对数归一化似然比D及方差RIvar作为评价指标,其中,D描述了提取的缺陷图像中各区域的异质性,RIvar表征了图像的对比度起伏程度。D和IvarR的值越小说明比率图像中残留的缺陷结构越少,缺陷提取的效果也就越好。表 1给出了图 4~图 6中的3种缺陷图像应用上述4种缺陷提取方法的评价指标值。

表 1 4种缺陷提取方法性能比较 Tab. 1 Performance comparison of extraction of four different defects

从表 1可以看出,本文方法提取的缺陷比率图像D和RIvar是4种方法最低的,说明本文方法提取的缺陷最接近于真实缺陷,缺陷的结构也是最为完整的。由此可知,本文提出的焊接缺陷提取方法性能优于其他3种方法。 4 结 论

本文提出了一种基于改进CV模型和PCNN的非下采样域焊接缺陷提取方法。通过NSST对焊接缺陷图像进行分解,有效地捕捉了缺陷的边缘和方向信息;经对低频分量采用PCNN方法,提取了缺陷的主要区域;利用改进的CV模型提取了高频特征图像的缺陷精细轮廓;由融合缺陷的主要区域信息和精细轮廓,得到缺陷最终区域。大量实验结果表明,与近年来提出的STCE、PCNN、NSCT+PCNN等方法相比,本文方法提取的缺陷更为完整,其轮廓更加清晰,在比率图像对数归一化似然比和方差两个客观定量评价指标上也具有一定的优势。

参考文献
[1] 梁硼,魏艳红,占小红.基于B样条曲线的X射线图像焊缝缺陷分割与提取[J].焊接学报,2012,32(7):109-112.
[2] SHAO J X,DU D,SHI H,et al.A fast and adaptive method for automatic weld defect detection in various real-time X-ray imaging systems[J].China Welding,2012,21(1):8-12.
[3] 沈莹吉,王克鸿,潘明财,等.基于视觉的焊接缺陷熔池图像特征探讨[J].焊接学报,2012,33(1):105-108.
[4] 张晓光,孙正,胡晓磊,等.射线检测图像中焊缝和缺陷的提取方法[J].焊接学报,2011,32(2):77-80.
[5] 吴一全,沈毅,刚铁,等.基于二维对称Tsallis交叉熵的小目标图像阈值分割[J].仪器仪表学报,2011,32(10):2161-2167.
[6] JOHNSON J L,PADGETT M L.PCNN models and applications[J].IEEE Transactions on Neural Networks,1999,10(3):480-498.
[7] 马义德,戴若兰,李廉.一种基于脉冲耦合神经网络和图像熵的自动图像分割方法[J].通信学报,2002,23(1):46-51.
[8] 陈希章,陈华斌,陈善本,等.基于改进C-V方法的焊接图像识别[J].焊接学报,2007,28(9):9-12.
[9] 吴一全,吉瑒,沈毅,等.Tsallis熵和改进CV模型的海面溢油SAR图像分割[J].遥感学报,2012,16(4):678-690.
[10] WEI K,JING Z L,LI Y X,et al.Extended scheme of Chan-Vese models for colour image segmentation[J].IEEE Transactions on Image Processing,2011,5(7):583-597.
[11] 孔军,汤心溢,蒋敏,等.基于多尺度特征提取的Kalman滤波跟踪[J].红外与毫米波学报,2011,30(5):446-450.
[12] 吴俊政,严卫东,边辉,等.基于NSCT域特征和PCNN的SAR图像目标分割[J].光电工程,2012,39(9):86-92.
[13] 周新星,王典洪,王洪亮,等.基于非下采样Contourlet变换和PCNN的表面缺陷自动识别方法[J].应用基础与工程科学学报,2013,21(1):174-183.
[14] EASLEY G,LABATE D,LIM W Q.Sparse directional image representations using the discrete shearlet transform[J].Applied Computational Harmonic Analysis,2008,25(1):25-46.
[15] YI S,LABATE D,EASLEY G R,et al.A shearlet approach to edge analysis and detection[J].IEEE Transactions on Image Processing,2009,18(5):929-941.
[16] LIM W Q.The discrete shearlets transform:a new directional transform and compactly supported shearlets frames[J].IEEE Transactions on Image Processing,2010,19(5):1166-1180.
[17] DA CUNH A L,ZHOU J P,DO M N.The nonsubsampled contourlet transform:theory,design,and application[J].IEEE Transactions on Image Processing,2006,15(10):3089-3101.
[18] 王晓涛,吴纪桃.加移动因子的C-V模型[J].中国图象图形学报,2010,15(11):1603-1607.