光学仪器  2024, Vol. 46 Issue (5): 24-30   PDF    
光学元件微缺陷偏振检测的图像处理方法研究
陈晓辉1, 王鑫森1, 段亚凡1,2,3     
1. 泉州师范学院 光子技术研究中心,福建 泉州 362000;
2. 福建省先进微纳光子技术与器件重点实验室,福建 泉州 362000);
3. 福建省超精密光学工程技术与应用协同创新中心,福建 泉州 362000
摘要: 光学元件表面缺陷会严重影响到光学系统的性能指标。现有的光学元件表面缺陷检测技术存在检测速度慢,精度低等问题。基于光学元件微缺陷偏振检测技术,研究了缺陷偏振成像的数字图像处理方法。首先利用光的偏振特性采集到缺陷对比度高的图像,然后通过滤波去噪、阈值分割、形态学处理的方法对图像进行预处理,再根据不同的缺陷类型选取不同的特征参数从而实现缺陷检测及分类,此外还精确测量了缺陷的尺寸。结果表明,此方法的缺陷总检出率为95.90%,单张图像检测时间少于50 ms。
关键词: 缺陷检测    数字图像    光学元件    偏振特性    
Image processing method for polarization detection of microdefects in optical components
CHEN Xiaohui1, WANG Xinsen1, DUAN Yafan1,2,3     
1. Research Center for Photonics Technology, Quanzhou Normal University, Quanzhou 362000, China;
2. Fujian Key Laboratory of Advanced Micro-nano Photonics Technology and Devices, Quanzhou, 362000, China;
3. Fujian Collaborative Innovation Center for Ultra-precision Optical Engineering andApplication, Quanzhou 362000, China
Abstract: Surface defects of optical components seriously affect the performance of optical systems. The existing surface defects detection technology of optical components has problems such as slow detection speed and low accuracy. This paper studies the digital image processing method of polarization imaging of defects based on the polarization detection technology of micro-defects of optical components. Firstly, we used the polarization property of light to capture the image with high contrast of defects, and then pre-processed the image by filtering and denoising, threshold segmentation, morphological processing. Next, different feature parameters are selected according to different types of defects so as to achieve defect detection and classification, meanwhile accurately measuring the size of defects. The results showed that the total defect detection rate of this method was 95.90%, and the detection time of a single image was less than 50 ms.
Key words: defect detection    digital image    optical component    polarization characteristic    
引 言

光学元件表面缺陷通常包括表面疵病和表面脏污[1]。表面疵病是指光学元件表面在抛光加工的过程中由于操作不当使其仍然存在麻点、划痕、破边等缺陷[2-3]。人们对光学元件的质量要求越来越高,而在实际生产中又经常存在不可避免的缺陷,因此,高效地实现光学元件表面缺陷检测成为当下光学元件制造企业的迫切需求。实现对光学元件表面缺陷的识别分类可以帮助企业针对不同类型的缺陷及时改进相应的生产工艺,提高光学元件的质量;精确测量缺陷的尺寸可以作为判断产品优劣和划分质量等级的依据,防止不合格品流入市场。

目前光学元件表面缺陷检测主要采用机器视觉的方法,用摄像头等图像采集装置采集作业环境的图像信息,再用图像处理技术提取有效信息,代替人眼做出各种检测和判断,从而大大提高检测的效率和自动化水平。其中,亓宁宁等[4]研究了一种基于机器视觉的玻璃缺陷检测系统,用BP神经网络对玻璃表面的3种缺陷进行分类,但该方法识别的平均误差率较高(9.84%)。朱宇栋等[5]提出一种基于计算机视觉检测光学镜片外观瑕疵的方法,使用黑体作为暗背景,提高了瑕疵的对比度,但所述方法检测速度较慢,单个元件检测速度需耗时5 s。杜培玉等[6]针对双凸透镜缺陷检测搭建了基于成像缺陷检测方法的图像采集系统,但采集得到的图像存在着大量的随机噪声和图像整体灰度不均匀等问题,使得后续的图像处理变得困难。胡泽波等[7]为了解决光学元件缺陷检测时被测面无法成像在一个像平面上的问题,提出了一种机器视觉与三维重构相结合的检测方法,但该方法计算量大,还会引入成像点与图像上测量点的误差。

针对目前光学元件表面缺陷检测中存在的难题,本文提出了一种基于光学元件微缺陷偏振检测技术的数字图像处理方法。结果表明,该方法的检测准确率高,检测速度快,能实现曲面光学元件表面各方位缺陷的一次成像和缺陷尺寸的精确测量。

1 图像采集 1.1 图像采集装置介绍

本文使用的图像采集装置如图1所示。该装置采用线偏振共焦照明方式,配合远心镜头实现了曲面光学元件表面各方位缺陷的一次成像。在图1中,以装置底座平面相邻两边所在直线为x轴、y轴,垂直于底座平面的方向为z轴。沿着z轴从下往上依次为变焦照明光源、线偏振片2、载物台、线偏振片1、远心镜头和相机。其中相机和载物台可在xyz 的3个轴方向(上下前后左右)单独调节。x轴的调节范围为 −10 mm ≤ x ≤ 10 mm,y轴的调节范围为0 ≤ y ≤ 10 mm,z轴的调节范围为 −20 mm ≤ z ≤ 20 mm。

图 1 光学元件表面缺陷图像采集装置 Figure 1 Imaging device for surface defect of optical components

变焦光源发出的光线的Stokes矢量表示为

$ {\boldsymbol{S}}_{\mathrm{i}\mathrm{n}}={\left[{\boldsymbol{S}}_{\text{in0}}\;{\boldsymbol{S}}_{\text{in1}}\;{\boldsymbol{S}}_{\text{in2}}\;{\boldsymbol{S}}_{\text{in3}}\right]}^{\mathrm{T}}$ (1)

线偏振片2(+45°起偏器)的Mueller矩阵表达式为

$ \boldsymbol{P}_2=\frac{1}{2}\left[\begin{array}{llll} 1 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 1 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \end{array}\right] $ (2)

照射到光学元件表面时,光线会发生折射。光的折射过程对应的Mueller矩阵的表达式[8]

$\begin{split} \boldsymbol{M}= \frac{\sin 2 \theta_i \sin 2 \theta_r}{2\left(\sin \theta_{+} \sin \theta_{-}\right)^2}\left[\begin{array}{llll} a & b & 0 & 0 \\ b & a & 0 & 0 \\ 0 & 0 & c & 0 \\ 0 & 0 & 0 & c \end{array}\right] \end{split} $ (3)

式中,令$a = {\mathrm{cos}}^{2}{\theta }_{-}+1$$b = {\mathrm{cos}}^{2}{\theta }_{-}- 1$$c = 2\mathrm{cos}\;{\theta }_{-}$$ {\theta }_{\pm }={\theta }_{\mathrm{i}}\pm {\theta }_{\mathrm{r}} $$ {\theta }_{\mathrm{i}} $为入射角,$ {\theta }_{\mathrm{r}} $为折射角。

线偏振片1(−45°检偏器)的Mueller矩阵表达式为

$ \boldsymbol{P}_1=\frac{1}{2}\left[\begin{array}{cccc} 1 & 0 & -1 & 0 \\ 0 & 0 & 0 & 0 \\ -1 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \end{array}\right] $ (4)

则最后的出射光线的Stokes矢量表示为

$ {\boldsymbol{S}}_{\mathrm{o}\mathrm{u}\mathrm{t}}={\boldsymbol{P}}_{1}\boldsymbol{M}{\boldsymbol{P}}_{2}{\boldsymbol{S}}_{\mathrm{i}\mathrm{n}} $ (5)

当光学元件表面无缺陷时,有$ {U}'=U+{\theta }_{\mathrm{i}}-{\theta }_{\mathrm{r}} ({U}' $为像方孔径角,$ U $为物方孔径角)。变焦光源出射光为平行光,$ {U}'=0 $,则有$ {{\theta }_{-}=\theta }_{\mathrm{i}}- {\theta }_{\mathrm{r}}= -U $。假设光学元件的直径为d,焦距为f,其入射光线的物方孔径角最大为$ U=\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{t}\mathrm{a}\mathrm{n}(d/2f $),此值通常不超过15°,此时$ {\mathrm{cos}}^{2}{\theta }_{-}-1 $≈ 0,所以有b = 0,a = 2 。因此,当光学元件无缺陷时对应的Mueller矩阵的表达式为

$\boldsymbol{M}_1=\left[\begin{array}{llll} 2 & 0 & 0 & 0 \\ 0 & 2 & 0 & 0 \\ 0 & 0 & 2 & 0 \\ 0 & 0 & 0 & 2 \end{array}\right]$ (6)

则最后的出射光线的Stokes矢量表示为

$ \boldsymbol{S}_{\text {out }}=\boldsymbol{P}_1 \boldsymbol{M} \boldsymbol{P}_2 \boldsymbol{S}_{\text {in }}=\left[\begin{array}{llll} 0 & 0 & 0 & 0 \end{array}\right]^{\mathrm{T}}$ (7)

因此,光学元件表面无缺陷的部位在图像中呈现出暗背景。

当光学元件表面存在缺陷,入射光线照射缺陷部分时,入射角$ {\theta }_{\mathrm{i}} $改变,折射角$ {\theta }_{\mathrm{r}} $随之改变,$ {\theta }_{-} $与光学元件的物方孔径角无关系,此时$ {\mathrm{cos}}^{2}{\theta }_{-}-1 $,即b,不能近似为0。对应的Mueller矩阵的表达式为

$\boldsymbol{M}_2=\left[\begin{array}{llll} a & b & 0 & 0 \\ b & a & 0 & 0 \\ 0 & 0 & c & 0 \\ 0 & 0 & 0 & c \end{array}\right] $ (8)

则最后的出射光线的Stokes矢量表示为

$ {\boldsymbol{S}}_{\mathrm{o}\mathrm{u}\mathrm{t}}={\boldsymbol{P}}_{1}\boldsymbol{M}{\boldsymbol{P}}_{2}{\boldsymbol{S}}_{\mathrm{i}\mathrm{n}} = (a-c)({\boldsymbol{S}}_{\mathrm{i}\mathrm{n}0}+{\boldsymbol{S}}_{\mathrm{i}\mathrm{n}2}){\left[1\quad 0\quad -1\quad 0\right]}^{\mathrm{T}} $

因此,光学元件表面有缺陷的部位在图像中呈现出亮状态。

1.2 图像采集效果

由上述装置采集到的图像如图2所示。其中2(a)为装置采集到的一幅平凸透镜原始图像;2 (b)~(e)分别为麻点缺陷、划痕缺陷、脏污缺陷、破边缺陷的局部放大图像。由图2可以看到本文方法采集到的图像噪声少,光照均匀,缺陷区域与背景部分对比度高,有利于后续的图像处理过程。

图 2 图像采集效果 Figure 2 Effects of images

为了验证该装置的检测精度,采用分辨率测试卡对该装置进行系统分辨率测试,结果如图3所示。使用1倍镜头,测试结果为128 lp/mm,可以分辨大小为3.9 μm以上的缺陷。

图 3 系统分辨率测试 Figure 3 System resolution testing
2 图像预处理及缺陷分类识别 2.1 滤波去噪

在图像采集的过程中,噪声无法避免,但有引入的强弱之别[9]。噪声表现在使图像模糊或产生随机分布的白色像素噪点或块,这会对目标区域特征提取形成干扰,影响其精度[10-12]。为改善图像质量,使图像中缺陷与背景区域有更高的辨识度从而精确提取缺陷特征,需要采用滤波对上述图像噪声进行滤除[13]。常见的滤波算法有均值滤波、中值滤波、高斯滤波[14]

3种滤波方式的效果如图4所示,通过对比,发现中值滤波可以更好地消除图像噪声。因此本系统采用中值滤波作为图像的滤波去噪方式。

图 4 3种滤波效果图 Figure 4 Three kinds of filtering effects
2.2 阈值分割

图像的阈值分割是根据图像的灰度值将图像中的目标区域与背景区域进行分离,使得分割后的目标区域与背景区域互不相交,分割后对应区域内的像素点都具有相同的一致性[15]。常见的阈值分割方法有固定阈值分割、自动阈值分割、动态阈值分割。

对于图5(a)中的划痕,3种阈值分割的效果如图5所示。从图5(b)可看出,即使阈值区间设置很小,固定阈值分割仍然达不到精确分割,会有一些无关像素点被分割进来,而且其局限性很大,故舍弃此方法。由图5(c)可知,自动阈值分割虽然也可以分割出来划痕,但其像素点数量较少,并没有分割出完整的划痕,并且所分割出的像素点之间的间隙较大,不利于后续特征提取时识别出整条划痕。而图5(d)所示的动态阈值分割基本达到了要求,比另外两种分割方法好,因此本系统采用动态阈值分割方法。

图 5 阈分割效果图 Figure 5 Threshold segmentation effects
2.3 形态学处理

形态学在数字图像处理中是用来分析数学形态学的相关理论,以表示图像中目标区域的特征信息。其原理是利用预先设计好的结构元素对图像目标区域进行特征改进,基本运算有膨胀、腐蚀、开运算、闭运算等 [13]。形态学的处理可使图像的质量得到提升,目标区域的特征表现更明确,有利于后续分析[16]

结果如图6所示,采用闭运算可对二值化图像起到连接作用。在划痕检测中,当划痕由于亮暗不均匀导致阈值分割后出现断点,难以提取完整的划痕时,通过闭运算可以明显改善划痕缺陷的特征,起到断点连接,帮助完整地检测出划痕的效果。

图 6 形态学处理 Figure 6 Morphological processing
2.4 连通区域标记

连通区域是指在数字图像矩阵中,像素灰度值相同且位置紧邻的前景像素点共同组成的区域[13]。它可以将二值化图像的前景区域进一步划分为一个个独立的子区域,并进行编号。每个子区域都有各自的图像特征。

连通区域标记效果如图7所示。二值化图像经过连通区域标记后,以不同的编号划分了不同的子区域。实际的处理效果如图7(c)和(d)所示。图7(c)中以红色显示出了二值化图像的前景目标,在图7(d)中以不同的颜色表示前景区域被划分的各个子区域。

图 7 连通区域标记 Figure 7 Markers for connected areas
2.5 各类型缺陷的特征参数选取

通过连通区域标记后,二值化图像形成了一个个独立的子区域。接下来就需要根据缺陷的类型选取相应的特征参数,将想要的子区域提取出来。常用图像的特征参数有统计特征、幅度特征、变换系数特征、几何特征等。本文研究的是光学表面缺陷的检测,不同类型的缺陷最明显的区别在于其几何特征,因此选取几何特征参数来对缺陷类型进行划分。

几何特征包括:周长L、面积A、圆形度c、长宽比q、等效圆直径d等。周长L即封闭区域边界的长度;面积A即封闭区域的大小;圆形度c表示区域与圆形的相似程度,可由区域的周长L和面积A来计算得出[17],其计算式为

$ c = \frac{{{L^2}}}{{4\text{π} A}} $ (9)

长宽比q为区域的最小外接矩形(MER)的长LMER与宽WMER的比值,其计算公式为

$ q = \frac{{{L_{{\rm{MER}}}}}}{{{W_{{\rm{MER}}}}}} $ (10)

等效圆直径d为与区域面积相等的圆形区域(等效圆)的直径,其计算公式为

$ d = \sqrt {\frac{{4A}}{\text{π} }} $ (11)

本文对于不同类型的缺陷选取的具体几何特征如下:

(1)麻点。麻点的形状通常比较接近圆形,其圆形度c通常在0.6到1之间;而其长宽比q则接近于1,通常在0.6到1.4之间;面积A通常大于100,小于5 000。

(2)划痕。划痕通常呈细长条状,其圆形度c通常在0到0.3之间;长宽比q则较大,通常在2以上;周长L通常大于300。

(3)破边。不同的破边缺陷形状差异较大,只根据几何特征来筛选破边缺陷很难达到理想的效果,但破边往往发生在光学元件表面边缘的位置。因此本文采取的解决方案为,先将边缘区域(区域边界向里延伸300像素距离的环状区域)分割出来,再针对边缘区域进行缺陷检测。通过大量的实验发现,选取面积A在300到3 000,等效圆直径d在200到2 500之间。

(4)脏污。脏污在图像中通常表现出比背景灰度还低的暗色,因此可以通过阈值分割将其单独分割出来,并且其面积A通常较小,圆形度c较大。本文选取面积A在30到500的范围,圆形度c在0.7到1之间。

各类型缺陷的检测效果如图8所示。其中,麻点、划痕、破边、脏污分别使用不同颜色的方框标记其位置。

图 8 各类型缺陷检测效果 Figure 8 Detection effect of different defects
3 实验结果分析

为验证本文方法对各类型缺陷检测的准确率,选取50个平凸柱面光学元件和50个平凸球面光学元件作为缺陷样本。检测后得到的各类型缺陷检测准确率如表1所示。由表1可知,除破边缺陷检测准确率较低以外,其他类型的缺陷检测准确率均高于95%,缺陷的总检出率为95.90%。分析认为造成破边缺陷检测率较低的主要原因有:破边缺陷经正交检偏后采集到的图像对比度没有其他缺陷高;不同破边缺陷形状差异大,其几何特征参数选取的难度更大,有个别特殊形状的破边缺陷会被漏检。

表 1 各类型缺陷检测准确率 Table 1 Accuracy of defect detection for each type

为了验证本文方法的缺陷尺寸测量精度,分别选取5个各类型的缺陷样本进行测量(划痕、破边测量宽度,麻点、脏污测量直径)。测量结果及耗时情况见表2。由表2可知,本文方法测量精度可达到微米量级,检测耗时均低于50 ms。

表 2 缺陷尺寸测量结果及耗时 Table 2 Defect size measurement and time consume
4 结 论

基于光的偏振特性,搭建了曲面光学元件微缺陷的偏振检测装置。通过线偏振片对光学元件的透射光进行偏振态检测,使得光学元件缺陷呈亮成像,无缺陷部位呈暗背景。采集到缺陷对比度高的图像后,采用中值滤波和动态阈值分割,再结合闭运算来进行图像预处理,而后根据缺陷的类型和特征设置不同的几何特征参数,以达到缺陷检测分类的效果。最后选取了100个样本进行检测,得出各类型缺陷的检测准确率和缺陷总检出率。再分别选取4种类型的缺陷样本各5个,精确测量了其尺寸并记录耗时,结果显示检测时间均低于50 ms。基于光偏振的光学元件缺陷检测及其图像处理技术与传统算法相比具有检测准确率高,检测速度快等优点,有望大幅提高光学元件的检测效率。

参考文献
[1] 楚红雨. 基于机器视觉的高功率激光装置光学镜片表面缺陷检测技术研究[D]. 重庆: 重庆大学, 2011.
[2] 中华人民共和国国家质量监督检验检疫总局, 中国国家标准化管理委员会. GB/T 1185—2006 光学零件表面疵病[S]. 北京: 中国标准出版社, 2007.
[3] 向戈川, 林有希, 任志英. 光学元件表面缺陷检测方法研究现状[J]. 光学仪器, 2018, 40(1): 78–87.
[4] 亓宁宁, 常敏, 刘雨翰. 基于机器视觉的玻璃缺陷检测[J]. 光学仪器, 2020, 42(1): 25–31.
[5] 朱宇栋, 陈於学. 光学镜片外观瑕疵视觉检测方法[J]. 应用光学, 2020, 41(3): 553–558.
[6] 杜培玉, 金永. 基于机器视觉的双凸透镜缺陷检测研究[J]. 国外电子测量技术, 2022, 41(8): 91–96.
[7] 胡泽波, 郭忠达, 李宏, 等. 球面光学元件表面疵病视觉检测方法研究[J]. 光学与光电技术, 2023, 21(1): 21–27.
[8] GOLDSTEIN D H. Polarized light[M]. 3rd ed. Boca Raton: CRC Press, 2011: 808.
[9] 刘鹏. 光学元件表面微缺陷可视化检测技术研究[D]. 西安: 西安工业大学, 2012.
[10] 张娜娜, 张媛媛, 丁维奇. 经典图像去噪方法研究综述[J]. 化工自动化及仪表, 2021, 48(5): 409–412,423.
[11] JULIET RANI V, THANAMMAL K K. STFTSM: noise reduction using soft threshold-based fuzzy trimmed switch median filter[J]. Soft Computing, 2022, 26(3): 947–960. DOI:10.1007/s00500-021-06599-z
[12] 刘宇涵, 闫河, 陈早早, 等. 强噪声下自适应Canny算子边缘检测[J]. 光学精密工程, 2022, 30(3): 350–362.
[13] 王硕. 基于图像处理的PC构件表观缺陷检测研究[D]. 聊城: 聊城大学, 2022.
[14] 孔树荫. 基于机器视觉的PCBA缺陷检测系统研究与设计[D]. 广州: 广东工业大学, 2022.
[15] 刘鹏. 基于图像处理的混凝土预制构件裂缝检测系统研究[D]. 西安: 西安建筑科技大学, 2017.
[16] 王睿, 漆泰岳, 雷波, 等. 隧道衬砌裂缝特征提取方法研究[J]. 岩石力学与工程学报, 2015, 34(6): 1211–1217.
[17] 向弋川. 基于机器视觉的光学镜片表面缺陷检测系统研究[D]. 福州: 福州大学, 2018.