2. 福建省先进微纳光子技术与器件重点实验室,福建 泉州 362000;
3. 福建省超精密光学工程技术与应用协同创新中心,福建 泉州 362000
2. Fujian Provincial Key Laboratory for Advanced Micro-nano Photonics Technology and Devices, Quanzhou 362000, China;
3. Fujian Provincial Collaborative Innovation Center for Ultra-Precision Optical Engineering and applications, Quanzhou 362000, China
在机器视觉自动光学检测技术的各种工业应用中[1-7],通常一个检测工位使用一组远心成像镜头与相机检测物体的一个面。一方面,当待测物体(如液晶显示面板)尺寸较大时,需要两个或多个远心成像镜头与相机组成阵列来实现物体全视场的同时检测[8-9]。另一方面,有的工业检测应用需要从多个角度同时检测一个物体的两个面(或多个面),例如在一个工位上需要同时检测半导体制冷器件(thermoelectric cooler,TEC)晶粒两个面[10]。晶粒双面同时检测可以提高检测速度并可充分利用远心成像镜头与CMOS相机的有效成像视场。
目前国内外大多数半导体制冷器件厂家使用人工来完成半导体制冷晶粒的缺陷检测。在已有双面同时检测技术中[10],由于晶粒相邻两面同时成像存在光程差,即使采用了很大景深的远心成像镜头,也难以解决尺寸较大晶粒相邻两面同时清晰成像的问题。针对相邻面成像检测存在的问题,本文提出一种半导体制冷晶粒相邻面同时准等光程(或准共焦)成像检测的光学装置。
1 检测原理 1.1 检测装置构造图1为半导体制冷器件晶粒天面与侧面缺陷同时成像检测的光学装置。该装置由CMOS相机1,远心成像镜头2,半透半反射的立方分束器3,玻璃载物转盘4和半导体致冷器件晶粒5,直角转像棱镜6a和6b以及同轴外置照明光源7构成。2个直角转像棱镜分别位于天面与侧面的成像光路中。晶粒的照明光源位于立方分束器2的右侧。在照明光路中用作分束的立方分束器在成像光路中的作用为立方合像器。晶粒的天面经直角转像棱镜与立方合像器的90°反射后进入远心成像镜头2,晶粒的侧面经直角转像棱镜与立方合像器的透射后也进入远心成像镜头2,且天面与侧面经光学系统所形成的像分别位于CMOS相机1的传感器中心的两侧。虽然图1采用同轴外置照明光源,但是根据具体应用要求,也可以采用其他非同轴外置的照明方案。
|
注:1-CMOS相机;2-远心成像镜头;3-立方分束器;4-玻璃载物转盘;5-半导体晶粒;6a-直角转向棱镜;6b直角转向棱镜;7-同轴外置照明光源 图 1 晶粒天面与侧面同时成像缺陷检测的光学装置 Figure 1 Optical apparatus for simultaneously inspecting top and side surfaces defects of TEC components. |
晶粒的天面与侧面经过各自的转像和成像光路后抵达立方合像器,在立方合像器输出端且沿垂直于光轴方向上天面与侧面成像光路产生一定的间隔δ,以便经过远心成像镜头与CMOS相机后得到天面与侧面分开且清晰的像。当立方分束器与侧面直角转像棱镜的位置固定时,晶粒相邻面像之间的间隔可通过改变天面直角转像棱镜的水平(或垂直)位置来调节。为了后续图像处理,晶粒相邻双面像之间的间隔需要适当,天面与侧面相邻面物方中间像中心之间的间距为δ=a+d,其中a为晶粒横截面边长,d为晶粒天面与侧面像边缘之间的间隔。
1.2 准共焦成像原理在沿光轴方向上,晶粒的天面与侧面成像光路也存在物方光程差Δ=δ。晶粒的天面与侧面两个相邻面经过双光路成像转换成一个在空间上相距δ,但存在物方光程差Δ且具有Δ=δ特性的中间像,然后经过远心成像镜头在CMOS相机传感器上形成相邻双面的像。
晶粒相邻面成像光路的光程差Δ主要取决于系统的设计参数:立方棱镜上获得的相邻面中间像之间的距离δ=a+d。当晶粒尺寸a增大时,δ也随之增大。成像检测装置设计时一般选取d=0.1~0.3 mm。当晶粒尺寸a与相邻面双像边缘间隔d较小时(通常a=0.5~2.0 mm),相邻双面成像的光程差Δ=δ也较小,因此可以认为相邻面成像检测装置满足准等光程(或准共焦)成像条件。当光程差Δ=δ=0时,晶粒相邻面成像光路满足等光程或共焦条件。
为了在相机传感器上获得晶粒相邻双面同时清晰的成像,可以通过选择足够大景深(depth of focus,DOF)的远心成像镜头來补偿成像光路的这一光程差Δ。本文提出的光学检测装置采用了晶粒相邻面的检测光路在合像器位置上的准等光程或准共焦成像原理。本检测装置在光学结构布局上与传统的双光束等臂干涉仪(迈克尔逊干涉仪)类似。
2 检测的实验验证 2.1 实验装置设计基于前面提出的相邻面准等光程共焦成像检测原理,设计并搭建了晶粒相邻面同时成像检测的光学装置。图2为晶粒相邻面成像装置前置棱镜转像子系统的光路。该转像子系统可以实现晶粒相邻面缺陷的同时成像检测。待测晶粒外形为长方体,典型尺寸为2.10 mm×1.32 mm×1.32 mm。根据上述要求设计和加工了直角转像棱镜15 mm×15 mm×15 mm与立方分束器15 mm×15 mm×15 mm。本实验采用海康威视的CMOS相机CA050-10GM为成像传感器,该相机CMOS靶面大小为2/3′,像元大小为3.45 μm,分辨率为2448×2048。为比较,先使用德鸿视觉1.5倍的远心镜头WTL110-1520进行初步的准等光程或准共焦成像的实验验证。
|
图 2 前置棱镜转像子系统光路 Figure 2 Illustration of light path in the prism relay sub-system. |
利用上述检测装置得到的晶粒相邻面成像检测结果如图3所示。从图3可见,可以分别获得晶粒天面调焦时的成像(图3(a)),晶粒侧面调焦时的成像(图3(b)),以及晶粒天面与侧面同时基本调焦时的“准”共焦成像(图3(c))。注意到晶粒天面与侧面的调焦成像清晰度基本相同时,相邻两个面的“准”共焦成像清晰度欠佳,不如仅天面(或仅侧面)调焦时的成像清晰度好,“准”共焦成像清晰度仍然存在一定的提升空间。这是因为所用的德鸿视觉1.5倍的远心镜头WTL110-1520调焦时的最佳分辨率接近100 lp/mm,但景深较小,即分辨率达到70 lp/mm,景深仅为±0.25 mm,无法满足晶粒相邻面共焦成像的最小景深要求DOF≥Δ=δ=1.32 mm(当d=0时)。为了获得相邻双面在相机传感器面上同时成像清晰,远心成像镜头的景深需要满足的条件为:DOF≥Δ。远心成像镜头的物方线视场(field of view,FOV)需要满足的条件为:FOV≥2a+d=δ+a。
|
图 3 对晶粒不同面调焦 Figure 3 Focusing adjustment for two adjacent surfaces of TEC components |
为了获得晶粒相邻面准共焦成像检测,现选择一款较大景深但较低倍的远心成像镜头WTL110-03F50(德鸿视觉)。相邻双面检测成像结果如图4所示。经测试评估得知,在±1.0 mm的物方景深范围内,远心成像镜头WTL110-03F50的成像分辨率都达到120 lp/mm以上,完全可以满足相邻面准共焦成像的景深要求DOF≥Δ=δ=1.42~1.62 mm。从图4可见,天面和侧面同时调焦情况下的成像十分清晰。实验结果表明,通过选择景深足够大的远心成像镜头,采用本检测装置可以得到满足图像处理算法要求的晶粒相邻双面同时成像检测的性能要求。
|
图 4 晶粒天面与侧面基本同时调焦时的准共焦成像的缺陷检测 Figure 4 Defects inspection of top and side surfaces of TEC components with both surface are well focused |
通过调整天面直角转像棱镜的水平(或垂直)位置,可得到晶粒双面成像重叠约2/3时的成像结果,如图5(a)所示。图5(b)所示为晶粒双面成像重叠完全重叠时的结果。当晶粒双面成像重叠区增加时,双面成像的清晰度也随之增加,当天面与侧面像完全重合时,双面成像满足完全等光程共焦成像条件。这时晶粒天面(或侧面)分别独立成像时的结果(遮挡晶粒之一面时另一面的成像)应该和天面(或侧面)分别对焦成像时得到的结果一致。注意到晶粒侧面像的右侧有一个模糊的镜像,这是由于晶粒侧面经玻璃载物台的表面反射所形成的镜面倒影像,可以根据需要通过适当的方式加以消除。
|
图 5 晶粒天面与侧面像2/3重叠及完全重叠成像结果 Figure 5 Imaging of two adjacent surfaces of TEC components with 2/3-area overlapping and whole overlapping. |
本文设计了半导体制冷器件晶粒相邻面同时准共焦(或准等光程)成像检测的光学装置。完成了晶粒相邻面同时成像检测的实验验证。结果表明,当选择足够景深的远心成像镜头时,该检测装置可以满足晶粒相邻面同时共焦成像检测的功能。本装置的特点是:当立方分束器与侧面直角转像棱镜的位置固定时,晶粒相邻双面像之间的间隔可通过改变天面直角转像棱镜的水平(或垂直)位置来调节,以获得晶粒双面分开不同间隔的成像结果。当晶粒天面与侧面像完全重合时,晶粒相邻双面成像满足等光程共焦成像条件。为获得晶粒相邻双面同时清晰成像,需要设计晶粒相邻双面成像满足等光程共焦成像条件的检测装置。如何实现半导体晶粒相邻面同时等光程共焦成像检测将有待后续进一步探讨。综上所述,本文提出的检测装置基本满足晶粒相邻双面检测的性能要求,具有提高检测速度、简化结构且降低成本等优点,可望在晶粒缺陷智能检测系统中获得应用。
| [1] | 卢荣胜, 吴昂, 张腾达, 等. 自动光学(视觉)检测技术及其在缺陷检测中的应用综述[J]. 光学学报, 2018, 38(8): 0815002. |
| [2] | 汤勃, 孔建益, 伍世虔. 机器视觉表面缺陷检测综述[J]. 中国图象图形学报, 2017, 22(12): 1640–1663. DOI:10.11834/jig.160623 |
| [3] | MAR N S S, YARLAGADDA P K D V, FOOKES C. Design and development of automatic visual inspection system for PCB manufacturing[J]. Robotics and Computer-Integrated Manufacturing, 2011, 27(5): 949–962. DOI:10.1016/j.rcim.2011.03.007 |
| [4] | NEOGI N, MOHANTA D K, DUTTA P K. Review of vision-based steel surface inspection systems[J]. EURASIP Journal on Image and Video Processing, 2014, 2014(1): 50. DOI:10.1186/1687-5281-2014-50 |
| [5] | YANG S W, LIN C S, LIN S K, et al. Automatic defect recognition of TFT array process using gray level co-occurrence matrix[J]. Optik, 2014, 125(11): 2671–2676. DOI:10.1016/j.ijleo.2013.11.070 |
| [6] | LIU Y, YU F H. Automatic inspection system of surface defects on optical IR-CUT filter based on machine vision[J]. Optics and Lasers in Engineering, 2014, 55: 243–257. DOI:10.1016/j.optlaseng.2013.11.013 |
| [7] | 毛翠丽, 卢荣胜, 董敬涛, 等. 相移条纹投影三维形貌测量技术综述[J]. 计量学报, 2018, 39(5): 628–640. DOI:10.3969/j.issn.1000-1158.2018.05.07 |
| [8] | 史艳琼, 卢荣胜, 张腾达. 液晶显示屏背光源模组表面缺陷自动光学检测系统设计[J]. 传感技术学报, 2015, 28(5): 768–773. DOI:10.3969/j.issn.1004-1699.2015.05.026 |
| [9] | 胡海兵, 徐挺, 张波, 等. OpenMP与环形缓冲技术在TFT-LCD缺陷检测中的应用[J]. 计算机科学, 2019, 46(11A): 562–566. |
| [10] | SU L L, WU P H, GUO Z W, et al. An optical apparatus for machine vision inspecting both top and bottom surfaces of the TEC components[C]//Proceedings of SPIE 11338, AOPC 2019: Optical Sensing and Imaging Technology. Beijing, China: SPIE, 2019. |
2021, Vol. 43
Issue (5): 90-94
