光学仪器  2016, Vol. 38 Issue (5): 388-392   PDF    
金相显微镜上实现三维微观形貌恢复
宋琨鹏, 于瀛洁, 牟柯冰     
上海大学 机电工程与自动化学院, 上海 200072
摘要: 金相显微镜是一种经典的测量分析仪器,已经实现了金相显微镜图像的数字化采集,并恢复了三维微观形貌。首先,对金相显微镜的载物台加装电机,利用电机带动载物台进行精密移动,在载物台移动过程中,对被测物体等步距拍摄序列图像。然后,根据聚焦形貌恢复的原理,采用修正的拉普拉斯算子进行聚焦程度判断,利用高斯插值方法获取聚焦程度最大值以及此时被测表面的高度信息,恢复三维形貌。最后,利用金相显微镜对粗糙度样块进行测量,获得了相符的测量结果。该方法对于扩展金相显微镜的测量范围具有积极意义。
关键词: 金相显微镜     聚焦形貌恢复     三维微观形貌恢复    
Recovery of three-dimensional microscopic morphology by metalloscope
SONG Kunpeng, YU Yingjie, MOU Kebing     
School of Mechatronic Engineering and Automation, Shanghai University, Shanghai 200072, China
Abstract: Metalloscope is a classical measurement instrument.The images of the object are collected digitally and the 3D microscopic morphology is acquired.Firstly,a motor is added to the object stage to drive it with high precision.The sequence images of the test sample are captured by the moving stage at a constant interval.Then based on the principle of shape from focus,the modified Laplacian operator is used to judge the quality of the focused images.The maximum focus degree and the corresponding height information are calculated by the Gaussian interpolation algorithm and the three-dimensional profile is obtained.At last,the surface roughness specimens are measured and the results are consistent with the standard values.The method is of great significance for extendmg the application of metalloscopes.
Key words: metalloscope     shape from focus     recovery of three-dimensional microscopic morphology    
引言

金相显微镜是一种应用广泛的光学仪器,可以及早发现材料加工生产中的问题,改善热处理操作,防止产生废品,提高产品质量。该设备已成为钢铁冶炼、材料加工等行业重要的测量分析仪器,也广泛应用在高校的实验研究教学中。数字化是提升测量能力、满足现代生产要求的有效手段。因此国内外许多研究人员已经对普通的金相显微镜进行了数字化[1-2],用CCD采集图像,然后进行图像分析与处理。目前商品化的金相显微镜多以二维测量分析为主,但实际应用中对同时获得三维信息也有很多需求。金相显微镜本身的结构具有三维运动功能,为实现三维测量提供了必要条件。

在载物台可以精密移动的基础上,基于一些新的图像处理技术还可以实现微观形貌的恢复。本文采用单目视觉方法,对光学系统成像部分不做改动,成本较低,而且容易实现[3]。在单目视觉方法中,采用聚焦形貌恢复方法对被测物体进行恢复,原理简单,鲁棒性较好。本文简要介绍了聚焦形貌恢复技术,并通过实验对金相显微镜进行改造,实现了粗糙度样块三维表面形貌的恢复,测量了表面粗糙度,与标准值比对后可得实验结果正确可靠。实验系统扩大了金相显微镜的使用范围。

1 聚焦形貌恢复技术 1.1 基本原理

聚焦形貌恢复技术最早在20世纪90年代初由Nayar等[4]提出。初始阶段计算量大、硬件性能不足的缺点限制了它的应用。但随着计算机技术的发展,聚焦形貌恢复技术已经得到了实践的验证[5-9],具有较高的实用价值。

对一个光学系统,根据高斯定理,物距u、焦距f、像距v之间的关系为

(1)

当焦距和像距固定时,被测物体成像最清晰的物距也是固定且唯一的。

图 1中用椭圆表示成像系统,实线表示被测表面。当成像系统位于d0位置时,物距u的对准平面在n0处。在景深ΔL范围内,被测表面能成较为清晰的像,但只有对准平面与被测表面的交点所成的像没有误差。等步距Δd移动成像系统至d1,d2,…,d6处,对准平面也分别移动到n1,n2,…,n6处;n1对准平面与被测表面的交点为P1,P1所成的7幅图像中,在d1位置所成的像最为清晰,因此P1点的相对高度信息为Δd。同理,P2,P3,P4,P5点的相对高度信息为2Δd,3Δd ,4Δd,5Δd。经过插值获得被测表面所有点的相对高度信息之后,即可恢复被测表面的三维形貌。

图 1 聚焦形貌恢复原理图 Figure 1 Principle of shape from focus
1.2 聚焦测度算子/聚焦评价函数

聚焦测度算子或者聚焦评价函数用来判断物体上成像点的聚焦程度,即清晰程度。判断图像的清晰程度是聚焦形貌恢复方法的重要一步,只有获得图像的聚焦位置或者最清晰的图像,才能够得到物体上各点的相对深度,获得物体的三维形貌。

自从Nayar等提出聚焦形貌恢复思想以来,聚焦形貌恢复技术的研究方法没有发生太大变化,各国的学者主要针对Nayar算法加以改进,尤其在评价函数的选择等方面进行了深入的研究[10-11]

文献[11]分析了聚焦测度算子,得出的结论是综合情况下基于小波变换和拉普拉斯算子的性能相对较好。如果考虑计算时间,频域中的算子比空域和统计特征的计算量大得多,对硬件性能的要求更高。因此本文采用修正的拉普拉斯算子进行聚焦程度的判断。

一般采用3×3或5×5的算子来进行离散的拉普拉斯计算,并且用一个可变的步长s进行计算来适应图像的纹理变化,即

(2)

式中:LM(x,y)为点(x,y)处修正的拉普拉斯算子值;I(x,y)是图像上(x,y)点的灰度值。

最终在(i,j)点的聚焦测度值为在(i,j)邻域

(3)

式中:N(x,y)邻域内参与计算的窗口尺寸;T是一个阈值。大于T的拉普拉斯计算值才参与计算,其中N决定了计算时的窗口大小。

1.3 插值运算

获得序列图像各点的聚焦测度值之后,计算物体上各点的深度(高度)值,最简单的方法是直接利用获得的聚焦测度最大值图片作为该点的聚焦位置。结合该幅图片所在的序列号及两帧图片间的间距便可得到该点的高度值。

但是由于最大值法得到的高度是离散的,分辨率受到所拍图像层数的限制,在所拍图像数较少时分辨率很低。很多学者提出了高斯插值拟合、多项式插值拟合等各种拟合法来提高测量分辨率[4-7]。其中最常用的是高斯插值拟合。其原理是将模糊图像看作一个高斯低通函数和一幅清晰图像的卷积。如图 2所示,相邻的三幅图像聚焦测度值分别为Fm,Fm-1,Fm+1,物体上该点的聚焦位置不在这三幅图片上。根据高斯函数模型,拟合出高斯函数可计算得到最大的聚焦测度值,相应地也得到了此时物体上该点的高度值。

图 2 聚焦位置拟合示意图 Figure 2 Fitting schematic of focus position

利用上述三个点的坐标拟合出高斯函数,得到聚焦测度最大值Fp和对应的高度值d

(4)
(5)
(6)
2 实验 2.1 实验装置和实验过程

可以通过以下三个方法获取序列图像:图像采集系统移动、被测物体移动或镜头变焦。最后一个方法的缺点是景深发生变化,对光学装置要求高,因此通常采用移动被测物体或者移动光学镜头的方法来获取序列图像。如图 3所示,在手动控制金相显微镜载物台的基础上,添加步进电机,利用步进电机带动载物台上下移动,CCD捕获移动过程中被测物体的图像。测试样品为粗糙度Ra=0.8 μm的车削样板,采用20倍物镜,步进距离为1 μm(两幅图像的距离),采集10幅序列图像,图 4所示为其中的4幅图像。在移动过程中,首先是被测样品全部离焦,如图 4(a)所示图像模糊,随着测量臂向上移动,样品底部先聚焦,如图 4(b)所示样品底部图像清晰,顶部模糊,接着样品顶部聚焦,如图 4(c)所示顶部图像清晰,底部模糊,最后全部离焦,如图 4(d)所示。

图 3 数字化的金相显微镜 Figure 3 The digital metalloscope

图 4 测试样品序列图像 Figure 4 Sequence images of the test sample
2.2 实验结果

根据式(2)、(3)计算得到每个像素点的聚焦测度值,利用高斯插值,根据式(5)获取对应点的高度值,恢复的三维形貌如图 5所示,消除倾斜之后如图 6所示。垂直于车削痕迹方向获取多个横截面,测量结果Ra=0.11 μm。

图 5 测试样品的三维形貌 Figure 5 3D shape of test sample

图 6 消除倾斜后样品的三维形貌 Figure 6 3D shape of test sample after removing tilt
3 结 论

传统的金相显微镜在工业生产中应用广泛,但只适用于二维测量分析。本文基于聚焦形貌恢复技术在金相显微镜上实现了三维微观形貌测量,计算了被测物体的表面粗糙度值,扩展了金相显微镜的测量功能。

聚焦形貌恢复技术的精度主要取决于光学系统的参数和序列图像的轴向采样间隔。电机的步进距离必须小于光学系统的景深,否则会丢失步进距离与景深差值之间的高度信息,影响三维形貌的恢复。光学系统景深越小,电机驱动器的步进距离越小,最后的测量精度越高。但景深越小,显微镜的放大倍数越大,测量视野变得越小。同时步进距离越小,对精密机械装置的要求也就越高。因此要对被测物体的大小和精度要求进行合理的选择。后续工作中将对系统的测量精度开展研究分析。

参考文献
[1] 张照军, 张思遥. 金相显微镜数字图像采集系统的改造[J]. 金属热处理 , 2012, 37 (12) :134–135.
[2] 施杰.金相显微镜设计价值分析与高性价比实现研究[D].桂林:桂林电子科技大学,2008.
[3] 佟帅, 徐晓刚, 易成涛, 等. 基于视觉的三维重建技术综述[J]. 计算机应用研究 , 2011, 28 (7) :2411–2417.
[4] NAYAR S K, NAKAGAWA Y. Shape from focus[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 1994, 16 (8) :824–831. DOI:10.1109/34.308479
[5] DURAKBASA M N, OSANNA P H, DEMIRCIOGLU P. The factors affecting surface roughness measurements of the machined flat and spherical surface structures-the geometry and the precision of the surface[J]. Measurement , 2011, 44 (10) :1986–1999. DOI:10.1016/j.measurement.2011.08.020
[6] MALIK A S, CHOI T S. Comparison of polymers:a new application of shape from focus[J]. IEEE Transactions on Systems,Man,and Cybernetics,Part C(Applications and Reviews) , 2009, 39 (2) :246–250. DOI:10.1109/TSMCC.2008.2001714
[7] MAHMOOD M T, SHIM S O, ALSHOMRANI S, et al. Depth from image focus methods for micro-manufacturing[J]. The International Journal of Advanced Manufacturing Technology , 2013, 67 (5/8) :1701–1709.
[8] BILLIOT B, COINTAULT F, JOURNAUX L, et al. 3D image acquisition system based on shape from focus technique[J]. Sensors , 2013, 13 (4) :5040–5053. DOI:10.3390/s130405040
[9] 钱燕, 尹文庆, 林相泽, 等. 基于序列图像三维重建的稻种品种识别[J]. 农业工程学报 , 2014, 30 (7) :190–196.
[10] 吴振锋, 左洪福, 邱根良. 光学显微镜自动聚焦的技术研究[J]. 光学仪器 , 2000, 22 (4) :9–12.
[11] PERTUZ S, PUIG D, GARCIA M A. Analysis of focus measure operators for shape-from-focus[J]. Pattern Recognition , 2013, 46 (5) :1415–1432. DOI:10.1016/j.patcog.2012.11.011