光学仪器  2019, Vol. 41 Issue (5): 85-90   PDF    
结合线结构光立体视觉和条纹反射法的三维轮廓检测系统
宾博逸, 万新军, 解树平, 吕宋, 宋可     
上海理工大学 光电信息与计算机工程学院,上海 200093
摘要: 三维轮廓检测能力决定了光学自由曲面开发的进度和应用的范围。基于条纹反射法检测原理提出了一种结合线结构光立体视觉和条纹反射法的三维轮廓检测系统。该系统主要用于光学自由曲面轮廓的检测,以立体视觉测量得到的光学自由曲面轮廓数据作为初值,结合相位测量偏折法测量数据的迭代,得到精度更高的光学自由曲面轮廓测量结果。实验结果表明,该系统可测量直径为300 mm、倾斜角范围为± 20°的自由曲面光学元件,系统的复合测量能力强,光学自由曲面的测量不确定度小于± 1 μm。
关键词: 条纹反射法    立体视觉    自由曲面    
3D shape measurement system based on line structure light stereo vision and fringe reflection
BIN Boyi, WAN Xinjun, XIE Shuping, LÜ Song, SONG Ke     
School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China
Abstract: With the increasing commercial application of free-form surfaces, the profile measurement capability of related molds and optical components has become a key bottleneck in the development and application of free-form optics, and the demand for free-form optics inspection tools is also increasing. In this paper, we developed an integrated free-form optics profile measurement system based on the fringe reflection principle, and the system is also combined with a laser stripe stereo vision measurement capability. The developed system is capable of measuring both rough surfaces and smooth optical surfaces. The measurement experiments prove that the current developed system can measure free-form optics with a diagonal size of approximately 300 mm, and the measurement uncertainty within ±1 μm.
Key words: fringe reflection    stereo vision    free-form optics    
引 言

近年来,随着成像光学系统的不断小型化和轻型化,光学自由曲面设计开始引起广泛的关注,其中较为典型的设计有增强现实(AR)眼镜,离轴望远镜,超短焦投影镜和平视显示器等。由于开发了单点金刚石车床和磨床,使光学自由曲面系统的制造技术取得了很大的进步。在拥有精密模塑设备的基础上,虽然光学自由曲面器件可以实现批量化生产,然而对于光学自由曲面元件相关模具和面形的三维轮廓测量能力依然还存在很大的不足。传统的轮廓测量工具,如激光干涉面型测量仪器,能借助计算机生成的全息图(CGH)有效地测量球面和非球面,而基于CGH的干涉测量和基于光学探针扫描的分析系统,例如UA3P,可有效地测量自由曲面,但是这些仪器的高成本和操作的复杂性使得它们难以在工业生产中被广泛应用。因此,非常需要一种用于光学自由曲面轮廓测量的系统。

线结构激光三维测量方法是一种目前较为成熟的测量方法,它具有检测速度快、成本低以及操作灵活方便等特点,是一种非接触式测量[1-3]。线结构激光三维测量是通过2个相机拍摄得到被测件的线激光图像,然后通过立体视觉获得待测件被扫描部位的空间位置。测量时,相机捕捉的是投射在待测件上的光条图案,所以该测量方法适合于漫反射表面样品,对于散射程度很低的光滑表面,由于相机很难捕捉到数据量足够多的光条图像,对图像的重构精度会有很大的影响。

条纹反射测量方法是一种非常有潜力的非接触式光学表面三维测量方法,适用于自由曲面镜[3-8]。条纹反射测量方法是在平面屏幕上显示已经编码的图案,然后使用相机捕获经过待测自由曲面反射的图案。基于相位测量偏折法(PMD)的条纹反射法是根据相位测量结果和校准后的镜面反射几何关系来计算自由曲面的面型信息,测量分辨率可达到纳米级,同时享有较大的测量动态范围。因PMD不需要精确扫描表面或干涉条纹,使其设置非常简单且易于应用。基于PMD的测量装置已经成功用于渐进焦点镜片面型测量、自由曲面光学模具[3]、大型非球面反射镜[8]和一些类镜面[9-10]的轮廓测量。然而,由于PMD非常容易出现系统校准误差,因此大多数PMD仍处于台式系统或现场原型阶段,成熟且集成的PMD测量系统在市场上仍然罕见。

本文设计了一套结合线结构光立体视觉和条纹反射法的三维轮廓检测系统。该系统同时能够满足漫反射表面和光学自由曲面的三维测量需要。

1 基本原理 1.1 线结构光双目立体视觉数学模型

图1为线结构光立体视觉测量原理图。线激光器(LD)向待测件表面(SUT)投射一个线激光条纹,通过左右摄像机拍摄线激光条纹图像,其中P点为线激光光条上的一个待测物点。

图 1 立体空间下线结构光双目成像的原理 Figure 1 Principle of laser line binocular imaging in the stereo space

设左摄像机坐标系OLxLyLzL与世界坐标系O−xyz重合,且没有发生旋转,图像坐标系为OLxLyL;右摄像机坐标系为ORxRyRzR,图像坐标系为ORxRyR。根据摄像机的成像原理得到如下关系式:

$\left\{ \begin{split}&{s_{\rm L}}\left[ {\begin{array}{*{20}{c}} {{X_{\rm L}}}\\ {{Y_{\rm L}}}\\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{f_{\rm L}}}&0&0\\ 0&{{f_{\rm L}}}&0\\ 0&0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{x_{\rm R}}}\\ {{y_{\rm R}}}\\ {{z_{\rm R}}} \end{array}} \right] \\ &{s_{\rm R}}\left[ {\begin{array}{*{20}{c}} {{X_{\rm R}}}\\ {{Y_{\rm R}}}\\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{f_{\rm R}}}&0&0\\ 0&{{f_{\rm R}}}&0\\ 0&0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{x_{\rm L}}}\\ {{y_{\rm L}}}\\ {{z_{\rm L}}} \end{array}} \right] \end{split} \right.$ (1)

式中:sLsR为缩放系数;fR为右相机的焦距;fL为左相机的焦距;大写XY表示图像坐标系中的值,小写xy表示摄像机坐标系中的值。OLxLyLzL坐标系与ORxRyRzR坐标系之间的位置关系可通过空间转换矩阵M转换,表示为

$ \left[ \begin{array}{c}{x_{\rm R}} \\ {y_{\rm R}} \\ {z_{\rm R}}\end{array}\right]={ M} \left[ \begin{array}{c}{x_{\rm L}} \\ {y_{\rm L}} \\ {z_{\rm L}} \\ {1}\end{array}\right] \\ $ (2)

式中: ${ M}=[{ R} | { T}]=\left[ \begin{array}{cccc}{r_{1}} & {r_{2}} & {r_{3}} & {t_{1}} \\ {r_{4}} & {r_{5}} & {r_{6}} & {t_{2}} \\ {r_{7}} & {r_{8}} & {r_{9}} & {t_{3}}\end{array}\right] ,$ 其中:R为旋转矩阵,r1r9为旋转矩阵的参数;T为平移向量,t1t3为平移向量的参数。

同理,对于Oxyz坐标系中的空间点,2个摄像机之间的对应点关系可以表示为:

$ k\left[ \!{\begin{array}{*{20}{c}} {{X_R}}\\ {{Y_R}}\\ 1 \end{array}}\! \right] = \left[ \!{\begin{array}{*{20}{c}} {{f_R}{r_1}}&{{f_R}{r_2}}&{{f_R}{r_3}}&{{f_R}{t_1}}\\ {{f_R}{r_4}}&{{f_R}{r_5}}&{{f_R}{r_6}}&{{f_R}{t_2}}\\ {{r_7}}&{{r_8}}&{{r_9}}&{{t_3}} \end{array}}\! \right]\left[\!\! {\begin{array}{*{20}{c}} {z\dfrac{{{X_L}}}{{{f_L}}}}\\ {z\dfrac{{{Y_L}}}{{{f_L}}}}\\ z\\ 1 \end{array}}\!\! \right]$ (3)

式中k为缩放系数。

于是,空间点三维坐标可以表示为

$ \left\{\!\!\begin{array}{l}{x\!=\!z \dfrac{X_{\rm L}}{f_{\rm L}}} \\ {y\!=\!z \dfrac{Y_{\rm L}}{f_{\rm L}}} \\ {z\!=\!\dfrac{f_{\rm L}\left(f_{\rm L} t_{1}-X_{\rm L} t_{3}\right)}{X_{\rm R}\left(r_{7} X_{\rm L}\!+\!r_{8} Y_{\rm L}\!+\!r_{9} f_{\rm L}\right)\!-\!f_{\rm R}\left(r_{1} X_{\rm L}\!+\!r_{2} Y_{\rm L}+r_{3} f_{\rm L}\right)}}\!\!\!\!\!\!\!\!\!\!\!\!\! \\ \;\;\;{\!=\!\dfrac{f_{\rm L}\left(f_{\rm L} t_{2}-X_{\rm L} t_{3}\right)}{X_{\rm R}\left(r_{7} X_{\rm L}\!+\!r_{8} Y_{\rm L}\!+\!r_{9} f_{\rm L}\right)\!-\!f_{\rm R}\left(r_{4} X_{\rm L}\!+\!r_{5} Y_{\rm L}\!+\!r_{6} f_{\rm L}\right)}}\!\!\!\!\!\!\!\!\!\!\!\!\!\!\end{array}\right. \!\!\!\!\!\!$ (4)

因此,只要通过计算机标定技术获得左右摄像机焦距fLfR和空间点在左右摄像机中的图像坐标,则可重构出被测点的三维空间坐标。

1.2 PMD测量方法基本原理

图2显示了基于PMD测量原理的光学自由曲面表面的测量模型。LCD屏幕显示周期性的正弦条纹图案,该图案经光学自由曲面器件表面反射后被相机捕获。相位偏折光线测量的方法是获取经过光学自由曲面表面调制的条纹图案,然后通过计算从条纹的图像中再解调出曲面信息。

图 2 相位测量偏折测量法的原理 Figure 2 General scheme for phase measuring deflectometry

如果我们可以确定图像像素和LCD屏幕像素之间的对应关系,则可以计算与特定表面采样点相关的入射光线i和反射光线r的方向,如图2所示,然后可计算表面采样点处的法线n,即

${{n}} = \frac{{{{r}} - {{i}}}}{ \left\|{{{r}} - {{i}}}\right\|} = \left[ {{{\left( {\frac{{{{r}} - {{i}}}}{ \left\|{{{r}} - {{i}}}\right\|}} \right)}_{{x}}}, {{\left( {\frac{{{{r}} - {{i}}}}{ \left\|{{{r}} - {{i}}}\right\|}} \right)}_{{y}}}, {{\left( {\frac{{{{r}} - {{i}}}}{ \left\|{{{r}} - {{i}}}\right\|}} \right)}_{{z}}}} \right]$ (5)

式中: ${\left( {\dfrac{{{{r}} - {{i}}}}{\left\|{{{r}} - {{i}}}\right\|}} \right)_{{x}}}$ x方向的分量; ${\left( {\dfrac{{{{r}} - {{i}}}}{\left\|{{{r}} - {{i}}}\right\|}} \right)_{{y}}}$ y方向的分量; ${\left( {\dfrac{{{{r}} - {{i}}}}{\left\|{{{r}} - {{i}}}\right\|}} \right)_{{z}}}$ z方向的分量。同时,对于待测曲面上任意点的法向量,可以表示为

${{n}} = \left( { - \frac{p}{N}, - \frac{q}{N}, \frac{1}{N}} \right)$ (6)

式中: $p = \dfrac{{\partial x}}{{\partial z}}$ $q = \dfrac{{\partial y}}{{\partial z}}$ $N = {\left( {1 + {p^2} + {q^2}} \right)^{\frac{1}{2}}}$ 。对比式(5)和式(6)就可以得到

$\left\{ \begin{split} &\dfrac{{\partial x}}{{\partial z}} = - \dfrac{{{{\left( {\dfrac{{{{r}} - {{i}}}}{\left\|{{{r}} - {{i}}}\right\|}} \right)}_{{x}}}}}{{{{\left( {\dfrac{{{{r}} - {{i}}}}{\left\|{{{r}} - {{i}}}\right\|}} \right)}_{{z}}}}} \\ & \dfrac{{\partial y}}{{\partial z}} = - \dfrac{{{{\left( {\dfrac{{{{r}} - {{i}}}}{\left\|{{{r}} - {{i}}}\right\|}} \right)}_{{y}}}}}{{{{\left( {\dfrac{{{{r}} - {{i}}}}{\left\|{{{r}} - {{i}}}\right\|}} \right)}_{{z}}}}} \end{split} \right.$ (7)

在文献[8]中,屏幕可以显示简单的点或线图案以便于与图像匹配,但测量过程非常耗时,因为扫描整个样品表面需要多个线图案。相比之下,相位测量更有效和准确。当LCD屏幕显示一个正弦条纹图案时,相机拍摄的条纹图像可以表示为

$I\left( {x, y} \right) = a\left( {x, y} \right) + b\left( {x, y} \right)\cos \left[ {\varphi \left( {x, y} \right)} \right]$ (8)

式中:axy)为图像信息的直流强度;bxy)为图像信息的幅度;φxy)为相位。

通过相移过程可以计算条纹图像相位分布,即先对LCD屏幕进行编码以显示4个π/2相移图案,并用I1I4表示4个捕获的相移图像,然后根据相位计算出相位分布。相位分布为

$\varphi \left( {x, y} \right) = {\arctan }\frac{{{I_4} - {I_2}}}{{{I_1} - {I_3}}}$ (9)

通过相位展开过程获得最终相位测量结果,以消除由三角函数计算引起的相位不连续性。通过对LCD屏幕进行编程以显示单个点,可以容易地设置参考匹配点对,然后所有其他图像像素可以通过相位匹配找到它们的匹配屏幕像素。

在确定样品表面每个采样点的法线后,可以通过表面高度梯度的积分过程来恢复表面形状。获得表面形状的最直接方法是逐点积分[8],但该方法对噪声和局部梯度误差非常敏感。此外还可采用拟合方法和区域积分法[11-12],其中拟合方法是使用一组多项式函数拟合表面形状并使用最小二乘法计算系数来恢复表面。

2 系统组成

本文设计的复合三维轮廓检测系统主要组成:1个大尺寸高清LCD显示屏,用来显示正弦条纹同时用来辅助标定整个系统的空间几何关系;3个高分辨率的工业摄像机,分别用来捕捉带有形变的正弦条纹和线激光扫面结果;一套6个自由度的位移系统,可以使样品较好地满足测量所需要的位置和角度;线激光器是50 mW、650 nm红光半导体线激光器,线激光器安装在电动旋转台上,主要对待测件表面进行扫描。检测系统先利用线激光对待测件表面进行初步扫描获得初始点云坐标,以此为基础进行PMD面型测量。复合三维轮廓检测系统如图3所示。

图 3 本文搭建的系统示意图 Figure 3 Schematic diagram of the system
3 实验结果及分析

图4(a)为待测件实物图,是200 mm×70 mm的自由曲面反射镜,反射镜表面倾角范围为±20°。图4(b)图4(c)分别为立体视觉相机拍摄的线激光投射在待测件上的部分图片。图4(d)图4(e)分别为部分相机拍到的经过待测件反射的水平和竖直条纹图像,通过对图像的初步观察,就可以判断出待测件上的部分瑕疵。

图5(a)显示了对线激光扫描图像经过立体视觉算法计算后得到的三维点云数据,从图可以看到,测量结果基本准确地反映了被测面的三维轮廓。对该数据进行拟合分析后可以发现,由于测量范围可达300 mm,线激光立体视觉测得的点云数据随机噪声较大,z坐标噪声幅度约为0.3 mm。对该数据进行高次多项式拟合,可以获得较为准确的三维面型结果,可以满足毛坯件轮廓测量的需求。将线激光测得的三维轮廓数据作为后续PMD测量的初值,再对PMD测量方法和拍摄到的条纹图进行计算可得到更为精确的反射镜三维点云数据,如图5(b)所示。对图5(b)测量结果进行多项式拟合,可以发现PMD测量结果的随机噪声远远小于立体视觉线结构光测量结果,z坐标噪声幅度在百纳米以内。因此采用PMD测量方法可以更精确地对光滑光学表面进行轮廓测量。

图 4 待测件和采集过程中拍摄到的线激光图片和反射条纹图片 Figure 4 Subject under test (SUT) and images captured by the cameras during the measurement

图 5 线激光扫描的结果和PMD测量结果 Figure 5 Line laser scanning result and PMD measurement result

图5(b)中的测量点云数据和该样品的三维CAD设计模型进行三维轮廓比对,得到的三维偏差图,如图6所示,图中灰色区域为导入的CAD模型,有灰度梯度变化的部分显示了测量结果和CAD面型的偏差量。可以看到,本文系统检测到的三维数据范围基本上覆盖了待测件的全口径区域,同时可以很明显地观察到待测样品表面相较于设计面型有一个曲率误差,对应的矢高偏差量在百微米量级,这对于分析和改进自由曲面的生产加工工艺具有重要的作用。本文系统测量过程简单且非接触,相较于三坐标机检测具有明显的优势。

图 6 CAD模型和PMD测量的点云数据三维对比结果 Figure 6 Comparison of CAD model and PMD measured point cloud data

为了测试本文系统的测量精度,用该系统检测一个PV值为λ/2的光学平晶,测量结果如图7所示。图7(a)示出了光学平面(约100 mm的方形区域)的三维轮廓测量结果。将该光学平面视为理想平面,对测量数据去除拟合平面后,残差(res)数据基本分布在±1μm范围内,如图7(b)所示。该结果基本能反映本文系统的测量精度。

图 7 对光学平晶的测量结果 Figure 7 Measurement result of an optic flat
4 结 论

本文介绍了一种通过线结构光立体视觉辅助的、基于PMD原理的三维轮廓检测系统。分析了线结构光和PMD方法的一般原理和整个检测系统的设计。该三维轮廓检测系统可以满足自由曲面件毛坯和最终光学元件的三维轮廓检测需求,检测方式为非接触式且操作简单,检测精度高,可应用于光学自由曲面研发和生产中。下一步工作将对该系统的检测和计算精度作进一步提高,以完成更广泛的检测任务。

参考文献
[1] 张晨博. 基于平行多线的手持式激光三维扫描技术研究和应用[D]. 南京: 南京航空航天大学, 2017.
[2] 熊汉伟, 张洪, 张湘伟. 基于双目立体视觉的手持式线激光3D扫描方法[J]. 应用激光, 2009, 29(3): 233–236. DOI:10.3969/j.issn.1000-372X.2009.03.013
[3] 何炳蔚. 线激光-立体视觉三维数据获取系统研究[J]. 中国工程机械学报, 2006, 4(3): 362–367. DOI:10.3969/j.issn.1672-5581.2006.03.024
[4] KNAUER M C, KAMINSKI J, HÄUSLER G. Phase measuring deflectometry: a new approach to measure specular free-form surfaces[C]//Proceedings of SPIE 5457, optical metrology in production engineering. Strasbourg, France: SPIE, 2004: 366 – 376.
[5] BOTHE T, LI W S, VON KOPYLOW C, et al. High-resolution 3D shape measurement on specular surfaces by fringe reflection[C]//Proceedings of SPIE 5457, optical metrology in production engineering. Strasbourg, France: SPIE, 2004: 411 – 422.
[6] HUANG L, SENG NG C, KRISHNA ASUNDI A. Fast full-field out-of-plane deformation measurement using fringe reflectometry[J]. Optics and Lasers in Engineering, 2012, 50(4): 529–533. DOI:10.1016/j.optlaseng.2011.05.006
[7] TANG Y, SU X Y, WU F, et al. A novel phase measuring deflectometry for aspheric mirror test[J]. Optics Express, 2009, 17(22): 19778–19784. DOI:10.1364/OE.17.019778
[8] SU P, PARKS R E, WANG L R, et al. Software configurable optical test system: a computerized reverse Hartmann test[J]. Applied Optics, 2010, 49(23): 4404–4412. DOI:10.1364/AO.49.004404
[9] 章涛, 李大海, 鄂可伟, 等. 平面光学元件PMD面形检测的调整技术研究[J]. 光学与光电技术, 2017, 15(2): 67–76.
[10] 张于北, 唐佳, 杨党纲. 对某金属件反光表面缺陷的反射条纹检测[J]. 计测技术, 2013, 33(S1): 100–102.
[11] HUANG L, IDIR M, ZUO C, et al. Comparison of two-dimensional integration methods for shape reconstruction from gradient data[J]. Optics and Lasers in Engineering, 2015, 64: 1–11. DOI:10.1016/j.optlaseng.2014.07.002
[12] ZHANG H W, HAN S J, LIU S G, et al. 3D shape reconstruction of large specular surface[J]. Applied Optics, 2012, 51(31): 7616–7625. DOI:10.1364/AO.51.007616