光学仪器  2019, Vol. 41 Issue (4): 59-62, 84   PDF    
基于DLP数字微镜的结构光三维扫描系统
陈毅1, 杨海马1, 徐妤婷1, 杨萍2, 赵凯2, 袁宝龙3, 李筠1, 刘瑾1     
1. 上海理工大学 光电信息与计算机工程学院,上海 200093;
2. 上海航天设备制造总厂有限公司,上海 200245;
3. 上海淮科智能科技有限公司,上海 200000
摘要: 为了提高现代化生产中的效率和满足三维扫描的需求,设计了一种能够准确提取物件表面三维轮廓信息的扫描系统。系统采用结构光三维成像方法,先通过普通白光将光栅投影到被测物体表面,利用工业相机采集变形光栅图,再根据变形光栅图像中的灰度值变化,用傅里叶变换轮廓法解调出三维坐标信息。实验结果表明,使用傅里叶变换轮廓法重构可获得效果理想的三维点云,其为三维轮廓扫描提供了实验方法,同时也为提高点云精度提供参考。
关键词: 结构光     三维成像     傅里叶变换轮廓法     点云重构    
3D scanning system based on structural light and DLP digital micro-mirror device
CHEN Yi1, YANG Haima1, XU Yuting1, YANG Ping2, ZHAO Kai2, YUAN Baolong3, LI Jun1, LIU Jin1     
1. School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China;
2. Shanghai Spaceflight Manufacture (Group) Co., Ltd., Shanghai 200245, China;
3. Shanghai Huaike Intelligent Technology Co., Ltd., Shanghai 200000, China
Abstract: In order to improve the efficiency of modern manufacture and meet the requirement of 3D scanning, a scanning system which can accurately extract 3D contour information of object surface is designed. The 3D imaging method of structural light is adopted. Firstly, the grating is projected to the surface of the object under testing by ordinary white light, and the distorted raster image is collected by industrial camera. Secondly, the 3D coordinate information is extracted by Fourier transform contour method according to the change of gray value in the image of deformation raster. The experimental results show that the reconstruction of the three-dimensional point cloud with ideal effect can be achieved by using the Fourier transform contour method, which provides an experimental method for the 3D contour scanning and a reference basis for the precision of the high point cloud.
Key words: structural light     3D scanning     Fourier transform profilometry     points cloud reconstruction    
引 言

工业检测、机器视觉、医疗科学等技术的运用,需要对三维物体进行高精度的三维扫描成像。近年来,对结构光三维扫描成像的研究逐渐增多[1-2]。本文设计的三维扫描系统,通过DLP4500数字微镜投射编码结构光,采用普通工业相机采集图像,最后经过PC机处理得到三维点云[3]

通过对工业相机采集到的图像进行高度恢复,每个像素点的高度信息与坐标对应起来形成像素坐标系,而像素坐标系转换到世界坐标系还需要对相机进行标定,通过标定获得的相机内外参数恢复物件在世界坐标系中的点云形貌[4-5]。本文使用张正友标定法,克服了传统标定法需要高精度标定物的缺点,提高了精度,且便于操作;对采集到的形变光栅图像使用傅里叶变换轮廓术和枝切解缠绕算法求取高度信息[6-7];重构策略利用标定得到的内外参数和解码得到的像素高度三维坐标进行坐标系变换,得到最终的三维点云模型[8-11]

1 相机标定

本文通过已知特征点的像素坐标信息来求取相机的内外参数和畸变参数,利用得到参数和求取的像素坐标系点云三维信息,恢复物件在实际的世界坐标系中的三维形貌。1998年,张正友教授在《A Flexible New Technique for Camera Calibration》一文中提出通过单平面棋盘格的摄像机标定方法。

张正友标定法是使用棋盘格标定图片,先对图片提取角点信息,在提高精度的目标基础上,再提取亚像素角点信息。对角点坐标提取流程如图1所示。

图 1 角点坐标提取流程图 Figure 1 Flow chart of angular coordinate extraction

张正友标定法的目的是在Harris角点检测算法的基础上,通过亚像素角点坐标提取来提高参数精度。通过以下几步来提取亚像素角点:使用初始角点信息去计算邻域点在像素坐标系中的位置信息,由位置信息再去计算领域点在像素坐标系中的梯度信息,再由邻域点的位置和梯度信息去求取角点位置,经过反复迭代后达到最终条件,即求得角点的亚像素信息。

对亚像素角点求解过程中存在以下误差:

$ {\varepsilon _i} = \nabla (I)_{p_i^{}}^{\rm T}(q - {p_i^{}}) $ (1)

式中:q为中央点; $p_i(i=0,1,2,\cdots,\infty ) $ 为邻域点点集; $\nabla (I)_{p_i^{}}^{\rm T}$ pi点处的图像灰度梯度。 ${\varepsilon _i} $ 通过二次多项式来逼近角点反应函数,从而找到亚像素角点精确位置。找到角点坐标后,计算出相机的内外参数矩阵及畸变参数,最后通过相机参数来完成两者坐标系的转换。

本文设计的步骤为:标定板、DLP数字微镜投影仪和相机三者成三角方位,使得标定板的角点以及投影仪投射在标定板上的棋盘格图案完全收纳在相机的视野中。拍摄的步骤为:使用DLP数字微镜投射白光,相机拍摄10幅图像;再使用投影仪投射棋盘格图案,拍摄10幅图像,拍摄过程中三者方位关系保持不变。使用拍摄的20幅图像,求得相机的内外参数。图2为相机和投影仪标定图像及检测用棋盘格图案。

图 2 标定图像及检测用棋盘格 Figure 2 Calibration image and checkerboard for experiment
2 相位信息

获取物件的相位分为两步:第一步采用傅里叶变换轮廓法,通过拍摄的调制图片解调出物件对应点的包裹相位;第二步采用枝切法对包裹相位进行解包裹,求得最终的完整连续的相位值[12-13]

2.1 傅里叶变换轮廓法

Takeda于1983年采用傅里叶变换的方法,对结构光投影三维成像进行研究。本文采用傅里叶变换轮廓法求解高度信息,原因在于傅里叶变换轮廓法只需要一幅调制图片即可求得待测物轮廓高度信息,这相比于相移法等需要几幅物面图像的算法,大大减少了计算量,提高了系统的运行速度。在对被测物高度信息求取时,相移法比傅里叶变换轮廓法计算精度高,但其对投影仪的投影质量和相机的像素要求也高,在工业应用上带来不便,经综合考虑,本文采取傅里叶变换轮廓法来求取高度信息。

本文设计了高通和低通滤波器,目的是消除零频和高频噪声对携带有用信息的基频的影响;采用枝切解缠绕算法,减小频谱泄露对基于光栅条纹投影的傅里叶变换法的影响。

傅里叶变换轮廓术的原理如下:设待测物体一点坐标为 $(u,v) $ ,在摄像机图像上成像于 $(x,y) $ ,将正弦光栅投影到待测物体表面后,光栅受表面高度影响变形,调制信息 $g(x,y) $ 表示为

$ g(x,y) = a(x,y) + r(x,y)\cos [2{\text{π}} {f_0}x + \varphi (x,y)] $ (2)

式中: $a(x,y)$ 为条纹光强背景值; $r(x,y)$ 为调制光强;f0为光栅基频; $\varphi (x,y)$ 为物件在点 $(x,y)$ 处产生的相位调制, $2{\text{π}}f_0x+\varphi (x,y) $ 为物体表面变形条纹的相位分布。

当物体的高度 $h(x,y)=0 $ ,即光栅像投影于参考面时,由相机采集到的受参考面调制的变形光栅像可表示为

$ g(x,y) = a(x,y)+r(x,y)\cos [2{\text{π}} {f_0}x + \varphi_0 (x,y)] $ (3)

物体相对于参考面引起的条纹相位变化

$ \Delta \varphi (x,y)=\varphi (x,y)-{{\varphi }_{0}^{}}(x,y) $ (4)

对式(2)和式(3)分别做傅里叶变换,滤除基频分量和高频分量,再对其进行逆傅里叶变换,得到:

$ \hat{g}(x,y)=0.5r(x,y)\exp\{{\rm{i}}[2{\text π}f_0x+\varphi(x,y)]\} $ (5)
$ \hat{g}_0^{}(x,y)=0.5r(x,y)\exp\{{\rm{i}}[2{\text π}f_0x+\varphi(x,y)]\} $ (6)

将式(5)和式(6)中 $\hat g(x,y) $ $\hat g_0(x,y) $ 共轭相乘,再取对数得:

$ \ln[\hat g(x,y)\hat g_0^*(x,y)]=\ln\{0.25r^2(x,y)+{\rm{i}}[\varphi(x,y)-\varphi_0(x,y)]\} $ (7)

由式(4)和式(7)计算得:

$ \Delta \varphi(x,y)={\rm{arctan}}\left\{\frac{{\rm{I_m}}[\hat g(x,y)\hat g_0^*(x,y)]}{{\rm{R_e}}[\hat g(x,y)\hat g_0^*(x,y)]}\right\} $ (8)

式中:*表示取共轭; $\rm{I_m} $ 表示取复数虚部; $\rm{R_e} $ 表示取复数实部; $ \Delta \varphi(x,y)$ 为相位差,即被测物体的高度轮廓引起的相移。

2.2 相位展开

由于反正切函数计算出的相位是在[−π, π]区间内的值,不是物件高度对应的真正的连续相位值,包裹相位一般与真正的相位值相差2π,因此还需要通过算法对每一个像素点解出其真正的相位值。目前三维重建领域已有众多解相位算法,本文采取Goldstein枝切法进行相位展开。Goldstein枝切法包括以下几个步骤:区分出正负残差点并标明其极性;用连接线连接最邻近的残差点使其平衡,即设置了枝切线;绕过枝切线进行路径积分来解缠绕。

当误差点较多时,使用枝切线不能达到很好的效果,但相比于其他主流的解包裹算法,枝切法运算速度快、占用内存小,且可以有效的规避误差点,使其得到广泛的应用。

3 三维成像结果与分析

根据相机、投影机和物件在空间中的几何位置关系,采用了基于三角检测算法的点云重构策略。以投射纵向相移结构光的光栅为例,三维点云重构策略的设计思路如下:获取照片坐标系上被结构光栅覆盖的各点的像素坐标值,通过投射纵向结构光栅可以计算出在投影仪参考坐标系中各点对应的像素横坐标值,通过标定计算出相机内外参数值,并将像素坐标值转化到相机和投影仪成像坐标系对应坐标值。

图3(a)是设计的三维扫描系统对纸杯表面扫描所成的深度图,图3(b)是扫描形成的点云图,从图中可以看出纸杯的三维轮廓和表面纹理特征。根据点云的三维坐标,可以确定物件的几何信息,其中包括物件在世界坐标系的位置信息和深度信息。

图 3 纸杯深度和点云图 Figure 3 The depth map and point cloud of the cup

由于得到的点云图是一系列的点构成的图像,在实际工业应用中并不能完整地体现物件的三维形貌信息,因此本文采取三角网格算法对得到的点云进行补充呈现。三角网格算法的主要用途在于,单个的点通过对应的算法计算后,将符合要求的邻近点进行三角连线,点连线后形成面,最后再进行平滑处理形成完整的物件的三维面。图4(a)是三角网格化后的图像,图4(b)是平滑渲染后形成的物件三维面图像。根据实际测量值,本系统重构的三维点云中相邻点云间隔在0.05 mm,点云精度达到市场要求。

图 4 纸杯三角网格和渲染图 Figure 4 The triangular mesh and rendering of the cup
4 结 论

根据目前市场对三维扫描技术的应用需求,本文设计了能够重构物件表面点云的三维扫描系统,对系统的标定、编码解码、点云重构使用了相应的算法,对物件的三维轮廓进行扫描,检测了重构的点云满足精度要求,可以有效地恢复物件的三维形貌。

参考文献
[1] WU Y C, CAO Y P, HUANG Z F, et al. Improved composite Fourier transform profilometry[J]. Optics & Laser Technology, 2012, 44(7): 2037–2042.
[2] 陈文静, 苏显渝, 苏礼坤, 等. 利用灰度图提高Fourier变换轮廓术的测量精度[J]. 光电工程, 2000, 27(3): 55–59. DOI:10.3969/j.issn.1003-501X.2000.03.015
[3] ZHONG M, CHEN W, SU X, et al. Optical 3D shape measurement profilometry based on 2D S-Transform filtering method[J]. Optics Communications, 2013, 300: 129–136. DOI:10.1016/j.optcom.2013.02.026
[4] 魏博宇, 李科杰, 高峻峣, 等. 移动机器人视觉系统与摄像机标定[J]. 微计算机信息, 2009, 25(23): 171–172.
[5] ZUO C, CHEN Q, GU G H, et al. High-speed three-dimensional shape measurement for dynamic scenes using bi-frequency tripolar pulse-width-modulation fringe projection[J]. Optics and Lasers in Engineering, 2013, 51(8): 953–960. DOI:10.1016/j.optlaseng.2013.02.012
[6] 王新, 贾书海, 陈光德. 相位去包裹技术进展[J]. 仪器仪表学报, 2005, 26(S2): 665–668.
[7] CUI S L, TIAN F, LI D H. Method to eliminate the zero spectra in Fourier transform profilometry based on a cost function[J]. Applied Optics, 2012, 51(16): 3194–3204. DOI:10.1364/AO.51.003194
[8] 张启灿, 苏显渝. 动态三维面形测量的研究进展[J]. 激光与光电子学进展, 2013, 50(1): 010001.
[9] ZHANG S, HUANG P S. High-resolution, real-time three-dimensional shape measurement[J]. Optical Engineering, 2006, 45(12): 123601. DOI:10.1117/1.2402128
[10] 张吴明, 钟约先, 李仁举. 投影栅三维形面测量中亚像素匹配算法[J]. 清华大学学报: 自然科学版, 2008, 48(3): 412–414.
[11] 邵双运. 光学三维测量技术与应用[J]. 现代仪器, 2008(3): 10–13. DOI:10.3969/j.issn.1672-7916.2008.03.003
[12] 陈家璧, 苏显渝. 光学信息技术原理及应用[M]. 北京: 高等教育出版社, 2002.
[13] 罗刚银, 唐玉国, 乔培玉, 等. 结构光数字栅线法对物体三维形貌的高精度测量[J]. 光谱与光谱分析, 2012, 32(9): 2331–2335.