光学仪器  2026, Vol. 48 Issue (3): 27-33   PDF    
基于自适应条纹投影的高效高反射表面三维重建方法
曾路路, 常敏, 翁文涛, 王梦婕, 俞宪同     
上海理工大学 光电信息与计算机工程学院,上海 200093
摘要: 针对自适应条纹投影方法需要多个投影图案确定最佳投影强度,效率较低的问题,提出了一种高效的自适应条纹投影方法,该方法仅需一张全白图像和一张亮度较低的图像,即可自动确定最佳投影强度。根据物体表面像素之间的灰度值变化量化物体表面的反射率,自适应地确定最佳投影强度。实验结果表明,所提方法能够有效避免饱和像素生成,实现高反射物体的精确测量,在效率方面具有性能优势,与传统条纹投影方法相比,测量均方根(root mean square,RMS)降低了47%,显著提高了测量精度。
关键词: 条纹投影    自适应条纹    高反射表面    三维测量    
An efficient 3D reconstruction method for high-reflective surfaces based on adaptive fringe projection
ZENG Lulu, CHANG Min, WENG Wentao, WANG Mengjie, YU Xiantong     
School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China
Abstract: Aiming at the problem that the adaptive fringe projection method requires multiple projection patterns to determine the optimal projection intensity, resulting in low efficiency, an efficient adaptive fringe projection method is proposed. This method only requires one all-white image and one image with lower brightness to automatically determine the optimal projection intensity. According to the change in grayscale values between pixels on the object surface, the reflectivity of the object surface is quantified, and the optimal projection intensity is determined. Experimental results show that the proposed method can effectively avoid the generation of saturated pixels and achieve accurate measurement of highly reflective objects. It has performance advantages in terms of efficiency. Compared with the traditional fringe projection method, the root mean square is reduced by 47%, significantly enhancing measurement accuracy.
Key words: fringe projection    adaptive fringe    high-reflective surfaces    3D measurement    

在过去的几十年中,三维形貌测量技术[1-2]在工业生产、医学断层成像和文物扫描等领域获得了广泛应用[3-5]。然而,对于具有高反射表面的物体,难以实现精确的三维重建。

为了解决这一问题,Waddington等[6]提出了一种全局最大输入灰度级算法,该算法利用8个不同灰度值的输入图案来调整投影仪的输出光强度。Feng等[7]提出了一种基于图像融合和插值预测搜索算法的自适应数字条纹投影方法,使用9种不同的投影强度来精确调整每个像素的投影强度。Wang等[8]提出了自适应正/负条纹投影方法,涉及多重判断,算法复杂,并且需要11张图像来估计饱和像素的强度。Yuan等[9]使用二分搜索法,需要投影7张不同强度的均匀灰度图案,为每个饱和像素寻找最佳投影强度。许多调整条纹投影强度的方法都能够成功地测量高反射表面,但在确定饱和像素的最佳投影强度时,需要投影多张图案,导致测量效率较低。

针对上述问题,本文提出了一种高效的自适应条纹投影方法,该方法将物体表面各像素的灰度差异量化为各像素的相对反射率,仅需要一张灰度为255图案和一张亮度较低的灰度图案,即可自适应地调整饱和像素的投影强度。该方法无需采集大量图片,也不需要额外的硬件,原理简单,操作方便。

1 基本原理

基于条纹投影的三维测量系统如图1所示,主要由投影仪、相机及计算机组成。投影仪将预先经过相位编码的条纹图案投影至物体表面,相机采集受物体形貌调制的变形条纹图像,利用解调算法对采集到的图像进行相位解码,随后结合系统标定参数恢复物体的三维信息[10]。N步相移算法是一种常用的相位测量技术,本研究采用四步相移法进行测量,其投影光强分布$ {I}_{\text{p}}(x,y) $可表示为

图 1 条纹投影技术测量原理 Figure 1 Schematic diagram of fringe projection technique
$ {I}_{\text{p}}(x,y)=A+B\cos \left(\varphi (x,y)+{\delta }_{n}\right) \text{,} n=0,1,\cdots ,N $ (1)

式中:A为背景光强;B为条纹图案的调制强度;$ \varphi (x,y) $为包裹相位;$ {\delta }_{n}=2\text{π}(n-1)/N $表示相移值,$ N $为条纹图案的相移步数。包裹相位$ \varphi (x,y) $计算式为

$ \varphi (x,y\text{)=arctan}\frac{{I}_{3}-{I}_{1}}{{I}_{0}-{I}_{2}} $ (2)

获得包裹相位之后,采用三频外差算法[11]获得展开相位。

1.1 相对反射率

为了自适应调整饱和像素的投影亮度,需要识别并标记饱和像素的位置,其中“自适应”是指在高反射表面物体的测量中,能够计算出每个像素的最佳投影灰度值,从而调整饱和区域像素的投影强度[12]。首先向物体表面投影最大输入灰度为255的均匀图像,采集图像$ {I}_{255}(x,y) $中某个像素的灰度值超过250时,则被视为饱和像素,饱和像素坐标由$ M_{{c}}\left(x,y\right) $表示

$ {M}_{c}\left(x,y\right)=\begin{cases} 1,~{I}_{255}(x,y)\geq T\\ 0,~\mathrm{其他} \end{cases} $ (3)

在如图1所示的条纹投影测量系统中,相机捕获的条纹图案强度$ {I}_{c}(x{,y)} $为

$ \begin{split} {I}_{c}(x,y)=&\;st\big\{\rho (x{,y)[}{I}_{p}(x{,y)+}{L}_{a}(x{,y)]+} \\& {L}_{c}(x{,y)}\big\}+ \sigma (x{,y)} \end{split} $ (4)

式中:$ s $和$ t $为相机的感光灵敏度和曝光时间;$ \rho (x{,y)} $为被测物体表面的反射率;$ {I}_{p}(x{,y)} $为投影光强;$ {L}_{a}(x{,y)} $和$ {L}_{c}(x{,y)} $分别代表环境光强及直接进入相机传感器的环境光强;$ \sigma (x{,y)} $为相机噪声。在测量过程中,投影仪作为主动光源,且在弱环境光条件下工作,因此环境光的影响可不予考虑。同时,考虑到相机噪声水平较低,其对测量结果的影响可忽略,因此,式(4)可简化为

$ {I}_{c}(x{,y)=}st\rho (x{,y)}{\times I}_{p}(x{,y)} $ (5)

根据式(5)所示的强度采集模型,在相机参数保持固定的情况下,捕获强度$ {I}_{c}(x{,y)} $由自身反射率$ \rho (x{,y)} $及投影光强$ {I}_{p}(x{,y)} $共同决定。将$ I_{p}^{\text{opt}}(x{,y)} $定义为最佳投影强度,$ I_{c}^{\text{ideal}}(x{,y)} $表示所期望的相机捕获条纹强度,满足期望捕获强度条件的像素点记为$ {P}_{\text{ideal}} $,基于上述定义和强度采集模型,可进一步推导出关系式

$ I_{p}^{\text{opt}}(x{,y)=}\frac{I_{c}^{\text{ideal}}(x,y)}{st\rho (x,y)} $ (6)

由式(6)可知,$ I_{p}^{\text{opt}}(x{,y)} $仅依赖于$ \rho (x,y) $。然而,$ \rho (x,y) $无法直接测量,因此,本研究引入了一幅低强度灰度图案$ I_{p}^{0}(x{,y)} $,其相应的捕获强度为$ I_{c}^{0}\left(x{,y}\right) $。在同一投影条件下,物体表面任意两个像素点之间的灰度差异取决于$ \rho (x,y) $。基于这一特性,通过将$ I_{c}^{0}\left(x{,y}\right) $中任意像素点与理想像素点$ {P}_{\text{ideal}} $的灰度值进行比较,可以计算每个像素的相对反射率$ {R}_{m} $。结合式(5),可分别得到$ I_{c}^{0}(x{,y)} $及$ {R}_{m} $的计算表达式

$ I_{c}^{0}\mathrm{(x}{,y)=}st{\rho }_{m}(x,y)\times I_{p}^{0}(x{,y)} $ (7)
$ {R}_{m}=\frac{I_{c}^{0}(x,y)}{I_{c}^{\text{ideal}}(x,y)}=\frac{{\rho }_{m}(x,y)}{{\rho }_{0}(x,y)} $ (8)

式(7)中的$ {\rho }_{m}(x,y) $为除理想像素点$ {P}_{\text{ideal}} $外的每个像素的反射率,式(8)中的$ {\rho }_{0}(x,y) $表示灰度值为$ I_{c}^{\text{ideal}}(x{,y)} $所对应的像素反射率。

1.2 自适应条纹投影

根据式(7)、(8),可计算出任意像素的灰度达到$ I_{c}^{\text{ideal}}(x,y) $时所需的投影强度$ I_{p}^{\text{opt}}(x,y) $,其表达式为

$ \frac{I_{c}^{\text{ideal}}(x{,y)}}{I_{c}^{0}(x{,y)}}=1 $ (9)
$ \frac{st{\rho }_{0}(x{,y)\times }I_{p}^{0}(x{,y)}}{st{\rho }_{m}(x{,y)\times }I_{p}^{\text{opt}}(x{,y)}}=1 $ (10)
$ I_{p}^{\text{opt}}\left(x,y\right)=\frac{I_{p}^{0}\left(x{,y}\right)}{{R}_{m}}=\frac{I_{c}^{\text{ideal}}(x,y)\times I_{p}^{0}\left(x{,y}\right)}{I_{c}^{0}(x{,y)}} $ (11)

为了确保捕获条纹具有较高的信噪比并避免像素饱和,同时考虑到相机噪声的影响,将$ I_{c}^{\text{ideal}}(x,y) $的值设置为250。

根据式(11)可知,$ I_{p}^{\text{opt}}\left(x,y\right) $与低强度图案$ I_{p}^{0}(x,y) $密切相关。然而,$ I_{p}^{0}(x,y) $的取值存在多种可能性,若采用经验法进行选择,不仅缺乏可靠性,而且会导致测量速度下降。为此,在饱和像素标记过程中,结合多项式拟合方法,建立物体表面各像素的灰度值与像素数量的函数关系。实验证明,将拟合曲线面积80%位置处灰度值作为$ I_{p}^{0}(x,y) $,可保证图像质量且饱和像素数量最少,故采用该值作为$ I_{p}^{0}(x,y) $。

建立相机像素和投影仪像素之间的映射关系是生成自适应条纹的关键。通过向被测物体表面投射垂直和水平方向的正弦条纹,分别计算其绝对相位$ {\phi }_{v} $和$ {\phi }_{h} $,那么与相机像素$ {I}_{c}({x}_{c},{y}_{c}) $对应的投影仪坐标$ {I}_{p}({x}_{p},{y}_{p}) $可表示为

$ \left\{\begin{split}& {x}_{p}=W\times \frac{{\phi }_{v}(x,y)}{2\text{π} f}\\& {y}_{p}=H\times \frac{{\phi }_{h}(x,y)}{2\text{π} f} \end{split}\right. $ (12)

式中:$ f $为条纹图案的周期数;W和H为投影条纹图像的宽度和高度。

通过以上过程确定所需的最佳投影亮度,经过坐标映射后,得到最终的自适应投影条纹图案,其条纹生成可表示为

$ {I}_{p}\left(x{,y}\right)=\left\{\begin{split}& \frac{I_{p}^{\text{opt}}\left(x,y\right)}{255}\left[A+B\mathrm{cos}\left(\varphi \left(x,y\right)+{\delta }_{n}\right)\right],{M}_{\text{c}}=1\\& A+B\mathrm{cos}\left(\varphi \left(x,y\right)+{\delta }_{n}\right),{M}_{\text{c}}=0 \end{split}\right. $ (13)
2 实 验

为了验证所提方法的实际可行性,搭建了如图2所示的自适应条纹投影测量系统。该系统由DLP投影仪(LightCrafter4500)、CMOS相机(Basler ace 2 a2A2590-60umBAS)和一台计算机组成。投影仪分辨率为912 pixel×1140 pixel,像素尺寸为7.6 μm,相机分辨率为2592 pixel×1944 pixel,像素尺寸为2 μm。

图 2 系统装置 Figure 2 System setup

为验证所提方法的有效性,选取1个铝合金金属板作为实验对象。首先将1张灰度为255的均匀白光投影至被测物体表面并由相机捕获,根据物体表面的像素分布,采用多项式拟合建立物体表面像素的灰度值与像素数量之间的函数曲线,将拟合曲线80%位置处的值作为另一张低强度灰度图案$ I_{p}^{0}(x{,y)} $的值,此过程如图3所示。通过捕获的低强度均匀灰度图案结合式(8),获得金属板表面饱和区域的相对反射率$ {R}_{m} $,其分布情况如图4所示,可以看出,饱和区域的反射率分布集中在0.7~0.8的范围内。本文基于所提出的最佳投影强度确定方法及$ {R}_{m} $获取适配的投影亮度。在确保不发生饱和情况的投影强度下,分别在水平方向和垂直方向上向物体表面投影频率为70、64、59的四步相移条纹图案,根据式(12)建立相机和投影仪之间的坐标映射关系,结合最佳投影强度,通过式(13)生成自适应条纹图案。传统结构光方法和本文所提方法的条纹投影图案对比如图5所示。由图5(b)红色框选区域可知,相较于传统结构光方法,使用所提方法所捕获的条纹图像的饱和区域强度明显降低。这正是由于自适应条纹投影方法的作用所导致的,使得饱和区域的过度曝光情况得到明显改善。

图 3 获取低强度均匀图案$ I_{p}^{0}(x{,y)} $ Figure 3 Acquisition of low-intensity uniform pattern $ I_{p}^{0}(x{,y)} $

图 4 金属板饱和区域的反射率分布 Figure 4 Reflectance distribution in saturated region of metal plate

图 5 相机捕获条纹投影图案 Figure 5 Fringe projection patterns captured by the camera

为了更直观地展示所提方法在减少金属板表面饱和像素的改进效果,对图5中相机捕获的图像进行灰度值分析。图6显示了传统结构光方法与本文所提自适应条纹投影方法所得相机图像的灰度直方图。在图6(a)所示传统的结构光方法中,相机图像中灰度值达到255的饱和像素数量为4206,而在本文所提自适应条纹投影方法中,如图6(b)所示,饱和像素数量明显下降,仅为1214,饱和像素抑制率达到71.14%。这一结果表明,该方法有效减少了金属板表面的过度曝光现象,并且在其他的非饱和区域能够保持良好的灰度分布。因此,本文所提方法在优化高反射表面物体图像质量方面具有明显优势。

图 6 金属板灰度直方图 Figure 6 Grayscale histogram of metal plate

金属板的三维测量结果如图7所示。可以明显看出在传统方法的测量结果中,红色框标示的高反射区域存在点云缺失,而本文方法的测量结果是完整的,金属板表面的饱和像素得到了有效抑制,验证了所提方法的有效性。此外,本文所提方法三维点云的均方根(root mean square,RMS)值为0.1224 mm,相较于传统方法的0.2342 mm,降低了47%,显著提升了测量精度。

图 7 三维点云对比 Figure 7 Comparison of 3D point clouds

进一步地,对图5中捕获的条纹图像中饱和区域的绝对相位进行分析,并选取相机图像中位于饱和区域的第935行的50个像素作为研究对象,其具体位置如图8(a)、图8(c)所示。图8(b)展示了采用传统结构光方法所计算的绝对相位分布,可以看出由于像素饱和的影响,绝对相位出现了明显的不连续性和误差。相比之下,在图8(d)中,本文所提方法获得的绝对相位呈现出平滑且连续的特性,表明了所提方法在抑制高反射表面测量中的相位误差方面具有良好的效果。

图 8 第935行的绝对相位 Figure 8 Absolute phase information in the 935th row

为了验证本文所提方法的测量精度,对一块尺寸为30.0000 mm(极限偏差为±0.2 μm)的标准块进行了5次重复测量。每次实验均在不同的位置进行,其实物图如图9所示。通过拟合重建点云的测量尺寸,与标准块实际尺寸的差值即为测量的绝对误差。此外,为了评估所提方法对标准块形貌重建的完整性,还计算点云完整性(point cloud integrity,PCI)。5次测量的实验数据如图10所示。根据图10(a),5次实验的平均绝对误差为0.5164 mm,平均均方根为0.2149 mm。而图10(b)显示了标准块的点云完整性数据,其5次测量的平均PCI为96.62%,这些数据表明了所提方法能够有效地完成标准块的三维重建。

图 9 标准块实物图 Figure 9 Schematic diagram of the standard block

图 10 标准块的实验数据 Figure 10 Experimental data of standard block
3 结 论

针对高反射表面物体的三维重建,本文提出了一种高效的自适应条纹投影方法,解决了因条纹亮度过度曝光所导致的重建问题。与传统的自适应条纹投影方法相比,该方法仅需要投影两张图案,即可自动确定饱和像素的最佳投影强度,在大幅提高了测量效率的同时,不需要采集大量图片,也不需要额外的硬件。实验结果表明,所提方法能够有效完成高反射物体的三维重建,相比于传统结构光方法,RMS可减少47%。

参考文献
[1] 李宜峰, 周顺, 李庞跃, 等. 基于结构光的偏振主被动融合三维重建方法[J]. 光子学报, 2024, 53(12): 1210002.
[2] 王启江, 刘元坤, 魏振东, 等. 面向高反物体的区域映射自适应条纹投影方法[J]. 激光杂志, 2024, 45(5): 34–40. DOI:10.14016/j.cnki.jgzz.2024.05.034
[3] HAN S H, YANG Y X, ZHANG X Y, et al. Complementary gray code fourfold-N step phase shift grating fringe projection profilometry[J]. IEEE Sensors Journal, 2023, 23(12): 13272–13279. DOI:10.1109/JSEN.2023.3271324
[4] QIU K P, TIAN L, WANG P, et al. A novel generalized adaptive domain fusion framework for structured light 3-D measurement[J]. IEEE Sensors Journal, 2024, 24(3): 3223–3231. DOI:10.1109/JSEN.2023.3340258
[5] LI Y X, QIAN J M, FENG S J, et al. Deep-learning-enabled dual-frequency composite fringe projection profilometry for single-shot absolute 3D shape measurement[J]. Opto-Electronic Advances, 2022, 5(5): 210021. DOI:10.29026/oea.2022.210021
[6] WADDINGTON C, KOFMAN J. Analysis of measurement sensitivity to illuminance and fringe-pattern gray levels for fringe-pattern projection adaptive to ambient lighting[J]. Optics and Lasers in Engineering, 2010, 48(2): 251–256. DOI:10.1016/j.optlaseng.2009.07.001
[7] FENG W, TANG S J, ZHAO X D, et al. Adaptive fringe projection for 3D shape measurement with large reflectivity variations by using image fusion and predicted search[J]. International Journal of Optics, 2020, 2020: 4876876. DOI:10.1155/2020/4876876
[8] WANG J H, YANG Y X. A new method for high dynamic range 3D measurement combining adaptive fringe projection and original-inverse fringe projection[J]. Optics and Lasers in Engineering, 2023, 163: 107490. DOI:10.1016/j.optlaseng.2023.107490
[9] YUAN H S, LI Y, ZHAO J, et al. An adaptive fringe projection method for 3D measurement with high-reflective surfaces[J]. Optics & Laser Technology, 2024, 170: 110062. DOI:10.1016/j.optlastec.2023.110062
[10] 王钰婷, 刘伊航. 基于条纹投影的动态三维测量技术[J]. 自动化应用, 2023, 64(15): 178–181, 211.
[11] 郭进, 陈小宁. 基于多频外差相移结构光的三维测量系统[J]. 工业仪表与自动化装置, 2016(4): 24–26, 39.
[12] LIN H, GAO J, MEI Q, et al. Three-dimensional shape measurement technique for shiny surfaces by adaptive pixel-wise projection intensity adjustment[J]. Optics and Lasers in Engineering, 2017, 91: 206–215. DOI:10.1016/j.optlaseng.2016.11.015