光学仪器  2021, Vol. 43 Issue (3): 52-59   PDF    
基于时间散焦分析法的三维信息采集
龙清, 李宏宁, 孙宝, 杨明, 刘强, 张峰     
云南师范大学 物理与电子信息学院,云南 昆明 650500
摘要: 为了测量被测物的距离信息,结合投影系统的三维信息采集方法,研究了一种基于时间散焦分析的三维信息采集方法。通过向被测物投影移动的条纹,分析照明模式在各点的散焦度,利用傅里叶变换解析被测物各点的距离信息。实验结果表明,该方法不需要考虑点匹配问题,能单独计算各点的位置信息,并且能测量较大的距离。
关键词: 三维信息采集    投影    散焦条纹    离焦度    
Three-dimensional information collection based on temporal defocus analysis method
LONG Qing, LI Hongning, SUN Bao, YANG Ming, LIU Qiang, ZHANG Feng     
School of Physics and Electronic Information, Yunnan Normal University, Kunming 650500, China
Abstract: In order to measure active scene or object depth information combined with a 3D information collection method of a projection system, a 3D information collection method based on temporal defocus analysis method is studied. By projecting the moving fringe to the scene, the defocus of the projection fringe at each point is analyzed, and the Fourier transform is used to analyze the depth information of each point in the scene. The experimental results show that the method can calculate the position information of each point separately, and measure the depth of a larger scene without considering the point matching problem.
Key words: three-dimensional information collection    projection    defocus fringes    defocus    
引 言

三维测量是通过对实际物体的形貌测量获得物体形貌的信息,这些信息为物体后续的三维建模、检测、识别、重构等提供了数据基础,目前三维测量已广泛应用于娱乐、工业、医疗、文物保护、交通等领域[1-2]。三维测量可分为机械接触式和光学非接触式两种测量方法,其中,常用的光学非接触式测量方法又可分为双目立体视觉法[3]、结构光投影法[4-6]、飞行时间法[7]、散焦测距法[8-9]等。散焦测距法因原理简单、不需解决点匹配问题及无遮挡等优势受到越来越多的关注。

散焦测距法由相机本身性质决定[10],单幅图像中同一散焦程度可对应多个不同距离,难以测量,需要移动被测物或者相机,至少拍摄两张以上的图像,才能有效解决特征点难以匹配的问题,并且测量的精度还有待提高[11]。将结构光投影法应用于散焦测距法,即散焦条纹投影法,可解决立体匹配问题。散焦条纹投影法分为两种:一种由左超等[12]、Lei等[13]提出的条纹图像相位信息计算方法,该方法目前已较为成熟,测量精度达到了微米量级;另一种由Zhang等[14]提出,通过条纹图像光强信息计算投影图案调制场景的各点离焦度,从而测量深度信息,该方法可以独立计算较大场景中各点信息,但测量精度仍有待提高。

由此本文基于时间散焦分析法来获得被测物体的三维信息,通过拍摄移动条纹计算各点的散焦程度(即离焦度),并且利用离焦度及位置的对应关系求得被测物体的距离。

1 基本原理

时间散焦分析法的原理如图1所示。为测量物体到照相镜片的距离d,将物体上位于光轴上的点s进行离焦,使s点在像平面上不再是个点而成为一个散焦斑,此时镜片的聚焦点是q点。在照相镜头附近放置条纹图(亦称作照明模式),位置与照相机像平面重合,条纹图被照明(用投影仪照明)后成像在q点所在的聚焦平面上。对于失焦点s,其辐射度等于其散焦核与像平面上的结构光模式的卷积。假设物表面是不透明的,s沿任何给定方向的辐射度I

图 1 时间散焦分析法的原理图 Figure 1 Schematic diagram based on temporal defocus analysis method
$I = \alpha f({{z , }}x) * p(x) + \beta $ (1)

式中: $\alpha$ 为与物体表面反射率有关的系数; $f(z,x)$ 为离焦核; $p(x)$ 为照明模式; $\beta $ 为环境光引起的辐射。其中离焦核 $f(z,x)$ 与深度 $z$ 有关,取决于离焦度,而离焦度可通过测量条纹图像光强信息得到。

对被测物投影一个具有宽频率分布的照明模式,投影的照明模式是周期性二值条纹。随着照明图案的移动,距照相镜片不同距离的点在时间辐射度轮廓上显示出不同程度的模糊,如图1所示,将这种时间模糊用于深度恢复。

移动照明模式得到被测物各点随时间变化的强度序列为 ${I_l}{\text{(}}l = 0,1,\cdots,L - 1{\text{)}}$ ,即拍摄 $L$ 张图像,取出各图像中同一位置的灰度值 $I$ ,组合成新的序列 ${I_l}$ 。该强度序列长度 $L$ 与拍摄的照明模式周期一致,焦点q处的强度序列与投影的周期二值条纹一致。对该强度序列 ${I_l}$ 进行傅里叶余弦变换(DFS),得到

${I_l} = {A_0} + \sum\limits_{k = 1}^{L - 1} {{A_k}} \cos \left( {{\omega _k}l - {\varphi _k}} \right)$ (2)

式中: ${A_0}$ 为环境光强度; $ {A_k} $ 为振幅; $ {\omega _k} $ 为初始相位; $ {\varphi _k} $ 为移动相位。

因拍摄的被测物图像存在模糊,可将其看作是一个经过低通滤波器后的图形。被测物离投影平面越近,条纹散焦程度越大,越接近正弦图案,此时低频信号幅度 ${A_{\rm{1}}}$ 越大,高频信号幅度 ${A_{\rm{2}}}$ 越小,由此可定义离焦度 $\theta $

$ \theta =\dfrac{{A}_{\rm{2}}}{{A}_{\rm{1}}},\;\;\;\rm{0{\text{<}}}\theta {\text{<}}1$ (3)

根据式(3)可知,被测物离投影平面越近,离焦度 $\theta $ 越小。在固定的测试系统中, $\theta $ 值单一对应固定的距离值,校准得到该对应关系则可由 $\theta $ 值计算被测物距离,离焦核 $f(z,x)$ 便由离焦度 $\theta $ 值−距离的关系定义。

由式(1)可知,照明模式对被测物起调制作用,对照明模式 $p(x)$ 进行离散傅里叶变换,则有

$P(n){\rm{ = }}\sum\limits_{x = 0}^{L - 1} {p(x){{\rm{e}}^{ - {\rm{j}}\frac{{2\pi }}{L}xn}}} ,\;\;\;{\rm{ 0}}{\text{≤}} n {\text{≤}} L - 1$ (4)

即不同的照明模式对应的离散傅里叶变换不同,改变不同的条纹形状其测量的结果也会不同。

在实际测量中,被测物边缘阴影处无照明模式投影,故该方法在边缘处会产生较大误差。测量周期性数据时,可以通过测量多周期数据以减少误差。

2 实验结果及分析 2.1 实验平台组成

图2是根据测量原理搭建的实验平台,其中光源发射器为EPSON 301M投影仪(EB-C301MS)。为避免相互遮挡而产生阴影,将相机置于投影仪的正下方并大致对准其中心,并将待测物放置在照相机的正前方,如图2(a)所示。照明模式采用的条纹是M序列中的011、01和001序列,如图2(b)所示,其中序列011和001每个字符占8个像素,序列01每个字符占12个像素,只测量一个周期时,所需拍摄图像的张数 ${{L }}$ 为24。

图 2 实验平台图 Figure 2 Experimental platform diagram
2.2 标定离焦度与距离的关系

分3步标定距离到离焦度的关系。

步骤1:固定白板距离并拍摄图像。在照相机前垂直放置9块白板,每块白板相距50 cm。移动照明模式,并拍摄随条纹移动而产生变化的白板图像,图3(a)为其中一幅。图中可以看出点s处的条纹较点q处的条纹要更模糊,画出点q和点s随时间变化的辐射强度曲线,分别如图3(d)(e)所示。

图 3 标定过程示意图 Figure 3 Illustration of the calibration procedure

步骤2:计算白板上每个点的离焦度。利用式(2)分别对图3(d)(e)曲线进行离散傅里叶变换,其结果分别如图3(f)(g)所示。对板上各点进行离散傅里叶变换后再用式(3)计算各点离焦度,如图(b)所示,其中第150列的离焦度如图3(h)所示。

步骤3:拟合估算出被测物每个点的距离−离焦度的对应关系。步骤1中已知各点距离,步骤2计算各点对应的离焦度,两者组合可以拟合出距离−离焦度的关系,结果如图3(c)所示,其中第50、150、250列距离−离焦度的对应关系如图3(i)所示。

图3(h)可知,离焦度 $\theta $ 与位置的关系基本呈现阶梯状,这与实验室放置各白板的位置一致,说明投影图案的模糊程度是随位置的改变而改变。这也说明,采用本文方法测量物体距离是有效的。由图3(i)也可以看出,该方法的离焦度与距离的关系并不是一个线性关系,这要求对距离−离焦度关系进行矫正,另外图3(h)中的线在水平处波动较大,而且在过渡点上有较大的峰值出现,这也说明该方法稳定性有待改进。

2.3 实验结果分析

根据得到的距离−离焦度的对应关系,对图4所示的被测物进行距离测量,可得到如图5所示的结果。

图 4 被测物 Figure 4 Object to be tested

图 5 011条纹测量结果 Figure 5 Measurement results of 011 fringe

图5显示了不同照明模式计算出的同一被物体的三维数据。由图可知:投影序列011所计算出的三维数据最不理想,没有明显的区分度,其误差较大,见图5(c)、(d)给出的数据;投影序列01所计算的结果比序列011好一些,但误差还是很大;投影序列001所计算出的结果是最好的,能看出明显的层次变化,各数值之间的误差也小很多。但因为投影位置和相机焦点未对准的原因,导致了阴影的出现,所以在间隔处的计算偏差较大,但各物体的轮廓都能被清晰地分辨。

采用多周期平均方法可减小误差,本实验分别采集了2个周期(48张)和3个周期(72张)的图像进行对比处理(以投影001序列为例)。图6图7为多周期计算的结果。

图 6 01条纹测量结果 Figure 6 Measurement results of 01 fringe

图 7 001条纹测量结果 Figure 7 Measurement results of 001 fringe

图8恢复的结果可知,拍摄多周期进行测量并没有使恢复的结果发生太大的变化,故以数值的方式比较其误差和运算时间,如表1所示。

表 1 多周期测量三维形状的误差和运行时间 Table 1 Errors and operation times of multi-period measurement of three-dimensional shapes

图 8 不同周期测量的三维形状图 Figure 8 Different -period measurement of three-dimensional shape map

图8表1可以看出:拍摄多周期图像可使实验误差减小,且拍摄周期越长,误差越小,但相应的拍摄时间和运算时间会更长;计算方式不同不会影响误差的大小,但求均值后再进行离散傅里叶计算,所需的时长会更短。

3 结 论

本文通过将结构光投影法与散焦法相结合,证明了计算投影散焦度测量被测物三维信息是有效可行的。与传统结构光投影法相比,本文方法可以有效测量被测物的距离,对无明显特征表面的测量结果较好,能很好地分辨出物体轮廓,但测量误差相较于其他测量方法还较大,过渡点上会有较大峰值出现,且拍摄周期过长。

参考文献
[1] CHEN F, BROWN G M, SONG M M. Overview of 3-D shape measurement using optical methods[J]. Optical Engineering, 2000, 39(1): 10–22. DOI:10.1117/1.602438
[2] 毛翠丽, 卢荣胜, 董敬涛, 等. 相移条纹投影三维形貌测量技术综述[J]. 计量学报, 2018, 39(5): 628–640. DOI:10.3969/j.issn.1000-1158.2018.05.07
[3] 曹淞翔. 基于双目视觉的三维重建[J]. 通讯世界, 2018, 25(12): 236–238. DOI:10.3969/j.issn.1006-4222.2018.12.153
[4] ZUO C, FENG S J, HUANG L, et al. Phase shifting algorithms for fringe projection profilometry: a review[J]. Optics and Lasers in Engineering, 2018, 109: 23–59. DOI:10.1016/j.optlaseng.2018.04.019
[5] JALKIO J A, KIM R C, CASE S K. Three dimensional inspection using multistripe structured light[J]. Optical Engineering, 1958, 24(6): 246966.
[6] PAN X J, WU J Y, LI Z L, et al. Self-calibration for linear structured light 3D measurement system based on quantum genetic algorithm and feature matching[J]. Optik, 2021, 225: 165749. DOI:10.1016/j.ijleo.2020.165749
[7] 王朋. 飞行时间法成像系统与应用研究[D]. 湘潭: 湘潭大学, 2019.
[8] 何立新. 单目视觉图像深度测量方法研究[D]. 合肥: 中国科学技术大学, 2018.
[9] 王海娟. 基于散焦图像的深度估计的研究[D]. 青岛: 中国海洋大学, 2011.
[10] KLARQUIST W N, GEISLER W S, BOVIK A C. Maximum-likelihood depth-from-defocus for active vision[C]//Proceedings of the 1995 IEEE/RSJ International Conference on Intelligent Robots and Systems. Human Robot Interaction and Cooperative Robots. Pittsburgh, PA, USA: IEEE, 1995: 374-379.
[11] NAYAR S K, WATANABE M, NOGUCHI M. Real-time focus range sensor[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996, 18(12): 1186–1198. DOI:10.1109/34.546256
[12] 左超, 张晓磊, 胡岩, 等. 3D真的来了吗?——三维结构光传感器漫谈[J]. 红外与激光工程, 2020, 49(3): 0303001.
[13] LEI S Y, ZHANG S. Flexible 3-D shape measurement using projector defocusing[J]. Optics Letters, 2009, 34(20): 3080–3082. DOI:10.1364/OL.34.003080
[14] ZHANG L, NAYAR S. Projection defocus analysis for scene capture and image display[J]. ACM Transactions on Graphics, 2006, 25(3): 907–915. DOI:10.1145/1141911.1141974