面部是人们在相互交往中最惹人注目的部位,因而成了情感表达与身份识别最重要的载体。随着计算机技术的发展,人脸的三维造型已经成为模式识别技术和计算机图形学一个重要的研究领域。在人脸识别时,利用三维造型可以降低人脸表情、姿态、光照变化等影响,大大提高识别率。在人机交互、影视动画、游戏娱乐等场合也大量运用到三维造型技术。一般来讲,对物体表面形状的三维重建,通常有基于几何信息和基于光度信息两类方法。基于几何信息的方法,往往涉及到图像传感器的标定、特征提取、立体匹配等,计算过程较为复杂,从而重建时间较长。而基于光度信息的方法,仅仅利用图像的灰度信息来重建物体表面的三维形状,原理相对简单,因而重建速度较快^[1]。

近年来,由单幅或多幅图像的灰度信息来重建物体表面的三维形状已经成为图像处理中一个重要的研究方向。明暗恢复形状(shape from shading,SFS)和光度立体法(photometric stereo,PS)是两种典型的基于光度信息的重建方法。SFS是在20世纪70年代由MIT的Horn^[2]为了解决月球表面的三维形状重建时提出的,目标就是利用单幅图像的明暗变化来恢复物体表面各点的相对高度,其技术原理简单、适用性强,应用领域非常广泛^{[3, 4, 5, 6]},其中一个重要的应用就是人脸重建^{[1, 6]}。传统的基于SFS的人脸重建方法通常假定人脸表面为Lambert表面,其反射特性遵循Lambert定律。而对于实际的漫反射表面,使用Lambert模型来计算物体表面的辐射亮度被证实是不精确的^{[7, 8]}。为了准确解决人脸表面的三维形状重建问题,本文设计了一种基于非Lambert从明暗恢复形状(NL-SFS)方法的三维人脸快速重建系统:首先介绍了重建系统的硬件结构,然后分析了重建系统的软件设计,最后对系统进行了实验验证。

基于NL-SFS方法的三维人脸重建系统由被重建人脸表面、光源、摄像机、计算机等构成。整个系统如图 1所示,图中人脸表面某点处的方向向量为n,光源的方向向量为L,摄像机的方向向量为V。

图 1

Fig. 1

图 1 基于NL-SFS方法的三维人脸重建系统结构示意图 Fig. 1 The schematic diagram of a 3D face recovery system based on NL-SFS approach

系统中,人脸表面接收光源的照射,反射的光线由摄像机镜头汇聚至成像面。摄像机最终获得的图像灰度信息即为图像辐照度,它记录了人脸表面的辐射亮度。图像信息经数据线(USB、网线或火线)进入计算机,计算机根据人脸的图像辐照度由系统软件计算得到人脸的三维形状,进而重建出人脸表面。

为了表述人脸表面的辐照度,建立三维笛卡尔直角坐标系O-xyz:摄像机成像面为xy平面,光轴与z轴重合。在摄像机遵循正交投影条件下,利用SFS技术重建人脸三维形状实质上就是求解人脸表面的图像辐照度方程

对于传统的基于SFS的人脸重建方法通常假定人脸表面为Lambert表面,其反射特性遵循Lambert定律。若已知光源的方向向量为L=[p_s,q_s,-1]^T,摄像机的方向向量为V=[p_c,q_c,-1]^T,其中p_s,p_c和q_s,q_c分别为光源、摄像机方向向量在x和y轴的分量。此时,人脸表面的图像辐照度方程(1)为

然而,对于实际的漫反射表面,Oren和Nayar证实了使用Lambert模型来计算物体表面的辐射亮度被证实是不精确的^{[7, 8/span>]}。为了准确解决人脸表面的三维形状重建问题,本文使用文献^[7]、^[8]提出的非Lambert模型——Oren-Nayar模型描述其反射特性,这更接近于人脸表面实际的反射特性。Oren-Nayar模型将物体的表面视为由许多V型槽构成,且V型槽中两个微平面的斜率相同但方向相对,表面的粗糙度定义为微平面方向的概率分布函数。利用Gauss概率分布函数,可以得到人脸表面的反射式

为了使系统运算简便,本文设计的三维人脸重建系统中使光源与摄像机共线,即θ_i=θ_r=α=β,φ_r=φ_i,反射式(4)简化为

重建系统软件设计的核心任务就是求解人脸表面的图像辐照度方程(8)。针对快速重建的需求,同时根据方程的特点,利用fast marching方法^{[9, 10]}设计了求解算法。Fast marching方法最早是由Sethian^[9]提出的一种数值算法,用于快速求解如下形式的Eikonal方程的解，即

求解方程(10),并且满足g(x,y)≥1,得到Eikonal方程的标准形式

考虑重建系统中摄像机获取的图像分辨率大小为(0,m)×(0,n)的一个一致离散域:{(x_i,y_j)=(i h,j h), i=0,1,…,m; j=0,1,…,n},(h,h)定义了fast marching算法中离散网格的大小。根据文献^[10]的计算过程,最终得到方程(11)的解,即人脸三维形状函数z(x,y)的离散近似解z_ij=z(x_i,y_j)

综上,三维人脸重建系统整个软件流程可以归纳为如图 2所示。

图 2

Fig. 2

图 2 基于NL-SFS方法的三维人脸重建系统软件流程图 Fig. 2 The software flow chart of a 3D face recovery system based on NL-SFS approach

为了验证重建系统的快速性及有效性,使用一幅已知三维形状的Mozart人脸图像和一幅实际拍摄的Prados人脸图像进行了实验,实验结果如图 3和图 4所示。

图 3(a)是Mozart人脸三维形状的真实高度值,图 3(b)为其灰度图像;图 3(c)是使用本系统重建的Mozart人脸三维形状,系统软件的运行时间为0.9s,达到了快速重建的要求;图 3(d)为(c)与(a)之间的高度误差图,为了定量评价重建系统的有效性,使用高度平均相对误差作为评价指标,其计算结果为0.43%,从上述结果可以看出,本系统具有较高的重建精度。

图 4(a)是实际拍摄的Prados人脸灰度图像,图 4(b)为使用基于NL-SFS方法重建的Prados人脸三维形状,图 4(c)是使用基于SFS方法重建的Prados人脸三维形状。由图 4(b)和(c)可以看出,基于NL-SFS方法与SFS方法相比,在上额、眼睑、鼻梁、下额及颧骨等处重建的结果更加逼真。总体而言,本系统重建的人脸三维形状的局部细节信息更加真实、有效。

图 3

Fig. 3

图 3 Mozart人脸图像实验结果 Fig. 3 The experimental results of the Mozart’s face

图 4

Fig. 4

图 4 Prados人脸图像实验结果 Fig. 4 The experimental results of the Prados’s face

本文设计了一种基于NL-SFS方法的三维人脸重建系统。系统中,人脸表面采用Oren-Nayar反射模型描述其反射特性,这更接近于人脸表面实际的反射特性,由遵循正交投影的摄像机获取光源作用下的人脸表面灰度图像,建立了人脸表面的图像辐照度方程,将此方程转化为包含人脸表面深度信息的Eikonal方程,利用fast marching方法设计了系统软件。实验结果表明:该系统能够快速,能有效地重建人脸三维形状。