光场有别于传统的二维图像,是对场景空间中既包含位置信息、又包含方向信息的所有光线的四维光辐射场的参数化的表示^[1]。传统相机对拍照的要求高,尤其是面对高速运动或是多目标场景拍摄时,经常出现离焦等现象。如抓拍高速运动物体,要减少高速运动的物体造成的运动模糊,如果减少曝光时间,则图像过暗;若增大孔径,则景深过小,造成背景模糊^[2]。当面对多目标场景,除聚焦点之外的物体则难以成像清晰。与之相对的，光场成像技术通过先拍摄后聚焦的技术提供了解决这些问题的新途径。它可以记录场景中自由光线传播的四维位置和方向信息,比传统的相机记录的内容更加丰富，增加了两维方向信息^[1];通过数字重聚焦技术,还可以在拍摄之后重新选择焦点或是全景深融合,解决离焦或背景模糊等问题^{[3, 4]}。

光场图像信息在存储时有别于传统的二维图像：普通二维图像存储为RGB二维矩阵；光场图像为了在保留位置信息的前提下,增加方向信息,用四维光场模型(其中位置坐标两维,方向坐标两维)来表示。如图 1所示,光线L(u,v,s,t)在空间中沿直线传播^[5]。根据Levoy的光场渲染理论^[6],空间中携带强度和方向信息的任意光线,都可以用两个平行平面来进行参数化表示。因此,光场中的每条光线都可以用L(u,v,s,t)表示，其中,[u,v]代表位置信息,[s,t]代表方向信息^[7]。图 1中d为两个平面间的距离,模型化距离为1,而在实际进行光场变换的过程中,d会随着焦点的改变而改变。

图 1

Fig. 1

图 1 光场的参数化 Fig. 1 The parameters of the light field

作为光场成像中的核心技术之一,数字重聚焦的方法有很多,主要可以分为基于空间域的积分投影^{[8, 9]}和基于傅里叶切片定理的信号处理的方法(以下简称傅里叶切片定理)^{[4, 5, 6, 7, 8, 9, 10]}两大类。基于空间域的投影积分法,主要是对光线沿光路的投影积分。鉴于光场数据是四维的,因此,计算相对比较繁琐;相较于前者,基于频域的信号处理的方法为我们提供了一个全新的关于光场图像的处理视角^[11],使得关于光场重聚焦的推导过程更加严密,同时,这种完全不同的算法在数字重聚焦的计算方面更加快捷^{[4, 5, 6, 7, 8, 9, 10, 11, 12]}。无论是在计算性还是理论性,基于傅里叶切片定理的信号处理的方法,都是优于空间域的计算方法。

本文将频域处理方法用在光场成像数字重聚焦算法中,建立像素光场模型,提出一种基于像素光场的傅里叶切片方法,并给出推导过程。从计算简便性和理论优越性方面,与空间域积分投影法进行比较分析,实验证明傅里叶切片法的优势。

无论是积分投影法还是傅里叶切片法,都是基于光场理论。光场理论基于光场渲染理论,即当已知某平面位置的光场信息,则该光场在移动一定距离后,光场信息发生转变,聚焦点也随之变化^[6]。如图 2所示，A、B、C三个物体具有不同的深度，传统相机的聚焦面只能在一定深度，如图 2所示的物体理想位置。此时，A清晰成像，B和C则模糊。同量，当聚焦面移动到其他位置，亦会导致其它物体离焦而不清晰。光场成像理论则不同，依靠在主透镜和CCD之间添加的微透镜阵列,图 3所示,光线穿过微透镜阵列到达CCD,与二者的交点分别为[Mp_x,Mp_y],[Ip_x,Ip_y],位置信息已经记录;对于同一条光线,将二者对应坐标相减,可得到偏移量,即光线的方向信息,这样,不仅记录了场景光线的位置信息,同时可以记录其方向信息^[13]。经过数学变换,可以有效还原场景的三维信息。

图 2

Fig. 2

图 2 成像示意图 Fig. 2 The schematic diagram of imaging

图 3

Fig. 3

图 3 透镜阵列空间复用原理< Fig. 3 The principal of spatial multiplexing

当光场从一个平面传递到另一个共轴的平行平面时,它的位置坐标[u,v]可以表示为

一条光线与两平面分别相交于O和O_d，这两个平面的距离d=1，直线OO′与两平面垂直。因此,第一个平面上的O点就表示位置信息[u,v]^T,而向量O′O_d表示方向信息[s,t]^T。由此可得,光线OO_d可以表示为[u,v,s,t]^T。 在理想成像面处放置透镜阵列,在透镜阵列1倍焦距(微透镜阵列的焦距)处放置CCD感光器件,如图 3所示。根据高斯成像原理,1倍焦距处的成像是平行入射光线所致。CCD上对应同一个小透镜,不同的像素来源于不同方向的光线。因此CCD的像素位置光与其小透镜中心位置的偏移量为[p_x,p_y]^T,相当于光线的方向。

首先将相机获得的光场信息转化为标准的光场描述。考虑到像素尺寸大小p_w,微透镜焦距f_m,则光场的方向描述[s,t]^T可由下式得到

光场位置描述[u,v]^T可由透镜中心的像素坐标([grid_x,grid_y]^T)转换得到

由此可得到标准光场描述

基于频域的傅里叶切片法,提出一种全新的快速的光场图像数字重聚焦算法。傅里叶中心切片定理最早是由Bracewell 在无线电航天领域提出的，其表述为二维函数的傅里叶频谱的一维切片,即为其二维函数的正交投影积分的傅里叶变换。因为在频域空间的起点,函数的信号值是直流量,不随时间变化^{[16, 17]}，因此,旋转或者剪切等操作,是不会产生任何影响。为了将二维空间延伸至四维空间,同时方便操作,需要引入切片算子B。

根据式(1),对当前透镜阵列所在平面的光场进行变换,改变成像平面的位置,该位置变量由距离d决定。将式(4)代入式(1)可得

由式(4)可知

式(4)的比例因子、像素大小和微透镜焦距只是一个常量,只是描述的光场坐标系和像素坐标系的变换,因此在傅里叶切片法中将不强调像素坐标和实际坐标的变换。因此,光场变换只需要对(grid_x,grid_y, p_x,p_y)进行四维傅里叶变换。由式(5)和式(6)可得

其中

然后进行数字重聚焦。首先进行四维傅里叶变换

根据切片算子B,在四维光场中选择适当的二维切片。然后利用4阶插值,每个透镜都对同一点进行重采样;然后,直接忽略到傅里叶变换下(p_x′,p_y′)坐标对应的数据,即将其设置为0,得到二维图像频谱为

之后进行二维傅里叶反变换

得到二维图像表达式

在实际的求和运算中,忽略像素和微透镜焦距等常量,直接对同一个透镜的所有像素(p_x,p_y)进行求和即可。

整个傅里叶切片算法中,主要分为预处理(傅里叶变换)、重聚焦和后处理(傅里叶反变换)。主要的过程是:

(1) 预处理。对得到的光场图像,首先进行建模,转化为像素光场模型;然后通过快速傅里叶变换计算其四维傅里叶变换。这一步计算复杂度为O(n⁴log₂n)。

(2) 数字重聚焦。对于在光场内的任一期望的焦平面在d处的重聚焦都是可以完成的。利用式(9)、式(10)对经过傅里叶变换的F(grid_x,grid_y,p_x,p_y)提取傅里叶切片,对应到像素光场,求所有微透镜对同一点的重采样,然后直接忽略傅里叶变换下坐标p_x′与p_y′对应的数据,将其直接设为0。这样,四维数据简化为两维，这一步的计算复杂度为O(n²)。

(3) 计算二维傅里叶切片的反变换,对每个透镜下的像素求和,即可得到理想深度d下的重聚焦图片。这一步的计算复杂度为O(n²log₂n)。

作为解决同一问题的不同方法,基于空间域的积分投影法和基于频域的傅里叶切片法,都可以完成数字重聚焦的工作。图 4为两种不同的重聚焦算法的示意图。图 5(a)、(b)分别为空间域和频域同时在d=-7处的聚焦效果图对比。图 5(c)为二者相减得到的像素差的伪彩色图。其中,图像的存储数据类型为无符号16位(uint 16),范围是0~65 535。伪彩色图的数值范围为0,65,与数据相差三个数量级,误差率小于65/65 535≤1×10^-3,即0.1%,近似相等。

因其看待问题的角度不同,因而在算法的具体实现上,二者的繁易程度会有差别。积分投影法的计算复杂度主要集中在积分投影部分。由于正反傅里叶变换是公式化的,因此,傅里叶切片法的计算复杂程度主要取决于两侧的投影积分和二维傅里叶切片。由图中可以看出,频域内的计算复杂度为O(n²),空间域内的为O(n⁴)。显然,傅里叶切片法要比积分投影法快捷许多。

图 4

Fig. 4

图 4 两种不同重聚焦算法示意 Fig. 4 Schematic ofthe two different algorithms

图 5

Fig. 5

图 5 空间域和频域效果图和伪彩色图 Fig. 5 Effects of the two ways and pseudo-color map

如图 6所示,对同一深度连续聚焦21次的时间对比。可以看出,这就验证了上述理论的正确性,傅里叶切片法比前者有更快的运行速度。

图 6

Fig. 6

图 6 两种方法的时间对比 Fig. 6 Comparison of time consuming of the two methods

不同于空间域的算法,基于频域的傅里叶切片法,首先对四维光场进行预处理,然后傅里叶变换,在频域完成数字重聚焦后,再将图像由频域反变回空间域。RGB三通道分别进行傅里叶变换,然后对每个透镜进行重采样来进行光场重聚焦:首先寻找二维切片的坐标(p_x′,p_y′),然后利用立方插值,通过二维切片坐标,根据新的焦点,对光场图像进行重采样^[18],即数字重聚焦;最后,非数字数据全部置零,经傅里叶反变换,即可得到新的焦点下的重聚焦图像。其中,图 7为像素光场raw图像，图 8为重聚焦图像。图 8(a)是焦点在前方(靠近镜头处),图 8(b)是焦点在后方(远离镜头处)，图 8(c)为近景聚焦,图 8(d)为远景聚焦。

图 7

Fig. 7

图 7 像素光场raw图像 Fig. 7 Raw picture in the pixelated light field

图 8

Fig. 8

图 8 重聚焦对比图 Fig. 8 Comparison of 2D slice refocus

本文提出基于像素光场的傅里叶切片算法实现光场重聚焦。基于光场空间复用的原理推导出标准光场与像素光场的关系,并将空间变换转化到像素光场上。根据傅里叶变换原理推导出在频域的光场重聚焦等效方法。通过理论分析,两者是等效的,且时间复杂度上频率的傅里叶切片方法更小。实验表明,与空间域相比在达到同样效果的前提下,同样可以完成光场重聚焦的功能,而且具有更快的运行速度,在处理大数据的情况下优势明显。