2017, Vol. 39
Issue (1): 31-40
光场成像由于获取了光辐射的完整分布, 可以通过光场信息重构算法的数据处理手段计算出所需的对焦图像[1-2]。光场相机通过四维坐标系参数表征出空间内光辐射位置信息和方向信息, 因此与传统相机的二维图像相比多出了两个自由度。相较于传统成像, 光场成像的优势在于无需机械调焦, 只需通过数据处理即可得到不同景深的清晰图像, 由于可在重构之前对光辐射相位误差进行校正, 从而能够消除几何像差, 降低成像质量对于光学器件性能的依赖性。光场成像过程包括了光场数据的采集和光场数据转换为图像的过程。
光场的概念最初由Gershun提出, 用来描述三维空间内光线的传输特性[3-4]。Adelson等提出用光线的三维坐标、光线传输方向、光线波长及时间多个参数表征光场函数[5], 而Levoy等将光场函数表示为四维, 并提出用两个平行的平面对四维光场进行参数化表征[6]。在几何光学中, 光场是指光线强度在三维空间中的位置分布和方向分布, 可采用双平面参数来表征光场。现实中的成像系统都可以简化为两个平行的平面, 将微透镜阵列加入到传统成像系统中, 就可以对光场信息进行采集, 通过对探测器上每个点所接受的光线进行积分, 最终对所采集光场数据进行处理得到所需要的对焦图像[7-8]。为了提高光场信息采集的便捷性, Adelson等提出了一种光场相机的原理结构[9], 随后Ng等简化了之前光场相机设计[10], 设计出了手持式光场相机, 即传统非聚焦型光场相机, 再后来Lumsdaine等提出了改进的聚焦型光场相机的设计[11]。
本文对非聚焦型光场相机和聚焦型光场相机的成像原理和采样模式进行了详细的分析, 在此基础上针对不同的光场成像模式, 推导了适用的光场图像重构算法。
1 两种光场相机的结构及采样原理 1.1 非聚焦型光场相机结构及采样原理如图 1所示为非聚焦型光场相机的结构示意图, 由主镜头、微透镜阵列和探测器 (亦称为接收器) 组成。微透镜阵列位于主镜头像面位置, 探测器放置于微透镜的后方焦面位置。微透镜阵列上每个微透镜的孔径与焦距都一致。由于微透镜尺寸远远小于主透镜像距, 所以可近似理解为主镜头位于微透镜无穷远处。将每个微透镜看作一个独立的成像系统, 那么主透镜主面与探测器所在平面满足共轭关系。每个微透镜后所成的像包含了该图像在探测器坐标位置上的角度信息, 微透镜记录了图像的位置信息。
|
图 1 非聚焦型光场相机结构示意图 Figure 1 Diagram of the unfocused plenoptic camera |
在此成像系统中, 光线辐射的转换满足
|
(1) |
式中:r′为入射光线辐射; r″为透过光线辐射; A为成像公式矩阵。对非聚焦型光场相机结构, A只与微透镜焦距f有关, 可表示为
|
(2) |
将每一个微透镜对应在探测器上的成像范围称为一个微透镜图像, 根据式 (1), 探测器上某个像素可以得到来自所有方向的光线辐射。所以位于主镜头像平面上的空间点, 其所有角度方向光线被微透镜阵列投影到探测器上, 而一个角度方向的所有物点信息包含在所有微透镜图像中。
1.2 聚焦型光场相机结构及采样原理如图 2所示为聚焦型光场相机, 由主镜头, 微透镜阵列和图像接收器组成, 与非聚焦型光场相机的区别在于三者的共轭成像关系不同。
|
图 2 聚焦型光场相机结构示意图 Figure 2 Diagram of the structure focused plenoptic camera |
在聚焦型光场相机中, 微透镜阵列聚焦于主镜头像方某个面, 每一个微透镜可看作一个独立的相机, 将所拍摄到的部分信息成像在图像接收器上, 微透镜的像平面可能位于微透镜前方或后方。每个微透镜所在的位置满足高斯公式
|
(3) |
式中:a为微透镜阵列到主透镜某一像面的距离, b为微透镜阵列到接收器的距离, f为微透镜阵列的焦距。
每一个微透镜采集了某个像面的角度信息与空间信息的光线, 主镜头像方图像被聚焦在距微透镜为a的平面上, 每个微透镜将像成于距离为b的接收器上。假设微透镜对主镜头像方的某个面上坐标为 (q, p) 的光线进行采集, 该条光线在某个像面的辐射r′(q, p) 与接收器上的辐射r″(q, p) 的关系可以根据式 (1) 得出, 其中
|
(4) |
因而, 接收器上所采集到微透镜像面光强分布为
|
(5) |
式中:r′、r″分别为入射、出射光线辐射; v为积分区域。如图 3所示, 微透镜采集的图像积分范围为D/b(D为微透镜通光口径), 由此可以看出微透镜所采集的图像受到其孔径大小D的限制。
|
图 3 聚焦型光场相机中一个空间点在单个微透镜中的角度采样范围图 Figure 3 One spatial point corresponding to a range of angular sampling at a microlens in the focused plenoptic camera |
在聚焦型光场相机中, 图像接收器不在微透镜阵列的焦面上, 而是在微透镜阵列对主镜头像方某一平面成共轭的像面上, 微透镜阵列可以从不同视角对该空间点进行采集。这样使得空间与角度信息之间可以更灵活地转换, 确保了光线信息得到更高效的利用, 因此聚焦型光场相机可以拍摄更高分辨率的图像。
2 两种光场重构算法原理及其仿真针对两种不同结构的光场相机, 相应的图像重构算法也不同。空域平移叠加算法是针对非聚焦型光场相机的一种基本算法, 而基础算法则是针对聚焦型光场相机的一种图像重构算法。以下分别对两种算法进行推导, 并在MATLAB中进行算法验证, 将不同的光场图像分别实现数字重聚焦效果。
2.1 用于非聚焦型光场相机的空域平移叠加算法 2.1.1 空域平移叠加算法原理空域平移叠加算法是将所获得的光场数据重新投影到需要对焦的像平面上进行积分[12]。如图 4所示, L(u, s) 为所采集的光场数据, U和S分别表示主镜头所在平面和微透镜阵列所在平面, 两平面之间的距离为d。选择一个需要的对焦面S′, 距离U的距离为d′, 令d′=αd。此时, 对US′之间的光场进行积分就可以得到S′面上的对焦图像的光强, 即
|
(6) |
|
图 4 空域平移叠加光场采样 Figure 4 Spatial domain shift-add light field sampling |
式中:L′(u, s′) 为所采集光场数据; I(s′) 为对焦图像的光强。
对于同一条光线, 有L(u, s′)=L′(u, s′) 代入式 (6) 中。根据该光线与不同平面交点坐标可得到关系
|
(7) |
变换后得到
|
(8) |
从式可看出, 空域平移叠加算法就是对光场数据在位置维度进行平移后再在方向维度进行积分的过程, 亦是将光场图像数据中每个微透镜图像中相同位置的一个像素提取进行拼接, 得到不同位置的子图像, 通过选择所需对焦物体, 选择物体所在景深为基准进行子图像间的平移和叠加, 由于拍摄场景其他景深物体不能完全融合产生模糊现象, 最终得到所选目标物对焦清晰的重构图像。
2.1.2 空域平移叠加算法仿真实验通过非聚焦型光场相机硬件系统获得光场图像, 所使用非聚焦型光场相机参数如表 1所示, 并在MATLAB中对光场图像进行重构, 得到不同景深图像。图 5为非聚焦型光场相机实验装置图。
|
表 1 非聚焦型光场相机参数 Table 1 The parameters of the unfocused plenoptic |
|
图 5 非聚焦型光场相机采集光场图像装置图 Figure 5 Schematic of the apparatus to capture the light field image by using the unfocused plenoptic camera |
实验步骤如下:
(1) 采用非聚焦型光场相机硬件系统得到光场图像。
(2) 进行子图像提取。对每个微透镜图像相应位置提取单个像素进行拼接, 得到328×393不同位置的子图像。
(3) 根据选择的对焦目标物, 对所有子图像进行相对平移。
(4) 将平移后的子图像进行叠加, 得到数字重聚焦的重构图像。
使用光场相机拍摄目标场景, 得到的光场图像如图 6(a)所示, 图 6(b)为光场图像部分人体胃部模型及部分图书区域的放大图像。通过空域数字重聚焦算法处理后得到的重构图像如图 7所示, 图 7(a)对器官模型进行聚焦, 图 7(b)对书本进行聚焦, 可以明显发现两目标物都得到清晰的像, 而其余景深物体为模糊状态。
|
图 6 非聚焦型光场相机光场图像及其部分微透镜图像 Figure 6 The light field image by using the unfocused plenoptic camera and the part of micro-images in the light field |
|
图 7 空域平移叠加算法对近景及远景聚焦 Figure 7 Space domain shift-add algorithm to render the near target and the far target |
基础图像重构算法是针对聚焦型光场相机的一种图像重构算法[13], 由于聚焦型光场相机的成像采集过程与非聚焦型光场相机存在差异, 物体上每个点都被微透镜阵列所采集并被探测器接收, 所以场景中单个物点被多个微透镜所采集。因此在图像重构过程中, 需要提取每个微透镜图像中一定空间范围内的采样信息, 以此来对一个角度方向进行图像重构。
若微透镜阵列中每个透镜之间的间距为μ, 那么图像探测器接受到所对应微透镜采集图像像素范围为μ×μ, 此时选取每个微透镜图像间图像信息连续且大小为M×M部分像素 (其中M≤μ), 将其定义为“图像块”尺寸, 根据几何成像的原理, 将选取的所有图像块进行拼接, 可以重构出对应于不同景深的重聚焦图像, 如图 8所示。
|
图 8 图像块拼接重构原理示意图 Figure 8 Geometry of tiling all patches together into the rendering image |
另一种对该重构方法的解释是, 若重构算法中图像块的大小为M×M, 如图 8所示, 根据几何成像原理可得
|
(9) |
由式 (9) 可知, 不同图像块的尺寸对应着不同的景深。由于对近景图像的重构能够获得每个微透镜成像范围内更大尺寸的像素, 因此距离微透镜阵列较近的像面可以被重构出比距离微透镜阵列较远像面更高分辨率的图像[14-15]。
图 9所示为基础图像光场重构算法的解释, 假设光场图像尺寸为Nx×Ny, 微透镜图像尺寸为μx×μy, 图像块尺寸为M×M, 最终重构图像尺寸为Nx·M×Ny·M。
|
图 9 基础图像光场重构算法图示 Figure 9 Basic plenoptic rendering algorithm |
由于在对某一固定图像块尺寸进行重构时, 不同景深目标的边缘无法全部实现完美匹配, 因此该算法最终重构出的图像只有某一选定景深目标是清晰的, 其余景深目标均被模糊。被清晰重构的目标景深与重构时选择的图像块尺寸直接相关。
2.2.2 基础图像重构算法仿真利用MATLAB模拟聚焦型光场相机成像模型, 所建模型的光学系统参数如表 2所示, 分别对三个不同图像以不同景深进行成像, 并使所得到的三幅图像相互之间不形成遮挡, 最后通过将模拟成像的三个光场图像叠加得到包含多个景深信息的光场图像。
|
|
表 2 聚焦型光场相机模拟光学系统参数 Table 2 The simulation parameters of the focused plenoptic camera optical system |
实验步骤如下:
(1) 在MATLAB中建立聚焦型光场相机成像模型, 得到多景深目标的光场图像。
(2) 根据目标物距, 根据式 (9) 计算出对应的图像块尺寸M, 并对M做取整运算。
(3) 提取光场图像的微透镜图像, 并记录其坐标位置。
(4) 以每个微透镜图像中心为中心原点, 以M为大小进行图像块截取。
(5) 将所有微透镜图像中截取的图像块, 按照所属微透镜在光场图像中的坐标位置进行拼接, 得到该景深聚焦情况下的重构图像。
根据图 2聚焦型光场相机结构图在MATLAB中建立仿真成像模型, 并在软件中对如图 10所示的场景进行构建, 分别取物距为a1=15 mm、a2=25 mm和a3=40 mm三个不同目标, 坐标y=0的平面为聚焦型光场相机模型所在平面, 经过仿真后得到光场图像如图 11所示。
|
图 10 聚焦型光场相机模拟场景示意图 Figure 10 The simulation scence of the focused plenoptic camera |
|
图 11 经过MATLAB仿真得到包含多个景深信息的光场图像 Figure 11 The light field image contains multiple depths on MATLAB |
对包含多景深信息的光场图像使用基础图像重构算法, 根据仿真图像所在不同物距及式 (9) 的变形式M=μb/a得到不同景深对应的适当图像块尺寸。以a=15 mm时为例, 理想的图像块尺寸实际计算值为M=2.8像素, 由于像素数必须取整, 所以允许对实际运算值进行四舍五入, 因此该物距条件下, 图像块尺寸应为M=3像素。仿真实验中不同物距图像块大小如表 3所示。
|
|
表 3 不同景深重构图像块大小 Table 3 The patch size of different depths |
当a1=15 mm时, 得到重构图像如图 12所示。由图可观察到该物距图像的边缘得到了很好的匹配, 实现了重聚焦的效果, 同时在物距a2和a3上的目标物产生了模糊现象。
|
图 12 a1=15 mm重构图像 Figure 12 Rendering image at a1=15 mm |
当a2=25 mm和a3=40 mm时, 结果如图 13所示。由于所选目标物所处位置较远, 根据式 (9) 随着景深a变大, 图像块尺寸M随之减小, 使得最终重构图像分辨率较景深较浅的图像有所降低。由于图像块尺寸变小, 重构图像内其他景深目标物边缘未能出现明显的模糊现象, 故对远距离目标重构时, 会产生类似于全景深聚焦的效果。
|
图 13 a2=25 mm和a3=40 mm重构图像 Figure 13 Rendering images at a2=25 mm and a3=40 mm |
在非聚焦型光场相机中, 探测器位于微透镜阵列的焦平面上, 微透镜阵列对无穷远处的物体进行成像, 将一个空间物点的所有角度方向信息采集于一个微透镜图像中, 而一个角度方向的所有物点信息包含在所有微透镜图像中, 即在非聚焦型光场相机中, 子透镜图像中的一个像素表示来自光场内一个角度方向的信息, 不同方向的子图像尺寸与微透镜阵列数相等, 通过空域平移叠加算法, 虽然能够重构图像, 但其分辨率受到非聚焦光场相机自身器件的限制。而在聚焦型光场相机中, 图像探测器不在微透镜阵列的焦面上, 是在微透镜阵列对主镜头像方某一平面的共轭像面上, 微透镜阵列可以从不同视角对该空间点进行采集, 即一个空间点被多个微透镜所采集, 空间与角度信息之间的转换不会受到微透镜阵列数的限制, 并且由于与非聚焦型光场相机的微透镜阵列与主透镜位置放置的区别, 聚焦型光场相机可以选用相对较大尺寸的微透镜, 通过基础图像重构算法对微透镜图像进行图像块选取并拼接, 所得到的重构图像尺寸远远高于微透镜阵列数。这样使得空间与角度信息之间可以更为灵活的转换, 确保了光线信息得到更高效的利用, 因此与非聚焦型光场相机相比, 聚焦型光场相机可以拍摄出更高分辨率的图像。实验发现, 针对两种不同模式的光场相机, 两种光场重构算法都能得到不同景深的重聚焦图像, 实现数字重聚焦功能, 且聚焦型光场相机能够获得更高分辨率的图像。
| [1] | IVES F E.Parallax stereogram and process of making same:U.S, US725567A[P]. 1903-04-14. |
| [2] | LIPPMANN G. preuves réversibles.Photographies intégrale[J]. Comptes Rendus de l'Académie des Sciences, 1908, 146: 446–451. |
| [3] | GERSHUN A. The light field[J]. Journal of Mathematics and Physics, 1939, 18(1/2/3/4): 51–151. |
| [4] | GERSHUN A. The light field[M]. Cambridge: Massachusetts Institute of Technology, 1939: 13-15. |
| [5] | ADELSON E H, WANG J Y A. Single lens stereo with a plenoptic camera[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 99–106. DOI:10.1109/34.121783 |
| [6] | LEVOY M, HANRAHAN P.Light field rendering[C]//Proceedings of the 23rd annual conference on computer graphics and interactive techniques.New York:ACM, 1996:31-42. |
| [7] | LEVOY M. Light fields and computational imaging[J]. Computer, 2006, 39(8): 46–55. DOI:10.1109/MC.2006.270 |
| [8] | BRADY D J. Optical imaging and spectroscopy[M]. Hoboken: Wiley, 2009: 25-52. |
| [9] | ADELSON E H, BERGEN J R.The plenoptic function and the elements of early vision[M]//LANDY F M, MOVSHON J A.Computational models of visual processing.Cambridge:MIT Press, 1991:1-25. |
| [10] | NG R, LEVOY M, BRÉDIF M, et al.Light field photography with a hand-held plenoptic camera[R]. Stanford Technical Report CTSR 2005-02, Palo Alto:Stanford University, 2005:1890-1911. |
| [11] | LUMSDAINE A, GEORGIEV T.The focused plenoptic camera[C]//Proceedings of 2009 IEEE international conference on computational photography.San Francisco:IEEE, 2009:1-8. |
| [12] | NG R. Fourier slice photography[J]. ACM Transactions on Graphics, 2005, 24(3): 735–744. DOI:10.1145/1073204 |
| [13] | GEORGIEV T, LUMSDAINE A. Focused plenoptic camera and rendering[J]. Journal of Electronic Imaging, 2010, 19(2): 021106. DOI:10.1117/1.3442712 |
| [14] | LUMSDAINE A, GEORGIEV T.Full resolution lightfield rendering[R]. Adobe Technical Report, Adobe Systems, 2008. |
| [15] | 张薇, 郭鑫, 尤素萍, 等. 混合式光场相机在聚焦与非聚焦模式下的超分辨重聚焦仿真 (英文)[J]. 红外与激光工程, 2015, 44(11): 3384–3392. |