引　言

内窥镜成像技术广泛应用于医学检查和工业检查领域^[1-3]。内窥镜因其体积小巧可以对小型腔内的场景进行成像，例如，直径为5 ~12 mm的内窥镜可以用来检查胃和十二指肠^[4]。然而为了实现较大且清晰的视场，内窥镜成像系统需要复杂的透镜设计。通常情况下，低畸变成像的内窥镜视角小于140º^[5]，即使是常应用于大视场成像的鱼眼镜头，其视角也不会超过180º。镜头设计的局限极大程度地限制了传统内窥镜在狭窄空间中对侧方场景的成像水平。因此，亟需一种超大视角的成像技术解决对狭窄空间全方位成像的问题。

扩大内窥镜视场主要有两种方法。第一种方法是为图像传感器配备大视角复眼。复眼上的微透镜阵列可以捕获不同方向的图像^[6-7]，因此该类型内窥镜具有以大视角观测周围环境的巨大潜力。目前，研究证明一些复眼结构的视角可以扩大到180º用于观测侧方目标^[8-10]，实现大视角成像。然而，在复眼成像系统中，需要光学中继系统实现从半球形全景图像到二维平面图像的转换 ^[11-13]，虽然已有多种先进柔性光电子技术用于电子眼的生产，但由于分辨率有限，图像质量并不理想。复眼因其具有大视角的固有特性，在内窥镜成像系统中的应用前景广阔，但目前发展尚不成熟，需要在微结构设计和高分辨率成像等方面进一步发展^[14]。

另一种方法是利用多个相机集成实现大视场成像技术^[15-17]。在这种多相机成像系统中，每个相机都将沿着其特定的朝向获取图像，该成像技术通过图像匹配将这些相机采集的图像拼接成多相机成像系统的全景图像。目前，基于多相机的超大视角成像技术主要应用于广域场景成像领域，已有研究证明在内窥镜中集成24个相机的成像系统有效可行^[18]，这些相机的集成，可以使得多相机成像系统实现超过180º的成像视角，但其体积庞大难以应用至内窥成像领域。另外，随着加工工艺的提升，镜体趋于小型化，可将其集成到现有的内窥成像设备中，目前多相机成像系统已可集成到胶囊内窥镜中协助手术导航，这对超大视场内窥成像技术具有重要意义^[19]。与复眼结构相比，微型相机成像质量更高，体积更小，并且通过多相机超大视角成像技术扩展内窥镜视场的方法可以大大降低系统的复杂性，但在将多个相机集成到一个多相机成像系统的过程中，同时使得该成像系统体积更小、视角更大也是一项巨大的挑战^[20-21]。

本文提出一种基于多相机的超大视角成像技术，该成像技术包含成像结构和成像模型。成像结构集成了4个商业化的微型相机，这些微型相机的参数为相机装配的计算提供了理论依据。通过微型相机参数可以分析得出成像结构和视角的关系，为建立成像模型提供理论参数支撑，利用成像模型和全景图生成程序制作出具有理想视角的全景图像。最后在本文的实验部分，演示了多相机超大视角成像技术的大视场成像效果，并生成了超大视角全景图像。该技术为多相机内窥成像系统提供了一种超大视场成像方法，相较于新型透镜设计以及复眼技术，该方法借助于当前成熟的图像拼接算法更易实现清晰且大视角的图像。

1 基于多相机的超大视角成像技术结构设计

本文提出的多相机超大视角成像结构由4个微型相机组成。如图1所示，每个微型相机均由一根5 mm长的钢管将一个400×400像素OVM6946相机模块和一个LED环形灯组封装起来。如图1（a）所示，在该成像结构中，每个微型相机以特定角度倾斜形成一种对称结构，为了使成像结构的投影面积更小，4个相机需要以特定的方式紧凑排列，因此需要设计1个夹具固定微型相机。如图1（b）所示，本文设计了一款能够完全包裹所有微型相机的夹具，其内部含有固定角度的斜孔，调整好相机的位置后，可使用UV固化光学胶将4个微型相机包裹在该夹具内，呈现出如图1（b）所示的成像系统。

根据相机的既有参数，本文建立了基于多相机超大视角成像技术的成像模型，如图2（a）所示，每个相机在w_D工作距离下的视场为w×w，每个相机的参数完全相同，并且这些参数的值均可以在实验中测量得到。在成像模型中，首先要将相机与z轴距离l通过式（1）计算确定，并将相机的中点放置在距离z轴l + r的位置上，再使相机分别在x、y轴的正半轴或负半轴倾斜一定的角度，值得注意的是，每个相机倾斜角度均为α。为使成像系统体积更小，需要将相机紧密排列，如图2（b）所示，带有4个相机的成像结构具有4个方向的四重视场，每个相机沿着其特定的朝向获取图像，进而扩展该成像结构的视场。当相机以相同的倾斜角度α相邻放置时，相机与z轴之间有一个偏移距离l，偏移距离决定了多相机成像结构投影面积大小。每个微型相机在xoy平面上的投影呈椭圆形，当相邻两个相机的椭圆形投影相切时，偏移距离l最短，多相机成像结构的紧凑程度最高，投影面积最小。最小偏移距离l与倾斜角度α的关系推导如下

$ l=\left(\sqrt{\frac{1}{{\mathrm{c}\mathrm{o}\mathrm{s}}^{2}\left(\alpha \right)}+1}-1\right)r $

(1)

式中：r为微型相机的半径；α为微型相机倾斜角度；l为微型相机偏移z轴的距离。

多相机成像结构中的相机提供了不同方向的多个视场，视角大小与相机的倾斜角度α有关。随着相机倾斜角度α的增大多相机成像结构的视角会增大，各个相机视场相互重叠的部分也会减少。如果相机倾斜角度过大，多相机成像结构沿z轴正方向的视场会产生盲区。为了避免成像过程中产生盲区，需要限制相机的倾斜角度α，通过推导得出在理想状态下，相机在x或y轴上的最大倾斜角α_max可表示为

$ {\alpha }_{\mathrm{max}}=\mathrm{arc}\mathrm{tan}\left(\dfrac{\dfrac{w}{2}}{\dfrac{L}{2}+{w}_{D}}\right) $

(2)

式中：w为单个相机的成像面的边长；w_D为单个相机的工作距离；L为相机的长度。当倾斜角度α = α_max时，内窥镜的视场会如图2（b）中4个相机的成像面一样两两相切。

由式（1）可知，相机的倾斜角度一旦确定，相机的位置及姿态也将随之确定。此外，夹具内的斜孔用于装配和固定微型相机，因此，夹具结构设计的关键就是夹具内4个斜孔的角度设置，相机的倾斜角度α一旦确定，夹具内斜孔的倾斜角度就随之确定。多相机成像结构的投影面积由相机的倾斜角度α确定，经推导该成像结构的直径D可以表示为

$ D\approx 2\sqrt{{\dfrac{L}{2} \cdot \mathrm{s}\mathrm{i}\mathrm{n}^{2}}\left(\alpha \right)+{\left(2r+l\right)}^{2}} $

(3)

任何参数已知的微型相机都可利用该成像模型设计出多相机超大视角成像系统。

2 基于多相机的超大视角成像系统的视场

单个微型相机的视场角很小，经推导单个微型相机的视场角δ可表示为

$ \begin{split} \delta =& 2 \cdot {\mathrm{arctan}}\left(\sqrt{\left(\left(\dfrac{w}{2}\right)^{2}+\left(\dfrac{w}{2} \cdot \mathrm{tan}\left(\theta \right)\right)^{2}\right)\bigg/\left(\dfrac{L}{2}+{w}_{D}\right)}\right) \\ &\left(0^\circ {{≤}} \theta {{≤}} 45^\circ \right) \\[-1pt] \end{split} $

(4)

其中，θ为xoy平面的方位角（以x正半轴为例，方位在x正半轴上时，θ = 0°）。

在0°≤θ≤45°范围内，由于相机的成像面对称，可以利用0°≤θ≤45°方位的视场角的计算结果，通过对称关系得到剩余的45°＜θ≤360°的方位的视场角。代入已知参数的值可以计算得出单个微型相机的视角约为102º（当θ = 0°时）。

多相机集成的结构可以使成像系统的视角大幅度增大，经推导多相机成像系统的视角δ可表示为：

$ \begin{split} & \delta= \\ &2\cdot {\mathrm{arccos}} \left( \frac{\left(\dfrac{L}{2}+{w}_{D}\right)\mathrm{cos}\left(\alpha \right)-\dfrac{w}{2}\mathrm{sin}\left(\alpha \right)}{ \sqrt{{\left[\left({w}_{D} + \dfrac{L}{2}\right)\mathrm{cos}\left(\alpha \right) - \dfrac{w}{2}\mathrm{sin}\left(\alpha \right)\right]}^{2} + \left[{\left(\dfrac{w}{2}\right)}^{2} + {\left(\dfrac{L}{2} + {w}_{D}\right)}^{2}\right]{\mathrm{sin}\left(\alpha + {\alpha }_{\mathrm{m}\mathrm{a}\mathrm{x}}\right)}^{2} + \left[{\left(\dfrac{w}{2}\right)}^{2} + {\left(\dfrac{L}{2} + {w}_{D}\right)}^{2}\right] {\mathrm{t}\mathrm{a}\mathrm{n}}^{2}\left(\theta \right){\mathrm{sin} \left(\alpha + {\alpha }_{\mathrm{m}\mathrm{a}\mathrm{x}}\right)}^{2}}}\right)\\ & \theta \in \left(0,{\mathrm{arctan}}\left(\dfrac{\dfrac{w}{2}-\left(r+l\right)}{\sqrt{{\left(\dfrac{w}{2}\right)}^{2}+{\left(\dfrac{L}{2}+{w}_{D}\right)}^{2}}\cdot \mathrm{sin}\left(\alpha +{\alpha }_{\mathrm{m}\mathrm{a}\mathrm{x}}\right)}\right)\right) \\[-1pt] \end{split} $

(5)

同样的，可以将式(5)的计算结果通过对称关系得到剩余方位角的视场角。

鉴于内窥镜的使用场景，考虑成像系统视场角与相机倾角α关系的同时也要考虑相机的倾角α对成像系统直径的影响。如图3所示，本文推理和计算出微型相机的倾角α对成像系统的垂直投影面积和视角的影响，一方面，成像系统的直径随着倾斜角度α的增加而逐渐增大，这是由于相机的偏移距离l会随着倾斜角度α的增加而增大；另一方面，多相机成像系统视角与微型相机的倾斜角度α成线性正比。因此需要在多相机成像系统的投影面积和视角之间进行折中，如图3所示，当36°＜α＜α_max时，多相机成像系统投影面积将随微型相机倾斜角度α的增加而大幅度增加，在α=36°的情况下，多相机超大视角成像系统直径小于5.5 mm，且视角能够超过180°达到191º，此时多相机成像系统的投影面积随微型相机倾斜角度α的增加，增长速率相对较慢。因此，本文将相机的倾斜角度α确定为36º。

相机倾斜角确定为α = 36°，成像结构也随之确定，多相机超大视角成像系统的视场范围也一并确定，为了检验该倾斜角度是否满足多相机超大视角成像系统的视角设计目标，还需要对该多相机成像系统进行视场范围分析。如图4所示，对单相机成像系统与多相机成像系统的视场范围进行了对比分析。本文使用的微型相机获取的图像是正方形的，而图4（a）所示的方形视场的桶形畸变是由极坐标中呈现的视场变形引起的。图4极坐标图中的极轴δ为成像系统的视角大小，一个方形视场表示一个相机的视场范围，如图4（b）展示了倾斜角度α = 36°时多相机超大视角成像系统的视场范围，可以看出本文提出的基于多相机的超大视角成像技术具有明显的大视场。多相机成像系统中的每个相机沿着不同方向获取一部分视场，与单相机成像系统相比，具有其两倍视角和近四倍视场，在这样的大视场下，除了前视场外，该多相机成像系统还能够检测周围的横向物体。在该多相机成像系统中，4个方形视场相互重叠，两个相对的相机捕获的视场有大约20%的重叠部分，可以用于图像拼接过程中的图像匹配。如果使用的微型相机直径更小，使得微型相机在该设计方案中能够更大程度的倾斜，多相机超大视角成像系统可以获得更大的视场。

3 基于多相机的超大视角成像技术成像效果

多相机超大视角成像系统采集图像后，采用PTGui软件进行图像拼接。首先设计如图5（a）所示的拼接模板，用于成像系统的图像校正。该模板包含一些基本几何图案，如线、角、同心圆和五边形。PTGui软件读取成像系统采集的拼接模板图像后，进行如图5（b）所示的图像拼接处理。首先，引入20对特征点分别对4幅图像进行匹配及优化，如基于特征点对两幅图片进行畸变处理、平移、旋转拉伸等变换。然后，将优化后的四幅图像进行拼接处理，得到一个大视场的全景图像，同时生成本工作提出的基于多相机的超大视角成像系统图像校正参数文件，包含利用拼接模板生成全景图像过程中所进行的图像校正算法数据，基于该系统的后续成像及图像处理中无需再进行图像匹配，体现了多相机超大视角成像系统使用拼接模板进行图像校正的高鲁棒性。

实验环境布置如图6所示，多相机超大视角成像系统固定在中心，周围有5个角度标牌。0°标牌放置在该多相机成像系统正前方，其余4个放置在该多相机成像系统两侧，两两间隔45º，形成一个半圆。这些标牌均位于距离多相机超大视角成像系统2.3 cm处，标牌的高度几乎与该多相机成像系统的高度相同。这些标牌向多相机超大视角成像系统展示了其方位，即−90°、−45°、0°、45°和90°。该场景的周围被卡纸包围，形成一个半封闭的空间用以模拟内窥镜的工作环境，实际实验是在黑暗中进行的，多相机超大视角成像系统里的LED灯组可以为本实验环境提供亮度，从而更好地模拟了内窥镜的工作环境。

如图7（a）所示，成像系统通过解码电路同时读出实验所需的4幅图像，图像采集完成后，应用图像校正算法数据创建该场景的大视角全景图像。图7（b）展示了成像系统拼接后的大视角全景图像。

该多相机成像系统从4个不同的方向获取图像，然而每个相机的视场都是有限的。例如，左侧配置的相机只能捕捉到90º、45º和0º标志的视场，而不能捕捉到−45º和−90º标志的视场。相对应的，另一侧的相机只能检测到放置在右侧的标志。利用图像拼接软件PTGui将多相机超大视角成像系统获取的图像拼接可以生成其全景图像，在本实验中，生成的全景图像显示了成像系统横向的视场角，即从−90º到90º共180º的大视角。由于成像系统的成像对称性，在纵向上也具有180º的大视角。成像系统的对角成像效果稍有缺损，但通过轻微转动成像系统便可得到完整的大视场。实验表明，多相机超大视角成像系统不仅可以观察前方的物体，还可以观察周围的场景和目标，且视角范围超过180º。

4 结　论

综上所述，本文提出了一种多相机超大视角成像技术，并设计出一种由4个不同朝向的相机组成的多相机超大视角成像系统。首先，根据相机参数设计出了成像结构，并通过分析成像结构和视角的关系，建立出可以计算成像系统尺寸以及视场范围的成像模型。由该模型可知，当微型相机的尺寸和模型参数，如微型相机工作距离和微型相机倾斜角度等确定后，就可以利用本文的理论模型设计出具有理想视角的多相机超大视角成像系统结构。使用图像拼接软件将成像系统获得的图像拼接出全景图像，得到的图像具有超过180º的大视角，因此多相机超大视角成像系统能对狭窄空间的场景进行有效成像。本文实验结果表明，基于多相机的超大视角成像技术借助于当前成熟的加工工艺以及图像拼接算法能够集成在小型或微型内窥成像系统中实现超大视角成像效果，是在狭窄空间内进行大视角成像的潜在设备，具有很大的研究意义与开发价值。