光学仪器  2021, Vol. 43 Issue (4): 86-94   PDF    
人工复眼的研究进展
张良, 戴博, 张大伟     
上海理工大学光电信息与计算机工程学院,上海 200093
摘要: 复眼是自然界中常见的一种视觉器官,常见于节肢动物中,其有着极高的视场角、低像差、低失真、高时间分辨率、高空间分辨率和无限景深等优点,近些年受到较大的关注。概述了最新的复眼制作工艺和成像系统,介绍了常用的制作复眼透镜的工艺技术,同时还介绍了复眼透镜的成像系统。最后,对人工复眼系统的研究进行了展望。
关键词: 复眼    制作工艺    透镜    成像系统    
Research progress of artificial compound eye
ZHANG Liang, DAI Bo, ZHANG Dawei     
School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, shanghai 200093, China
Abstract: Compound eyes are a common visual organ in nature. It is common in arthropods. It has the advantages of extremely high field of view, low aberration, low distortion, high temporal resolution, high spatial resolution, and infinite depth of field. In recent years, it received greater attention. This article outlines the latest compound eye manufacturing process and imaging system. First, the main manufacturing techniques of compound eye lenses are introduced. In addition, we introduce the compound eye imaging system. Finally, the artificial compound eye system is prospected.
Key words: compound eyes    methods of fabrication    lens    imaging systems    
引 言

在自然界中,有两种主要视觉系统,一种是单眼视觉系统,一种是复眼视觉系统。哺乳动物多数为单眼视觉系统,受其光学成像原理的启发,人们设计出了广泛的、无处不在的类似照相机的成像系统,包括手机相机,数码相机和工业相机[1]。受益于当前半导体制造业成熟的技术,类相机眼成像系统可以实现高空间分辨率。此外,高效的光学设计工具可通过降低像差来进一步提高图像的分辨率。然而这种类型的成像系统的应用受到其狭窄的视场角(FOV)的限制,无论是在医学应用方面还是在军事应用方面都需要有大视场角的成像系统,例如内窥镜、机器视觉、牙科医疗等[2-3]。到目前为止,仅使用鱼眼镜头(依赖于几块笨重且昂贵的镜头)、折反射镜头和旋转照相机就可以实现超过90°视场角的传统类似照相机眼睛的成像系统[4]。但这种系统会在图像边缘出现严重的畸变,对于许多需要高质量图像的应用场合,这是一个重要的限制因素。此外,由于这种系统总是由多个弯月形透镜组成,因此其结构复杂、价格昂贵并且体积大。如何减小尺寸和简化系统也是一个需要解决的重要且有意义的问题。一个明智而有趣的想法是从自然界中寻找灵感,并研究自然界动物是如何成功地解决了这个问题。节肢动物给了我们最好的参照,因其拥有复眼视觉系统,能通过观察去探测和接受周围环境。拥有者具有超大的视场角,低像差和失真,响应速度灵敏和无限景深,能实现定位食物、导航、识别伴侣等功能[5-8]。这些功能是目前工业成像系统所不具有的,值得去研究。在过去的几十年中,人们付出了巨大的努力去研究复眼,利用其突出的特点,实现了复眼成像光学性质,在此有必要回顾和总结一下已有的复眼制作工艺及成像系统设计。

1 人工复眼的制作工艺

复眼的最小成像单位是单个小眼,天然复眼的小眼数量范围从不到十到数万个,每个小眼都可以视为一个单独的成像系统,系统通常由角膜、晶状体及感光细胞组成。根据成像原理,已知的自然复眼可以分为三种类别:并置眼、叠置眼和神经性叠置眼。其中:并置眼的单眼通过色素细胞在光学上各自独立,每个眼有自己的视场方向,其优点是高分辨率,缺点是感光差;叠置眼的单眼并不完全光学独立,相邻的小眼的视场会有重叠,感光强;神经性叠置眼是小眼独立,但神经错节造成图像重叠。因此,人工复眼的制作大多是仿照并置眼的形式。

1.1 飞秒激光刻蚀

Qu等[9]、Bian等[10]提出了一种利用飞秒激光加工和化学腐蚀来制造凹面微透镜阵列的简便方法。在直径为5 mm的聚合物半球上紧密堆积了3000 个95 μm直径的正微透镜阵列,该人工复眼的制作工艺如图1所示。首先,将直径为6 mm的球面平凹透镜用作弯曲基板并固定在3D平台上,平台上只有一个x-y-z线性位移台。0.5 s的飞秒激光(800 nm,50 fs,1 kHz,3 mW)聚焦在凹面的中心,可以快速形成一个个坑。其次,因为z轴位置在每次飞秒激光曝光之前已经过单独调整过,所以制作一个密密麻麻的六边形坑状阵列无需复杂的基板对齐和旋转。然后将透镜浸入在HF(10%)超声波浴中,浸泡80 min以进行化学蚀刻,将六角形微观结构变为球形微观结构。最后,将液态聚二甲基硅氧烷(PDMS)倒入凹透镜后进行脱模。从流程中,我们可以看到曲面微透镜阵列直接在曲面上制作模子。因此,这种制作方法包括其转移过程与其他方法相比是无失真的。

图 1 飞秒激光刻蚀制作复眼透镜 Figure 1 Compound eyes produced by femtosecond laser etching
1.2 利用压强差制作复眼透镜

Jeong等制作了一个密排六边形弯曲微透镜阵列(约8370个微透镜),该阵列球形排列在直径为2.5 mm的半球形圆顶上。图2显示了整个制造过程。首先,将具有蜂窝状六边形排列的平面光刻胶微透镜阵列放置在硅基板上,并通过将PDMS弹性体(厚度为22 mm)模制到平面光刻胶微透镜阵列上来获得微透镜模板。其次,通过机械冲压结合到厚度为22 mm的PDMS弹性体上,制造出厚度为5 mm的可重构PDMS微透镜阵列模板。在氧气等离子体处理之后,微透镜阵列副本从可重新配置的PDMS微透镜阵列模板中释放出来。然后,在微流体通道中施加负气压(5~30 kPa),以使复制的PDMS膜具有凹形微透镜而变形。将可紫外线固化的环氧树脂(NOA68)精确倒入变形的复制PDMS膜中。在用紫外线(0.5 mW/cm2)完全固化2 h后,制造出弯曲凹面微透镜阵列的母模。最后,在母模中分配体积为40 µL的名为NANO SU-8的光敏聚合物树脂。在120 ℃的温度下预烘烤20 min并冷却至室温后,就制成了弯曲的微透镜阵列,如图2所示。该人造弯曲微透镜阵列的接受角为4.4°,而枕间角约为1.5°。最大微透镜直径为25 μm,光圈数为1.8~2.9。

图 2 利用压强差制作复眼透镜 Figure 2 Fabrication of compound eyes by using pressure difference
1.3 旋涂法制作复眼透镜

光学流体复眼的制造过程如图3所示。首先制造用于制造凸微透镜阵列的模具。使用光刻技术制备光刻胶微柱阵列,在光刻期间,将钛层涂覆在硅晶片上,然后氧化成二氧化钛,以提高微柱与基底之间的粘合强度。微型柱的直径为50 μm,高度为60 μm。将质量比为12∶1(有机硅弹性体与固化剂)的液态聚二甲基硅氧烷(PDMS)倒在硅片上,并在80°C下固化4 h。从微柱阵列上剥离PDMS,并在PDMS上形成微孔阵列。在空气等离子体中进行表面改性后,PDMS粘合到一块玻璃上。之后,将微孔与氩气和氧气的混合物(气体混合比为100∶1)暴露在等离子体中,以改变PDMS的疏水性。表面改性是在13 MHz射频、600 mTorr压力、11 W等离子功率和60 mL/min气体流速的条件下进行的。接下来,以3000 r/s的旋涂速率将丙烯酸酯树脂(粘度:500 mPa·s,密度:1.02 g/cm2,折射率:1.487)旋转在微孔上2 min。旋涂后,将样品放入真空机中抽真空,以确保丙烯酸酯树脂完全填充到微孔中,并在波长为365 nm的紫外线(UV光)中暴露8 min以使树脂固化。微孔中的树脂呈现出凹面,树脂表面的曲率与旋涂之前的表面改性密切相关,并直接确定复眼上产生的微透镜的曲率。较长的表面改性时间会导致较大的曲率,为了实现微透镜的大曲率,短焦距和高数值孔径,将表面修饰时间设置为200 s。固化的丙烯酸酯树脂具有很高的机械强度(断裂伸长率:40%)和热强度(热膨胀率:3×10−6 /°C,工作温度:−50 ~150 °C)。因此,凹形树脂阵列可以用作复制微透镜阵列的模具[11]

图 3 旋涂法制作复眼透镜 Figure 3 Spin-coating method to produce compound eye lens
1.4 球压法制作复眼透镜

Cherng等[12]证明了一种采用多重复制工艺制造弯曲微透镜阵列的新颖方法。制造过程主要由两部分组成,平面PDMS微透镜阵列和弯曲PDMS微透镜阵列。平面PDMS微透镜阵列的制造过程如图4所示。

图 4 平面透镜阵列制作 Figure 4 Fabrication of planner lens array

首先,将AZ P4620光刻胶旋涂在硅基板上,并通过光刻工艺制造微透镜阵列的光刻胶圆柱体。然后,将光刻胶圆柱体热回流(80 ℃,2 h)以形成光刻胶透镜,再将PDMS倒在基板上,并在固化至室温后剥离。最后,将凹面PDMS盐化(使用三氯硅烷)后视为模具,以减少模具和复制品之间的粘附力。

从盐化凹面PDMS模具复制平面凸面PDMS微透镜阵列。在制造平面PDMS微透镜阵列之后,有必要将平面PDMS微透镜阵列变形为弯曲的PDMS微透镜阵列。弯曲的PDMS微透镜阵列的制造过程如图5所示。

图 5 球压法制作复眼透镜 Figure 5 Fabrication of compound eyes by ball pressure method

首先,将制造的平面PDMS微透镜阵列放置在装有液体PDMS的容器顶部;其次,将球形物体(3 kg,直径10 mm)压在平面PDMS微透镜阵列上并使平面PDMS微透镜阵列变形以形成球形表面;再次,在固化至室温之后,去除变形的微透镜阵列和球形物体,同时弯曲的PDMS模具也被硅烷化为模具;最后,将液态PDMS倒入硅烷化的模具中,并在80 °C下固化2 h。

在冷却至室温并进行剥离工艺之后,在球形表面上制造出PDMS微透镜阵列。球形表面的直径和下垂高度分别为10 mm和2.6 mm。弯曲的微透镜阵列的焦距为0.44 mm。弯曲微透镜的平均直径为230.27 μm,理论视场为110 μm[12-14]

2 人工复眼的成像系统 2.1 曲面透镜与平面图像传感器

Shi等[15]提出了一种球形复眼相机(SCECam)的人工复眼成像系统,该系统由3个子系统(曲面微透镜阵列,光中继系统和商用CMOS成像传感器)组成。除了通过软光刻和热压印来制造弯曲微透镜的透镜之外,该成像系统的显着新颖之处在于设计了中间光学中继系统,这样可以将弯曲微透镜阵列的弯曲焦平面转换为平面成像传感器。SCECam的光学结构如图6所示。中间光中继系统的FOV为120°,在Nyquist频率下具有1/3数值孔径以及大于0.35的MTF值。不仅校正了场曲和渐晕,而且还抵消了弯曲微透镜阵列的畸变。SCECam的小眼数为4400(直径500 μm,焦距1.28 mm),并且具有较大的FOV(最大360°×122.4°)。SCECam半球的半径是20 mm,接受角和枕间角分别为2.4°和1.7°,外形尺寸为40 mm×40 mm×80 mm,集成的SCECam的帧速率为35 帧/s[15-16]。同时,Gu等[17]提出了另一种方式,将每个透镜所得的信息通过先进的钙钛矿纳米线将信息耦合进平面的光电传感器中,取得了较好的结果。

图 6 曲面透镜与平面图像传感器成像系统 Figure 6 Curved lens and flat image sensor imaging system
2.2 曲面透镜与曲面图像传感器

Song等[18]制作了一种节肢动物风格的相机,几乎呈半球形(约160°)。该相机将弹性复合光学元件与可变形的薄硅光电探测器阵列结合在一起,如图7所示。

图 7 复眼透镜成像系统 Figure 7 Compound eye lens imaging system

弹性复合光学元件提供了光学成像功能,并定义了整体结构。该成像系统是通过将预聚物浇铸并固化到PDMS上而形成的,而精密预聚物是用精密的微机械加工的铝制模具和相关的夹具固定的。弹性体复合光学元件由曲率半径为400 μm的16×16 个凸微透镜组成,每个微透镜都有一个匹配的圆柱形支撑柱,该支撑柱又连接到基膜(厚度为550 μm)。通过在绝缘体上的硅晶片上执行的一系列薄膜处理步骤来制造薄硅光电探测器。薄硅光电探测器由匹配的薄硅光电二极管阵列(有效面积为160 μm×160 μm)和隔离二极管组成,它可以实现光电检测和电读出。弹性体复合光学元件和薄硅光电探测器的精确对准键允许将每个光电二极管放置在相应微透镜的焦点位置。图7显示了半球形变形后的系统图像和完成的照相机在PCB上的照片。该人工复眼成像系统的接受角和枕间角分别为9.7°和11.0°。

2.3 多相机阵列

Afshari等[19]提出了一种多相机系统(称为全景相机),如图8所示。该系统由分布在半球上的30个经典CMOS成像传感器的分层结构组成。Panoptic摄像机是一种全景摄像机,可以记录光信息,此外,它是一个多折射系统,其中每个面都是一个具有单独焦平面的微型CMOS相机,如图8所示。将焦距为1.27 mm的摄像机(PO4010N单芯片,368×304 像素)安装在半球结构(直径13 cm)上,摄像机的位置基于半球结构的圆形位置,共有7 层。微型摄像机的对角线、垂直角和水平角FOV分别为72.3°、66°和68°。该系统包含2个集中器现场可编程逻辑门阵列(FPGA)板和1个中央FPGA实时捕获和处理视频流。所实现的硬件能够以每秒625 万像素的速率进行实时视频流传输,并且每个FPGA板的最大图像分辨率为3200 万像素。该系统的帧频为25 帧/s。

图 8 多相机阵列成像系统 Figure 8 Multi-camera array imaging system
3 结 论

人工复眼由于其紧凑的结构、大的视场角以及对运动物体的敏感性而被认为是有希望的下一代紧凑型成像系统。本文对最先进的人工复眼成像系统的制作工艺和成像系统进行了综述。分析并比较了它们的成像性能,并根据其成像结构组成将其分为三类:具有弯曲微透镜阵列的平面图像传感器,具有弯曲微透镜阵列的弯曲图像传感器以及多相机阵列。人工复眼成像系统可用于大视场角成像,物距检测,医学成像,导航和其他应用。与类相机眼成像系统和自然复眼相比,人工复眼成像系统的低像素和复杂的成像系统让其难以实际使用,同时高昂的制作成本和复杂的制作工艺让其难以产业化,但其优点也是无法被忽视的。在未来的研究中,提高人工复眼成像系统的分辨率和简化系统结构是主要的研究方向。当其成像系统的性能提升到一定程度时,现有的、固有的成像形式将被改变,例如人们一直追求的3D全景显示、3D通话等,都可以通过复眼透镜的光学性能去采集信息再加以透射来复现。那时候,人们的生活习惯就发生质的改变,虚拟世界不仅仅局限于脑神经中,在现实生活中亦可达到全浸入式的3D体验。同时,在军用机器人方面,复眼透镜的特点可以被应用于视觉导航与3D定位,并可以使复眼透镜具有轻量化、小型化、拥有精准打击能力等特点。总而言之,人工复眼的研究有着巨大的潜力。

参考文献
[1] ROSE A. Vision: human and electronic[M]//LOW W, SCHIEBER M. Applied Solid State Physics. Boston: Springer, 1970.
[2] KAGAWA K, YAMADA K, TANAKA E, et al. A three-dimensional multifunctional compound-eye endoscopic system with extended depth of field[J]. Electronics and Communications in Japan, 2012, 95(11): 14–27. DOI:10.1002/ecj.11431
[3] DAVIS J D, BARRETT S F, WRIGHT C H G, et al. A bio-inspired apposition compound eye machine vision sensor system[J]. Bioinspiration & Biomimetics, 2009, 4(4): 046002.
[4] JEONG K H, KIM J, LEE L P. Biologically inspired artificial compound eyes[J]. Science, 2006, 312(5773): 557–561. DOI:10.1126/science.1123053
[5] LAND M F. The optics of animal eyes[J]. Contemporary Physics, 1988, 29(5): 435–455. DOI:10.1080/00107518808222601
[6] NILSSON D E. Vision optics and evolution: nature's engineering has produced astonishing diversity in eye design[J]. BioScience, 1989, 39(5): 298–307. DOI:10.2307/1311112
[7] LEE G J, YOO Y J, SONG Y M. Recent advances in imaging systems and photonic nanostructures inspired by insect eye geometry[J]. Applied Spectroscopy Reviews, 2018, 53(2/4): 112–128.
[8] KIRSCHFELD K. The resolution of lens and compound eyes[M]//ZETTLER F, WEILER R. Neural Principles in Vision. Berlin, Heidelberg: Springer, 1976: 354-370.
[9] QU P B, CHEN F, LIU H W, et al. A simple route to fabricate artificial compound eye structures[J]. Optics Express, 2012, 20(5): 5775–5782. DOI:10.1364/OE.20.005775
[10] BIAN H, WEI Y, YANG Q, et al. Direct fabrication of compound-eye microlens array on curved surfaces by a facile femtosecond laser enhanced wet etching process[J]. Applied Physics Letters, 2016, 109(22): 221109. DOI:10.1063/1.4971334
[11] XU Q, DAI B, JIAO Z A, et al. Fabrication of large micro-structured high-numerical-aperture optofluidic compound eyes with tunable angle of view[J]. Optics Express, 2018, 26(25): 33356–33365. DOI:10.1364/OE.26.033356
[12] CHERNG Y S, SU G D J. Fabrication of polydimethylsiloxane microlens array on spherical surface using multi-replication process[J]. Journal of Micromechanics and Microengineering, 2014, 24(1): 015016. DOI:10.1088/0960-1317/24/1/015016
[13] KUO W K, KUO G F, LIN S Y, et al. Fabrication and characterization of artificial miniaturized insect compound eyes for imaging[J]. Bioinspiration & Biomimetics, 2015, 10(5): 056010.
[14] KUO W K, LIN S Y, HSU S W, et al. Fabrication and investigation of the bionic curved visual microlens array films[J]. Optical Materials, 2017, 66: 630–639. DOI:10.1016/j.optmat.2017.03.020
[15] SHI C Y, WANG Y Y, LIU C Y, et al. SCECam: a spherical compound eye camera for fast location and recognition of objects at a large field of view[J]. Optics Express, 2017, 25(26): 32333–32345. DOI:10.1364/OE.25.032333
[16] LI L, YI A Y. Microfabrication on a curved surface using 3D microlens array projection[J]. Journal of Micromechanics and Microengineering, 2009, 19(10): 105010. DOI:10.1088/0960-1317/19/10/105010
[17] GU L L, PODDAR S, LIN Y J, et al. A biomimetic eye with a hemispherical perovskite nanowire array retina[J]. Nature, 2020, 581(7808): 278–282. DOI:10.1038/s41586-020-2285-x
[18] SONG Y M, XIE Y Z, MALYARCHUK V, et al. Digital cameras with designs inspired by the arthropod eye[J]. Nature, 2013, 497(7447): 95–99. DOI:10.1038/nature12083
[19] AFSHARI H, POPOVIC V, TASCI T, et al. A spherical multi-camera system with real-time omnidirectional video acquisition capability[J]. IEEE Transactions on Consumer Electronics, 2012, 58(4): 1110–1118. DOI:10.1109/TCE.2012.6414975