光学仪器  2024, Vol. 46 Issue (1): 55-62   PDF    
基于光致变色钙钛矿材料的非接触式图像识别
周星1,2, 陈希1     
1. 上海理工大学 光子芯片研究院,上海 200093;
2. 上海理工大学 光电信息与计算机工程学院 人工智能纳米光子学中心,上海 200093
摘要: 视觉是人类获取信息的主要来源。用于视觉系统模拟的人工图像识别是发展人工智能技术的关键一环。当前,光电突触凭借存算一体式处理光信号的特点被广泛应用于视觉模拟领域,但是突触的光电转换需要对输入光信号进行接触式处理,从而导致大量的能量消耗。针对这个问题,研究了基于光致变色钙钛矿薄膜的全光人工突触,它在紫外和可见光触发下,从光透过率的变化上表现出显著的突触特性,包括配对脉冲易化和学习能力。利用循环神经网络处理随时间变化的透射率数据,实现了对数字图像的二元识别,识别精度从第1个循环就稳定在100%。该器件具有零功耗非接触式信息读取的特点,为视觉系统模拟开辟了一条新的途径。
关键词: 光致变色材料    钙钛矿    人工突触    图像识别    
Noncontact artificial image recognition based on photochromic perovskite materials
ZHOU Xing1,2, CHEN Xi1     
1. Institute of Photonic Chips, University of Shanghai for Science and Technology, Shanghai 200093, China;
2. Centre for Artificial-Intelligence Nanophotonics, School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China
Abstract: Visual perception is the primary source for humans to acquire information. The mimicking of visual systems is crucial to develop artificial intelligence technologies. Currently, optoelectronic synapses are widely used in artificial visual systems due to the in-memory processing of optical signals. However, the photoelectric conversion of the synapses requires contact processing of input optical signals, which leads to significant energy consumption. In this paper, all-optical artificial synapses were presented based on photochromic perovskite thin films. Under UV and visible light pulse stimulation, the perovskite films exhibit synaptic behaviors in optical transmittance changes, including paired-pulse facilitation and learning ability. Through a recurrent neural network processing the time-dependent transmittance change data, a 100% accuracy in the classification of two digital images can be instantly achieved, even in the first epoch. The all-optical synapses provide an innovative pathway toward energy-friendly artificial visual systems.
Key words: photochromic materials    perovskite    artificial synapse    image recognition    
引 言

视觉是用来认知周围环境的主要手段。相比于听觉和触觉,人类感知外界信息有80%以上通过视觉获取,它是人类最重要的感知手段[1]。为了实现无人驾驶汽车、机器人技术、物联网等的广泛应用,发展人工视觉感知系统、模拟真实的人类视觉功能尤为关键[2]。传统的视觉系统依赖于冯·诺伊曼架构,但该架构存在数据存储和处理单元物理分离的结构缺陷,使其在执行高度复杂或抽象的计算任务时能耗较高[3]。面对这一挑战,研究者开始探索基于人工突触的神经形态计算设备与人工神经网络的结合[4-5]。人工智能技术能够利用神经元和突触存算一体的方式来完成计算任务,具有更高的计算效率和更好的容错性能,有望在人工智能领域中发挥更加重要的作用[6-7]

传统的基于电阻电导变化原理实现的忆阻器存在处理速度慢,能耗高,有串扰等问题。当前,对于人工突触器件的研究工作主要聚焦于光电突触,通过对输入光信号的记忆性光电转换为重要的人类视觉的模拟奠定基础[8-9]。它拥有高速、高精度和低能耗的优点[10-12]。然而,突触中的光电转换需要在突触上施加电场,导致巨大的能量消耗[13]。相较于光电突触而言,如果突触仅使用光信号来传输和处理信息,则可以拥有更快的速度和更低的能耗,并且由于其具有非接触式信息处理的特性,有望应用于光学无线通信[14-15]

本文利用铯铅碘溴(CsPbIBr2)光致变色钙钛矿薄膜,制备了具有光驱动的光透射率记忆的全光人工突触。这种突触的关键在于钙钛矿薄膜在光照下晶体结构有序度发生变化,从而使光学透射率发生变化[16],其宽带响应允许通过紫外或可见光脉冲对全光突触进行刺激,当光脉冲被移除后,光透过率变化随时间而逐渐衰减。基于这种记忆效应,该全光突触可以实现如短时记忆/长时记忆(short-term memory/long-term memory, STM/LTM)、配对脉冲易化(paired-pulse facilitation, PPF)和学习能力等典型的突触行为。循环神经网络(recurrent neuron network, RNN)是一种擅长处理和预测时间序列数据的神经网络,当将与时间序列的透射率变化数据输入到RNN中,可以对0~9数字图像进行高准确度的分类识别。

1 实验设计 1.1 CsPbIBr2的合成、薄膜制备

采用一步法合成铯铅碘溴(CsPbIBr2)钙钛矿溶液[17]。取等摩尔量的碘化铯(CsI,99.999%)、溴化铯(CsBr,99.999%)、碘化铅(PbI,99.999%) 和溴化铅(PbBr,99.999%)粉末在二甲亚砜(dimethyl sulfoxide,DMSO,99.5%)或N,N–二甲基甲酰胺(N,N-Dimethylformamide,DMF, 99.5%)溶液中混合,常温下搅拌2 h,制备浓度为 0.5 mol/L 的混合钙钛矿前驱体溶液。使用聚四氟乙烯(poly tetra fluoroethylene,PTFE)过滤器对制备好的钙钛矿溶液进行过滤,等待使用。其中CsI、CsBr、PbI和PbBr均购于西格玛奥德里奇(上海)贸易有限公司;DMSO和DMF均购于国药集团化学试剂有限公司。所有材料均未进行提纯操作。将制备的钙钛矿溶液以 1500 r/min 的速度旋涂90 s到亲水处理完的玻璃基板上,并将制备好的薄膜在100 ℃的热板上退火10 min,整个实验过程在手套箱中完成。

1.2 CsPbIBr2薄膜的实时光透过率测量

采用高速CMOS光谱仪(AvaSpec-ULS2048CL-EVO, AVANTES)测量钙钛矿薄膜在接收光脉冲和去除光脉冲时的实时光透过率变化。测量系统中使用的LED为紫外 LED(M365L3)和单色冷可见光LED(M470L5),均从Thorlabs采购。这些LED的光斑大小和输出功率可以自由调节。LED补偿光源(LS-UV-HAL 1, LiSen Optics)的波长范围为380~1100 nm,光斑尺寸为28.27 mm2,输出功率可以自由调节。

1.3 基于RNN的图像识别

图1展示了利用全光人工突触和RNN模拟人类视觉的图像识别的过程。对0~9这10个数字进行编码,并组合成1个3×5的图像像素阵列。利用LED按照图像像素阵列将对应的光脉冲刺激施加到钙钛矿薄膜上,用垂直于LED光束的卤钨灯宽带光源记录钙钛矿薄膜透过率的变化,并用高速CMOS光谱仪测量记录。因此,在365 nm LED光束脉冲的照射下,可以在非接触模式下获得持久的光驱动透过率忆阻器。RNN输入采用50组透过率变化曲线(训练组80%,测试组20%)。这些时变的透射率响应数据被用作RNN模型的训练输入,分3层。输入层有150个神经元(每个时间步长输入5个特征,共30个时间步长),隐藏层包括1个含5个RNN神经元的记忆层和1个含2个RNN神经元的记忆层,最后连接到1个全连接层输出。RNN模型使用softmax作为激活函数。通过使用Adam优化器(学习率为0.03)进行小批量(批量大小为20)梯度下降,使分类交叉熵损失最小。

图 1 用于图像识别的全光突触相应和循环神经网络示意图 Figure 1 Schematic diagram of all-optical synaptic responses and a RNN for image recognition.
2 结果与讨论 2.1 钙钛矿光致变色薄膜的形貌表征和光谱测试

使用扫描电子显微镜(SEM, ZEISS Gemini 300)对钙钛矿薄膜的形貌进行表征。SEM俯视图像显示钙钛矿薄膜结晶度良好,表面致密无孔洞(图2(a))。通过截面图分析,钙钛矿薄膜厚度均匀,平均厚度约为180 nm(图2(b))。通过能量散射X射线(EDX, OXFORD Xplore)对钙钛矿薄膜微区元素种类与含量进行分析,该钙钛矿薄膜中存在铯、铅、碘和溴元素,其化学式为CsPbIBr2图2(c))。使用原子力显微镜(AFM, Bruker Dimension Icon)对钙钛矿薄膜的形貌进行辅助表征,同样可以得到钙钛矿薄膜表面均匀性和膜厚的信息(图2(d)和2(e))。由于溴化物含量高,薄膜在空气中保持稳定。在环境温度和相对湿度为25%的条件下,一年内透光率没有明显的变化。光致变色钙钛矿薄膜具有良好的稳定性和可控性,这使得其成为一种理想的光学材料用于构建全光人工突触。

图 2 CsPbIBr2薄膜的形貌表征和光致变色测试 Figure 2 Morphologic and photochromic measurement of CsPbIBr2 films

乌尔巴赫能量(Urbach Energy)是半导体和绝缘体吸收光谱后观察到的现象。它指在光子能量低于材料带隙能量时材料光吸收呈指数级增加。乌尔巴赫能量与材料的无序性相关,如缺陷和杂质,它们在带隙中形成局部电子态。这些局部状态可以俘获载流子,并在带隙内产生状态分布。这些状态会导致光吸收随着光子能量的增加而逐渐下降,形成乌尔巴赫带尾[18]。在能量略小于禁带宽度区域,非晶态半导体的吸收系数与光子能量关系满足指数关系,被称之为乌尔巴赫规则,其经验公式为

$ \alpha (E) = \alpha _0*{\text{exp}}\left( {\frac{{E - E_0}}{{E_{\rm{u}}}}} \right) $ (1)

式中:αE)是能量为E时的吸收系数;α0为常数;E0为能隙;Eu为乌尔巴赫能量,可以通过拟合得到。对钙钛矿薄膜分别施加持续0,1,2,5,10,15,20,25和30 min的365 nm紫外光照,测得可见光波段内钙钛矿薄膜的吸收系数。将横坐标波长转换为光子能量,对纵坐标吸收系数取自然对数(ln)处理。在禁带宽度附近可得到一线性吸收边,其斜率的倒数可以反映材料结构的无序程度的乌尔巴赫能量。在紫外光照下,经计算乌尔巴赫能量分别为88.9,119.6,135.2,199.5,229.8,267.5,272.0,314.2和316.2 meV(图2(d))。使用470 nm 绿光对钙钛矿薄膜进行同样时长的光照实验,计算出的乌尔巴赫能量分别为74.0,81.0,91.9,107.6,134.5,134.8,173.9,163.4和191.9 meV(图2(e))。结果表明,在持续的光脉冲刺激下,钙钛矿薄膜的晶体结构的有序度持续降低,同时透过率也随之上升。

2.2 钙钛矿光致变色薄膜的突触特性验证

对于生物个体而言,神经系统的功能概括起来就是依据自身的需要和外部环境的变化来控制或调节自身的行为以及内环境的稳态。这个过程可抽象地描述为获取信息、处理信息以及输出信息。在生物神经系统中,突触是不同神经元之间传递信息的重要通道。突触特性对神经系统的信息处理起着至关重要的作用。突触可塑性是生物神经突触的一项重要特征,也是人脑学习和记忆的生物学基础,丰富多样的突触可塑性使得神经突触在进行信息处理时表现出各种不同的功能。突触可塑性可以按照持续时间的不同,分为短程可塑性(short-term plasticity, STP)和长程可塑性(long-term plasticity, LTP)。

在人类的视觉系统中,学习能力强烈地基于突触的可塑性。通过调整光刺激波长和功率,视觉记忆可以在STM和LTM之间进行转换。如图3(a)所示,在波长为365 nm、强度为222 mW的情况下,连续照射30 s后CsPbIBr2薄膜的透光率变化为1.26%。保持其他条件相同,更换470 nm波长的LED,CsPbIBr2薄膜的透光率变化为0.87%。由此可见,在高能量的光束照射下,可以获得更大的透光率变化和更长的记忆。

图 3 CsPbIBr2薄膜的突触行为 Figure 3 Synaptic behaviors of CsPbIBr2 films

人脑学习–遗忘–再学习过程是人类学习过程的一个重要组成部分。学习阶段,人脑在接受信息的过程中,通过神经元之间的连接,形成新的突触连接或加强现有的突触连接。这种突触权重增加的过程有助于新的信息被加工和存储在大脑中。遗忘阶段,突触权重逐渐减弱,人脑中的记忆也随着时间流逝逐渐消失。再学习阶段,原来的神经连接会重新被激活,大脑可以借助之前形成的突触连接,以更快的速度重新学习和掌握知识,并形成更长的记忆。如图3(b)所示,使用两个间隔为10 s的365 nm紫外光脉冲来诱导CsPbIBr2薄膜透光率变化。在第一个光脉冲刺激下(第一个学习过程),在持续30 s内,CsPbIBr2薄膜的透过率上升了0.57%。当移除光脉冲刺激后(第一个遗忘过程),CsPbIBr2薄膜的透过率随时间下降。当再次对CsPbIBr2薄膜施加光脉冲刺激(再学习过程),只需要14 s的时间,CsPbIBr2薄膜的透过率就会恢复衰减的变化,明显低于第一次学习所用的时长。并且在施加同样的30 s光脉冲刺激下,CsPbIBr2薄膜的透过率的上升值增加到了0.62%。由于出色的学习能力,有用的视觉信息可以被全光突触提取用于高精度识别。

PPF是另一种在学习视觉信息中发挥至关重要作用的典型行为,来自两个连续刺激的突触后反应,很大程度上取决于两个脉冲之间的间隔。用A1表示由第一个光脉冲刺激引起的透过率变化,用A2表示由第二个光脉冲刺激引起的透过率变化。PPF指数是指A2A1的比率。图3(c)显示了在365 nm紫外光束照射下,全光钙钛矿突触的PPF行为,研究发现,PPF指数与间隔(Δt)之间的关系遵循双指数函数。

2.3 钙钛矿光致变色薄膜的图像识别性能

RNN 适用于序列数据的神经网络计算,近年来也被应用于图像识别中[19]。在RNN 中,图像像素被视为一个序列,并通过水平扫描方式输入 RNN 进行处理。在处理时,RNN 利用之前的像素信息来预测当前像素的类别,从而实现对整张图像的分类。为了实现数字图像的视觉感知,将0~9这10个数字进行编码。每1个数字都由1个图像表示,每行包含3个像素,每列包含5个像素。接下来,图像沿着水平方向被划分成5个序列,每个序列都被转换成光脉冲序列。如图4所示,以数字6和9为例,数字6编码为“111”、“100”、“111”、“101”和“111”,数字9编码为“111”、“101”、“111”、“001”和“111”。其中,1表示有光脉冲,0表示没有光脉冲。脉冲序列的持续时间和间隔时间都被设置为5 s。

图 4 数字6和9对应的CsPbIBr2薄膜的光脉冲和光透过率变化 Figure 4 Optical pulses and transmittance changes of CsPbIBr2 films for numbers 6 and 9

图5所示,将数字6和数字9同时输入RNN进行识别,在50个循环内的训练精度平均值为93.6%,验证准确性从第一个循环开始就稳定在100%。接着,将数字2和数字5同时输入RNN进行识别,在50个循环内的训练精度平均值为97.4%,验证准确性同样在一开始就立即稳定在100%。该全光突触的图像识别途径实现了零原位能量消耗的非接触式数据读取,这为实现光学无线通信的人工智能概念的突破铺平了道路[20- 21]

图 5 RNN用于实现对数字图像的视觉感知 Figure 5 RNN is used to realize visual perception of digital images
3 结 论

本文使用一步法合成CsPbIBr2钙钛矿溶液,通过旋涂法制备CsPbIBr2薄膜,使用波长为365 nm和470 nm 的LED光照射CsPbIBr2薄膜使之发生透过率变化的光致变色现象,通过非接触式的方式采集CsPbIBr2薄膜光照前后在600 nm处透过率实时变化的数据,验证了该材料具有模拟生物突触的记忆效应的特征,如可塑性、学习功能和配对脉冲易化。通过循环神经网络验证了该材料的视觉感知功能,在对两个数字进行分类识别时可以快速达到100%的精度。该全光视觉感知系统具有结构简单、无原位能量消耗、信息处理速度快的优势,在神经形态计算和光学无线通信中有巨大应用潜力 。

参考文献
[1] HAN X, XU Z S, WU W Q, et al. Recent progress in optoelectronic synapses for artificial visual-perception system[J]. Small Structures, 2020, 1(3): 2000029. DOI:10.1002/sstr.202000029
[2] MEROLLA P A, ARTHUR J V, ALVAREZ-ICAZA R, et al. A million spiking-neuron integrated circuit with a scalable communication network and interface[J]. Science, 2014, 345(6197): 668–673. DOI:10.1126/science.1254642
[3] CHOI C, LEEM J, KIM M, et al. Curved neuromorphic image sensor array using a MoS2-organic heterostructure inspired by the human visual recognition system[J]. Nature Communications, 2020, 11(1): 5934. DOI:10.1038/s41467-020-19806-6
[4] SEO S, LEE J J, LEE H J, et al. Recent progress in artificial synapses based on two-dimensional van der waals materials for brain-Inspired computing[J]. ACS Applied Electronic Materials, 2020, 2(2): 371–388. DOI:10.1021/acsaelm.9b00694
[5] WANG Y, YIN L, HUANG W, et al. Optoelectronic synaptic devices for neuromorphic computing[J]. Advanced Intelligent Systems, 2021, 3(1): 2000099. DOI:10.1002/aisy.202000099
[6] GOI E, ZHANG Q M, CHEN X, et al. Perspective on photonic memristive neuromorphic computing[J]. PhotoniX, 2020, 1(1): 3. DOI:10.1186/s43074-020-0001-6
[7] CHO S W, KWON S M, KIM Y H, et al. Recent progress in transistor‐based optoelectronic synapses: from neuromorphic computing to artificial sensory system[J]. Advanced Intelligent Systems, 2021, 3(6): 2000162. DOI:10.1002/aisy.202000162
[8] 李雅瑶, 王越, 杨德仁, 等. 光电神经突触器件研究进展[J]. 中国科学:信息科学, 2020, 50(6): 892–912.
[9] WANG Y, LV Z Y, CHEN J R, et al. Photonic synapses based on inorganic perovskite quantum dots for neuromorphic computing[J]. Advanced Materials, 2018, 30(38): 1802883. DOI:10.1002/adma.201802883
[10] LI R Z, DONG Y B, QIAN F S, et al. CsPbBr3/graphene nanowall artificial optoelectronic synapses for controllable perceptual learning[J]. PhotoniX, 2023, 4(1): 4. DOI:10.1186/s43074-023-00082-8
[11] WAN Z F, ZHANG Q W, HU F Z, et al. Topological insulator optoelectronic synapses for high‐accuracy binary image recognition using recurrent neural networks[J]. Advanced Optical Materials, 2023, 11(2): 2201852. DOI:10.1002/adom.202201852
[12] ZHU Q B, LI B, YANG D D, et al. A flexible ultrasensitive optoelectronic sensor array for neuromorphic vision systems[J]. Nature Communications, 2021, 12(1): 1798. DOI:10.1038/s41467-021-22047-w
[13] LIANG K, WANG R, HUO B B, et al. Fully printed optoelectronic synaptic transistors based on quantum dot–metal oxide semiconductor heterojunctions[J]. ACS Nano, 2022, 16(6): 8651–8661. DOI:10.1021/acsnano.2c00439
[14] ZHANG J Y, DAI S L, ZHAO Y W, et al. Recent progress in photonic synapses for neuromorphic systems[J]. Advanced Intelligent Systems, 2020, 2(3): 1900136. DOI:10.1002/aisy.201900136
[15] CHENG Z G, RÍOS C, PERNICE W H P, et al. On-chip photonic synapse[J]. Science Advances, 2017, 3(9): e1700160. DOI:10.1126/sciadv.1700160
[16] KIRSCHNER M S, DIROLL B T, GUO P J, et al. Photoinduced, reversible phase transitions in all-inorganic perovskite nanocrystals[J]. Nature Communications, 2019, 10(1): 504. DOI:10.1038/s41467-019-08362-3
[17] LIN J, LAI M L, DOU L T, et al. Thermochromic halide perovskite solar cells[J]. Nature Materials, 2018, 17(3): 261–267. DOI:10.1038/s41563-017-0006-0
[18] URBACH F. The long-wavelength edge of photographic sensitivity and of the electronic absorption of solids[J]. Physical Review, 1953, 92(5): 1324.
[19] SUN L F, WANG Z R, JIANG J B, et al. In-sensor reservoir computing for language learning via two-dimensional memristors[J]. Science Advances, 2021, 7(20): eabg1455. DOI:10.1126/sciadv.abg1455
[20] AHMED T, KURIAKOSE S, MAYES E L H, et al. Optically stimulated artificial synapse based on layered black phosphorus[J]. Small, 2019, 15(22): 1900966. DOI:10.1002/smll.201900966
[21] ZHOU F C, ZHOU Z, CHEN J W, et al. Optoelectronic resistive random access memory for neuromorphic vision sensors[J]. Nature Nanotechnology, 2019, 14(8): 776–782. DOI:10.1038/s41565-019-0501-3