光学仪器  2019, Vol. 41 Issue (5): 24-29   PDF    
激光共焦高速扫描显微成像的高帧速重构算法
苏丹, 秦小云, 周玮, 贾新月, 郭汉明     
上海理工大学 光电信息与计算机工程学院,上海 200093
摘要: 针对激光共焦扫描显微镜的往复式逐行扫描成像方式带来的帧图像数据分割难的问题,在分析系统扫描方式、振镜的实际运动方式与理论运动方式差异的基础上,利用相邻两帧图像相似性大的特点,提出了一套完整的高帧速重构算法。该算法通过连续帧特征区域差分的方式实现了一维信号序列的自适应分割,即实现了对一维信号序列进行动态排列及分割成二维阵列图像数据,从而重构出多帧高精度图像。实验表明,该算法的成像误差低于1.6 %,适用于成像速度高达300帧/s的激光共焦扫描显微成像。
关键词: 激光共焦扫描显微镜    快速成像    图像处理    振镜扫描    
High frame-rate reconstruction algorithm for laser confocal high speed scanning microscopy
SU Dan, QIN Xiaoyun, ZHOU Wei, JIA Xinyue, GUO Hanming     
School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China
Abstract: In order to increase the imaging speed of the laser confocal scanning microscope, a progressive bidirectional scanning method should be used in order to make full use of the highest frequency that the scanning galvanometer can achieve. Meanwhile, for high-speed scanning image this method will bring frame data segmentation problems. In this paper, on the basis of qualitative analysis of the system scanning mode and taking full account of the differences between the actual and theoretical motion modes of galvanometer, a set of complete high-frame-rate imaging algorithms is proposed by exploiting the similarity of two adjacent frames. The method realizes adaptive segmentation of one-dimensional signal sequence by means of continuous frame feature region difference, that is , the one-dimensional signal sequence is dynamically arranged and divided into two-dimensional array image data, thereby reconstructing multi-frame high-precision images. Experiment shows that the imaging error of this algorithm is less than 1.6% and is suitable for laser confocal scanning microscopy with an imaging speed of up to 300 frame/s.
Key words: laser confocal scanning microscope    rapid imaging    image processing    galvanometer scan    
引 言

激光共焦扫描显微镜相比于传统显微镜具有更高的分辨率,在医学、生物学等领域有着广泛的应用[1-4],同时激光共焦扫描显微镜的高速成像功能对于活体细胞的研究具有重要意义[5]。尽管国外仪器已经实现了高速成像,但是由于商业机密等原因,公开的相关文献仅限于光学设计、扫描硬件控制和单帧图像畸变校正等[6-11]。为促进国产高速激光共焦扫描显微成像技术的发展,急需一种自主研发的高速成像技术。

配备二维振镜扫描系统的激光共焦扫描显微镜可以实现高速成像。两个正交布置的振镜分别在X方向和Y方向偏转聚焦光斑,使光斑在样品表面移动,其中X振镜实现快速行扫描,Y振镜实现慢速帧扫描。振镜扫描速度直接决定了激光共焦扫描显微镜的成像帧速。振镜的扫描方式有步进式偏转和连续式偏转两种。相比于步进式偏转,连续式偏转方式消除了行与行、帧与帧之间转换的停留时间,不仅可以降低步进式偏转反复起、停导致的位置误差,还可以大幅度提高扫描速度。但是,由于振镜机械运动特性与理论参数存在差异,连续式偏转难以实现行扫描与帧扫描的同步匹配。因此如何将连续的一维扫描信号序列高精度地重构为多帧二维图像成为了高速成像的关键难点之一。

为了实现连续多帧成像,本文提出了一种基于连续帧特征区域差分的高帧速重构算法。该算法在定性分析系统扫描方式与充分考虑振镜实际与理论运动方式差异的基础上,利用相邻两帧相似性大的特点,实现了高达300帧/s的高速扫描成像的高精度图像重构,并通过荧光小球实验对该方法的准确性进行了验证。

1 激光共焦高速扫描显微成像系统分析

入射激光经扫描模块后由物镜聚焦在样品上,样品受激发产生的荧光通过探测光路到达光电倍增管并转换为电信号,数据采集卡按固定频率( ${F_{\rm{c}}}$ )采集电信号后通过上位机对信号序列的适当处理获得扫描区域图像[8]

传统扫描模块通常采用双检流计振镜方案实现X、Y两个方向的扫描,但是检流计振镜的扫描速度一般不超过2 kHz,这极大地限制了扫描显微镜的成像速度。与检流计振镜不同,共振振镜以一个固有的谐振频率做简谐运动,其扫描速度可以达到12 kHz[10]。为了实现高速扫描成像,本文在X方向上采用共振振镜进行高速行扫描,在Y方向上采用检流计振镜进行慢速帧扫描。

共振振镜利用两个可产生机械谐振的谐振棒带动反射镜以一个固定的频率( ${F_{\rm{x}}}$ )往复转动,并通过恒定不变的输入电压控制其最大偏转角( ${A_{\rm{x}}}$ )。检流计振镜利用线圈产生电磁感应驱动反射镜发生偏转,偏转角度与输入电压成正比,通过周期为 $2T$ 、幅度为 ${A_{\rm{y}}}$ 的三角波电压信号控制其偏转角度同步变化。检流计振镜每转动半个周期( $T$ ),聚焦光斑完成一帧图像扫描,单帧图像的全部采样点形成扫描点阵,扫描轨迹如图1所示。

图 1 扫描轨迹示意图 Figure 1 The graph of scan path

两振镜的偏转角度随时间的变化如图2所示,以扫描区域中心作为坐标原点,物镜焦距为 $f$ ,则扫描区域X方向最大长度 ${D_{\rm{x}}}$ 和Y方向最大宽度 ${D_{\rm{y}}}$ 分别为:

$ {D_{\rm{x}}} = f\tan \left( {2{A_{\rm{x}}}} \right),\;\;{D_{\rm{y}}} = f\tan \left( {2{A_{\rm{y}}}} \right) $ (1)

将扫描轨迹一行的采样点数称为扫描点阵的行点数,扫描轨迹一列的采样点数称为扫描点阵的列点数,则由扫描成像原理可以得到行点数估计值( ${P_{\rm{x}}}$ )和列点数估计值( ${P_{\rm{y}}}$ )分别为:

$ {P_{\rm{x}}} = \left\lfloor {{F_{\rm{c}}}/\left( {2{F_{\rm{x}}}} \right)} \right\rfloor ,\;\;{P_{\rm{y}}} = \left\lfloor {2T{F_{\rm{x}}}} \right\rfloor $ (2)

式中 $\left\lfloor {} \right\rfloor $ 符号代表向下取整。

由于机械运动的限制,检流计振镜的偏转角度不能完全按图2(b)所示的理想三角波来变化,每一帧图像的扫描时间( $T$ )都会和理想值有偏差,使得扫描点阵列点数(行数)在某个固定值( ${P_{\rm{y}}}$ )上下浮动。因此,必须采用合适的算法对信号序列进行动态排列和分割成阵列数据。

图 2 振镜偏转角度随时间变化示意图 Figure 2 The graph of galvanometer deflection angle change with time
2 算法实现

针对扫描的实际点阵行数不断波动的情况,本文提出了一种连续帧特征区域差分成像算法,经基本图像重建及畸变校正[10]后得到二维组合图像(多帧图像组合而成的二维图像),然后利用连续帧特征区域差分的方法搜索出二维组合图像中所有特征点,并根据特征点所在位置提取出多帧图像。详细方法如下。

由于单帧图像扫描行数在 ${P_{\rm{y}}}$ 上下浮动,因而不能直接按固定行数( ${P_{\rm{y}}}$ )将二维组合图像( ${{I}}$ )分割成多帧图像。为了实现快速自适应分割,设计了一种基于连续帧特征区域差分的计算机自动分割方法。

图像分为前景区域和背景区域,背景区域的噪音是不断变化的,而相邻帧的前景区域基本保持不变。将连续帧相似区域称为特征区域,特征区域范围太大会降低算法运行速度,太小会影响算法分割准确度,本文取经验值 $7 \times 7$ 的像素区域。所有奇数帧特征区域的左顶点称为特征点,每个理论特征点前后7个像素称为备选特征点。首先将组合图像前 ${P_{\rm{y}}}$ 行的最强信号区域作为第一帧特征区域,其左顶点作为初始特征点;然后利用特征区域的相似性,通过迭代方法从备选特征点搜索到实际特征点并将其行号存放于一维矩阵 ${{r}}$ 中;最后利用 ${{r}}$ 选取相关区域实现多帧分割。图3为图像分割过程,可分为以下几个步骤。

图 3 图像分割示意图 Figure 3 Image segmentation

步骤一:确定初始特征点。

将组合图像前 ${P_{\rm{y}}}$ 行所有像素作为初始特征点寻找区域,以 $7 \times 7$ 像素大小的滑动窗按单位像素在区域内移动,并依次将各窗口内像素之和存放在矩阵 ${{B}}$ 中,则矩阵 ${{B}}$ 的第 $m$ $n$ 列元素取值为:

${B_{mn}} = \sum\limits_{a = i}^{i + 6} {\sum\limits_{b = j}^{j + 6} {{I_{ab}},} } \;\; i = 1,2, \cdots ,{P_{\rm{y}}} - 6 , j = 1,2, \cdots ,{P_{\rm{x}}} - 6$ (3)

若矩阵 ${{B}}$ 中最大元素位于第 $r$ $c$ 列,取初始特征点在组合图像上的位置为 $\left( {r,c} \right)$

步骤二:通过迭代办法搜索全部特征点。

设第 $k$ 个特征点位置为 $\left( {r',c'} \right)$ ,第 $k{\rm{ + 1}}$ 个特征点位置 $\left( {r'',c''} \right)$ 确定方法如下:

k个特征点的行号按单位步距增加 $2{P_{\rm{y}}} - $ 3到 $2{P_{\rm{y}}} + 3$ ,列号保持不变,作为第 $k{\rm{ + 1}}$ 个特征点位置的7个备选特征点。将每个备选特征点作为左顶点的 $7 \times 7$ 像素区域,并将该区域称为备选特征区域。备选特征区域与第k个特征区域对应像素作差取绝对值,所有绝对值之和作为特征点评价值。第nn= 1,2, ... ,7)个备选特征点的评价值en为:

${e_n} = \sum\limits_{i = r'}^{r' + 6} {\sum\limits_{j = c'}^{c' + 6} {\left| {{I_{i + 2{P_{\rm{y}}} + \left( {n-4} \right),j}} - {I_{ij}}} \right|} } \;\; $ (4)

评价值越小,说明两个特征区域的相似性越大。将评价值en数列中最小值对应的备选特征点选取为第 $k{\rm{ + 1}}$ 个特征点,其在多帧组合图像中的位置 $\left( {r'',c''} \right)$ 为:

$\left\{ \begin{array}{l} r'' = r' + 2{P_{\rm{y}}} + m - 4 \\ c'' = c' \\ \end{array} \right.$ (5)

式中men中最小元素的序号。

重复上述迭代过程直到 $k$ 与奇数帧帧数相同为止,从而求出了所有特征点。

步骤三:利用特征点实现多帧分割。

将所有特征点行号依次存放在一维矩阵 ${{r}}$ 中。提取第 $k$ 个特征点行号的前 ${r_1}$ 行和后 $2{P_{\rm{y}}} - {r_1}$ 行所有像素,得到第 $2k-1$ 帧与第 $2k$ 帧数据构成的两帧组合图像,其中前半部分直接作为第 $2k-1$ 帧图像,后半部分按倒序的行号排列作为第 $2k$ 帧图像。则第 $n$ 帧图像 ${{{I}}^n}$ 中各元素可表示为:

$I_{ij}^n=\left\{ \begin{array}{l} {I_{c - {r_1} + i,j}}\;\;\;\;\;\;\;\;\;{\rm{when }}\;n\;{\rm{ is}}\;{\rm{odd}} \\ {I_{c{\rm{ + 2}}{P_{\rm{y}}} - {r_1} - i,j}}\;\;{\rm{when }}\;n\;{\rm{ is}}\;{\rm{even}} \\ \end{array} \right.$ (6)

式中: $i \in \left( {1,2, \cdots ,{P_{\rm{x}}}} \right)$ $j \in \left( {1,2, \cdots ,{P_{\rm{y}}}} \right)$ $I_{ij}^n$ 表示第 $n$ 帧图像中第 $i$ $j$ 列的元素; $c$ ${{r}}$ 中的第 $\left\lceil {{n / 2}} \right\rceil $ 个元素( $\left\lceil {} \right\rceil $ 符号表示向上取整); ${r_1}$ 代表 ${{r}}$ 中第1个元素。

经上述执行过程可以得出:以最强信号区域作为特征区域从而可最大程度地降低噪音的影响;算法通过备选特征点的引入,在减小搜索范围的同时也避免了相似点的干扰;特征点的选取考虑了特征区域内所有像素,从而提高了搜索精度,同时程序运行过程中没有涉及到复杂计算,保证了执行速度。因此,本方法理论上能够快速准确地分割出多帧图像。

3 实验结果与分析

本文建立的激光共焦高速扫描显微成像系统采用检流计−共振振镜作为扫描模块,X方向的共振振镜为CRS 8kz resonant scanner(Cambridge Technology,Inc.),Y方向的检流计振镜为Cambridge galvo scanner 6230。物镜选自Nikon公司,放大倍数为60,数值孔径为0.95。各元件初始化参数见表1。根据扫描成像原理,一帧图像扫描时间( $T$ )为半个检流计振镜角度变化周期,即 $3.28 \times {10^{-3}}\;{\rm{s}}$ ,300帧图像的扫描时间( $300T$ )就为 $0.984\;{\rm{s}}$ 。因此,系统扫描速度达到了300 帧/s。

表 1 扫描系统初始化参数 Table 1 Scan system initialization parameters

以4 μm的荧光小球作为成像目标连续扫描,将系统参数 ${F_{\rm{c}}}$ ${F_{\rm{x}}}$ $T$ 代入式(2)得到扫描点阵行点数估计值为630,列点数估计值为52。通过两种不同的重构方式得到了两组序列图像。图4图5分别显示了两组处理结果(第1、150、300帧图像),其中图4为按固定行数分割处理结果,图5为本文连续帧特征区域差分成像算法处理结果。

图 4 均匀信号序列按固定行数分割结果 Figure 4 Uniform lattice sequence segmentation results

图 5 本文连续帧特征区域差分成像算法处理结果 Figure 5 The continuous frame feature region difference imaging algorithm processing results

图5清晰地呈现了3个小球的形态,并且每个小球直径大约为13个像素。将表1中系统参数 $f$ ${A_{{\rm{mx}}}}$ ${A_{{\rm{my}}}}$ 代入式(1)得到扫描区域范围为186 μm $\times$ 15 μm,根据扫描范围和图像大小可计算出实验所用4 μm小球理论直径宽度为13像素,从而图像中小球大小与理论相符。

另外,实验过程中被扫描对象采用静态样片,使得序列图像理论上具有相似度高的特性,根据此特性可验证多帧图像分割的准确性。由图4可得,按固定行数分割的办法会造成各帧小球图像位置上下移动,无法实现准确分割。相比之下,图5各帧图像中3个小球的位置基本保持不变,说明了本文算法对多帧图像分割的准确性。

图6显示了经本文连续帧特征区域差分成像算法处理后的300帧图像的相似度。分别将第一帧图像中球1、球2、球3的中心像素与每一帧图像对应像素强度作差并取绝对值得到了3组灰度差值,对每一组差值进行频数统计(各个差值出现的次数),得到小球中心位置灰度差统计图,如图6(a)所示。把X方向距离小球中心6个像素的位置称为小球边缘像素,分别将第一帧图像中3个小球边缘像素与每一帧图像对应像素强度作差并取绝对值得到了3组灰度差值,再对每一组差值进行频数统计,得到小球边缘位置灰度差统计图,如图6(b)所示。

图 6 本文连续帧特征区域差分成像算法序列图像相似度分析 Figure 6 Similarity analysis of the sequence images obtained by the consecutive frame feature region difference imaging algorithm

图6中各帧与第一帧小球中心像素差值基本在4个灰度级以内,相对于256个灰度等级,成像误差低于1.6 %。边缘像素差值大多低于10个灰度级,成像误差约为3.9 %。多帧序列图像满足理论相似要求,证明了分割过程的准确性。

小球边缘信号强度低,容易受到背景噪音的影响,从而导致图6(b)中各帧图像与第一帧小球边缘像素灰度差波动范围较大。因此若不考虑噪音对小球边缘微弱信号的影响,系统成像误差低于1.6%。通过减小电路噪音或者对采样序列进行滤波处理,可以有效优化算法处理结果。

4 结 论

激光共焦扫描显微镜可以有效检测微观物体,然而随着系统扫描速度的提高,如何将连续的一维扫描信号序列高精度地重构为多帧二维图像成为了高速成像的关键问题。为此本文提出了一种基于连续帧特征区域差分的高速成像算法,解决了高速扫描系统的扫描点阵行数不固定所带来的难题。荧光小球成像实验结果表明,本文算法能够准确地重构并分割出多帧图像,使得成像帧速高达300帧/s。由于本文算法未考虑噪音引起的微弱信号失真,因此下一步研究可着重于此。

参考文献
[1] 王春苗, 侯华新, 黎丹戎, 等. 激光扫描共聚焦显微镜观测大黄素β环糊精包合物在鼻咽癌细胞的跨膜转运及分布[J]. 中国激光, 2014, 41(5): 0504001.
[2] 杨豫龙, 宗伟建, 吴润龙, 等. 光片荧光显微成像[J]. 光学学报, 2017, 37(3): 0318007.
[3] 张莹, 胡纳, 汪曣, 等. 体视学与激光共聚焦显微镜图像分析黑色素瘤细胞三维形态学参数的变化[J]. 光学学报, 2012, 32(9): 0917001.
[4] MOWLA A, TAIMRE T, BERTLING K, et al. Confocal laser feedback microscopy for in-depth imaging applications[J]. Electronics Letters, 2018, 54(4): 196–198. DOI:10.1049/el.2017.4333
[5] BHAT S V, SULTANA T, KÖRNIG A, et al. Correlative atomic force microscopy quantitative imaging-laser scanning confocal microscopy quantifies the impact of stressors on live cells in real-time[J]. Scientific Reports, 2018, 8(1): 8305. DOI:10.1038/s41598-018-26433-1
[6] 赵维谦, 任利利, 盛忠, 等. 激光共焦显微光束的偏转扫描[J]. 光学 精密工程, 2016, 24(6): 1257–1263.
[7] CHOI S, KIM P, BOUTILIER R, et al. Development of a high speed laser scanning confocal microscope with an acquisition rate up to 200 frames per second[J]. Optics Express, 2013, 21(20): 23611–23618. DOI:10.1364/OE.21.023611
[8] 李朝辉. 激光扫描实时共聚焦显微成像系统设计[J]. 光子学报, 2011, 40(5): 667–672.
[9] MA H Z, JIANG J, REN H W, et al. A video rate laser scanning confocal microscope[C]//Proceedings of SPIE 6861, three-dimensional and multidimensional microscopy: image acquisition and processing XV. San Jose, California, United States: SPIE, 2008: 68610D.
[10] 熊大曦, 刘云, 梁永, 等. 共振扫描显微成像中的图像畸变校正[J]. 光学 精密工程, 2015, 23(10): 2971–2979.
[11] YOO H W, VAN ROYEN M E, VAN CAPPELLEN W A, et al. Automated spherical aberration correction in scanning confocal microscopy[J]. Review of Scientific Instruments, 2014, 85(12): 123706. DOI:10.1063/1.4904370