激光共焦扫描显微镜相比于传统显微镜具有更高的分辨率,在医学、生物学等领域有着广泛的应用[1-4],同时激光共焦扫描显微镜的高速成像功能对于活体细胞的研究具有重要意义[5]。尽管国外仪器已经实现了高速成像,但是由于商业机密等原因,公开的相关文献仅限于光学设计、扫描硬件控制和单帧图像畸变校正等[6-11]。为促进国产高速激光共焦扫描显微成像技术的发展,急需一种自主研发的高速成像技术。
配备二维振镜扫描系统的激光共焦扫描显微镜可以实现高速成像。两个正交布置的振镜分别在X方向和Y方向偏转聚焦光斑,使光斑在样品表面移动,其中X振镜实现快速行扫描,Y振镜实现慢速帧扫描。振镜扫描速度直接决定了激光共焦扫描显微镜的成像帧速。振镜的扫描方式有步进式偏转和连续式偏转两种。相比于步进式偏转,连续式偏转方式消除了行与行、帧与帧之间转换的停留时间,不仅可以降低步进式偏转反复起、停导致的位置误差,还可以大幅度提高扫描速度。但是,由于振镜机械运动特性与理论参数存在差异,连续式偏转难以实现行扫描与帧扫描的同步匹配。因此如何将连续的一维扫描信号序列高精度地重构为多帧二维图像成为了高速成像的关键难点之一。
为了实现连续多帧成像,本文提出了一种基于连续帧特征区域差分的高帧速重构算法。该算法在定性分析系统扫描方式与充分考虑振镜实际与理论运动方式差异的基础上,利用相邻两帧相似性大的特点,实现了高达300帧/s的高速扫描成像的高精度图像重构,并通过荧光小球实验对该方法的准确性进行了验证。
1 激光共焦高速扫描显微成像系统分析入射激光经扫描模块后由物镜聚焦在样品上,样品受激发产生的荧光通过探测光路到达光电倍增管并转换为电信号,数据采集卡按固定频率(
传统扫描模块通常采用双检流计振镜方案实现X、Y两个方向的扫描,但是检流计振镜的扫描速度一般不超过2 kHz,这极大地限制了扫描显微镜的成像速度。与检流计振镜不同,共振振镜以一个固有的谐振频率做简谐运动,其扫描速度可以达到12 kHz[10]。为了实现高速扫描成像,本文在X方向上采用共振振镜进行高速行扫描,在Y方向上采用检流计振镜进行慢速帧扫描。
共振振镜利用两个可产生机械谐振的谐振棒带动反射镜以一个固定的频率(
![]() |
图 1 扫描轨迹示意图 Figure 1 The graph of scan path |
两振镜的偏转角度随时间的变化如图2所示,以扫描区域中心作为坐标原点,物镜焦距为
$ {D_{\rm{x}}} = f\tan \left( {2{A_{\rm{x}}}} \right),\;\;{D_{\rm{y}}} = f\tan \left( {2{A_{\rm{y}}}} \right) $ | (1) |
将扫描轨迹一行的采样点数称为扫描点阵的行点数,扫描轨迹一列的采样点数称为扫描点阵的列点数,则由扫描成像原理可以得到行点数估计值(
$ {P_{\rm{x}}} = \left\lfloor {{F_{\rm{c}}}/\left( {2{F_{\rm{x}}}} \right)} \right\rfloor ,\;\;{P_{\rm{y}}} = \left\lfloor {2T{F_{\rm{x}}}} \right\rfloor $ | (2) |
式中
由于机械运动的限制,检流计振镜的偏转角度不能完全按图2(b)所示的理想三角波来变化,每一帧图像的扫描时间(
![]() |
图 2 振镜偏转角度随时间变化示意图 Figure 2 The graph of galvanometer deflection angle change with time |
针对扫描的实际点阵行数不断波动的情况,本文提出了一种连续帧特征区域差分成像算法,经基本图像重建及畸变校正[10]后得到二维组合图像(多帧图像组合而成的二维图像),然后利用连续帧特征区域差分的方法搜索出二维组合图像中所有特征点,并根据特征点所在位置提取出多帧图像。详细方法如下。
由于单帧图像扫描行数在
图像分为前景区域和背景区域,背景区域的噪音是不断变化的,而相邻帧的前景区域基本保持不变。将连续帧相似区域称为特征区域,特征区域范围太大会降低算法运行速度,太小会影响算法分割准确度,本文取经验值
![]() |
图 3 图像分割示意图 Figure 3 Image segmentation |
步骤一:确定初始特征点。
将组合图像前
${B_{mn}} = \sum\limits_{a = i}^{i + 6} {\sum\limits_{b = j}^{j + 6} {{I_{ab}},} } \;\; i = 1,2, \cdots ,{P_{\rm{y}}} - 6 , j = 1,2, \cdots ,{P_{\rm{x}}} - 6$ | (3) |
若矩阵
步骤二:通过迭代办法搜索全部特征点。
设第
第k个特征点的行号按单位步距增加
${e_n} = \sum\limits_{i = r'}^{r' + 6} {\sum\limits_{j = c'}^{c' + 6} {\left| {{I_{i + 2{P_{\rm{y}}} + \left( {n-4} \right),j}} - {I_{ij}}} \right|} } \;\; $ | (4) |
评价值越小,说明两个特征区域的相似性越大。将评价值en数列中最小值对应的备选特征点选取为第
$\left\{ \begin{array}{l} r'' = r' + 2{P_{\rm{y}}} + m - 4 \\ c'' = c' \\ \end{array} \right.$ | (5) |
式中m为en中最小元素的序号。
重复上述迭代过程直到
步骤三:利用特征点实现多帧分割。
将所有特征点行号依次存放在一维矩阵
$I_{ij}^n=\left\{ \begin{array}{l} {I_{c - {r_1} + i,j}}\;\;\;\;\;\;\;\;\;{\rm{when }}\;n\;{\rm{ is}}\;{\rm{odd}} \\ {I_{c{\rm{ + 2}}{P_{\rm{y}}} - {r_1} - i,j}}\;\;{\rm{when }}\;n\;{\rm{ is}}\;{\rm{even}} \\ \end{array} \right.$ | (6) |
式中:
经上述执行过程可以得出:以最强信号区域作为特征区域从而可最大程度地降低噪音的影响;算法通过备选特征点的引入,在减小搜索范围的同时也避免了相似点的干扰;特征点的选取考虑了特征区域内所有像素,从而提高了搜索精度,同时程序运行过程中没有涉及到复杂计算,保证了执行速度。因此,本方法理论上能够快速准确地分割出多帧图像。
3 实验结果与分析本文建立的激光共焦高速扫描显微成像系统采用检流计−共振振镜作为扫描模块,X方向的共振振镜为CRS 8kz resonant scanner(Cambridge Technology,Inc.),Y方向的检流计振镜为Cambridge galvo scanner 6230。物镜选自Nikon公司,放大倍数为60,数值孔径为0.95。各元件初始化参数见表1。根据扫描成像原理,一帧图像扫描时间(
![]() |
表 1 扫描系统初始化参数 Table 1 Scan system initialization parameters |
以4 μm的荧光小球作为成像目标连续扫描,将系统参数
![]() |
图 4 均匀信号序列按固定行数分割结果 Figure 4 Uniform lattice sequence segmentation results |
![]() |
图 5 本文连续帧特征区域差分成像算法处理结果 Figure 5 The continuous frame feature region difference imaging algorithm processing results |
图5清晰地呈现了3个小球的形态,并且每个小球直径大约为13个像素。将表1中系统参数
另外,实验过程中被扫描对象采用静态样片,使得序列图像理论上具有相似度高的特性,根据此特性可验证多帧图像分割的准确性。由图4可得,按固定行数分割的办法会造成各帧小球图像位置上下移动,无法实现准确分割。相比之下,图5各帧图像中3个小球的位置基本保持不变,说明了本文算法对多帧图像分割的准确性。
图6显示了经本文连续帧特征区域差分成像算法处理后的300帧图像的相似度。分别将第一帧图像中球1、球2、球3的中心像素与每一帧图像对应像素强度作差并取绝对值得到了3组灰度差值,对每一组差值进行频数统计(各个差值出现的次数),得到小球中心位置灰度差统计图,如图6(a)所示。把X方向距离小球中心6个像素的位置称为小球边缘像素,分别将第一帧图像中3个小球边缘像素与每一帧图像对应像素强度作差并取绝对值得到了3组灰度差值,再对每一组差值进行频数统计,得到小球边缘位置灰度差统计图,如图6(b)所示。
![]() |
图 6 本文连续帧特征区域差分成像算法序列图像相似度分析 Figure 6 Similarity analysis of the sequence images obtained by the consecutive frame feature region difference imaging algorithm |
图6中各帧与第一帧小球中心像素差值基本在4个灰度级以内,相对于256个灰度等级,成像误差低于1.6 %。边缘像素差值大多低于10个灰度级,成像误差约为3.9 %。多帧序列图像满足理论相似要求,证明了分割过程的准确性。
小球边缘信号强度低,容易受到背景噪音的影响,从而导致图6(b)中各帧图像与第一帧小球边缘像素灰度差波动范围较大。因此若不考虑噪音对小球边缘微弱信号的影响,系统成像误差低于1.6%。通过减小电路噪音或者对采样序列进行滤波处理,可以有效优化算法处理结果。
4 结 论激光共焦扫描显微镜可以有效检测微观物体,然而随着系统扫描速度的提高,如何将连续的一维扫描信号序列高精度地重构为多帧二维图像成为了高速成像的关键问题。为此本文提出了一种基于连续帧特征区域差分的高速成像算法,解决了高速扫描系统的扫描点阵行数不固定所带来的难题。荧光小球成像实验结果表明,本文算法能够准确地重构并分割出多帧图像,使得成像帧速高达300帧/s。由于本文算法未考虑噪音引起的微弱信号失真,因此下一步研究可着重于此。
[1] | 王春苗, 侯华新, 黎丹戎, 等. 激光扫描共聚焦显微镜观测大黄素β环糊精包合物在鼻咽癌细胞的跨膜转运及分布[J]. 中国激光, 2014, 41(5): 0504001. |
[2] | 杨豫龙, 宗伟建, 吴润龙, 等. 光片荧光显微成像[J]. 光学学报, 2017, 37(3): 0318007. |
[3] | 张莹, 胡纳, 汪曣, 等. 体视学与激光共聚焦显微镜图像分析黑色素瘤细胞三维形态学参数的变化[J]. 光学学报, 2012, 32(9): 0917001. |
[4] | MOWLA A, TAIMRE T, BERTLING K, et al. Confocal laser feedback microscopy for in-depth imaging applications[J]. Electronics Letters, 2018, 54(4): 196–198. DOI:10.1049/el.2017.4333 |
[5] | BHAT S V, SULTANA T, KÖRNIG A, et al. Correlative atomic force microscopy quantitative imaging-laser scanning confocal microscopy quantifies the impact of stressors on live cells in real-time[J]. Scientific Reports, 2018, 8(1): 8305. DOI:10.1038/s41598-018-26433-1 |
[6] | 赵维谦, 任利利, 盛忠, 等. 激光共焦显微光束的偏转扫描[J]. 光学 精密工程, 2016, 24(6): 1257–1263. |
[7] | CHOI S, KIM P, BOUTILIER R, et al. Development of a high speed laser scanning confocal microscope with an acquisition rate up to 200 frames per second[J]. Optics Express, 2013, 21(20): 23611–23618. DOI:10.1364/OE.21.023611 |
[8] | 李朝辉. 激光扫描实时共聚焦显微成像系统设计[J]. 光子学报, 2011, 40(5): 667–672. |
[9] | MA H Z, JIANG J, REN H W, et al. A video rate laser scanning confocal microscope[C]//Proceedings of SPIE 6861, three-dimensional and multidimensional microscopy: image acquisition and processing XV. San Jose, California, United States: SPIE, 2008: 68610D. |
[10] | 熊大曦, 刘云, 梁永, 等. 共振扫描显微成像中的图像畸变校正[J]. 光学 精密工程, 2015, 23(10): 2971–2979. |
[11] | YOO H W, VAN ROYEN M E, VAN CAPPELLEN W A, et al. Automated spherical aberration correction in scanning confocal microscopy[J]. Review of Scientific Instruments, 2014, 85(12): 123706. DOI:10.1063/1.4904370 |