显微成像是一门比较成熟的技术,而无透镜全息显微镜则是一项新兴的,具有广阔前景的计算成像技术。无透镜全息显微镜没有复杂的光学透镜系统,是通过全息成像[1]、图像重建技术以及图像传感器的使用来实现的,因此结构简单、轻巧、成本低,对于远程医疗、野外检测、高校课堂实验这些实时的应用场景需要比较短的处理时间的生物检测等方面有着重要的意义。
为了使成像结构尽可能紧凑,将参考光和物光在同一方向上共同传播,并用数字图像传感器阵列记录这两束光产生的干涉图样的强度。由于记录的全息图像只包含了复杂场的强度信息,因此光在反向传播过程中将在原始图像上产生伪影。同离轴全息结构不同,离轴全息可以通过角谱传播去除伪影,而伪影将会对像质产生很大的影响。由于数字全息显微镜中样本到传感器的距离很小,样本和传感器的视场大小是相同的,因此,伪影的影响将进一步放大。在数字全息术中,可以通过施加伪影不满足的物理约束来消除伪影,基于这种约束,通过迭代以减少错误算法来实现[2]。对于单个物体,这种方法所需的全息图的测量很简单,但是在处理密集连接的样本(例如血液红细胞、病理学切片等)时,会带来很大的挑战[3]。为了解决这一问题,需要进行多次多样的测量,例如样本到传感器的距离、照明角度、波长等。然而,之前的研究表明,对于病理学的切片或者生物组织等密集连接的样本,需要进行过度采样[4]。例如,在对血液红细胞进行多高度测量时,通常需要8幅,甚至更多的具有不同高度(样本到传感器距离)的全息图才能得到高质量的重建图像。这不仅增加了测量的数据,也增加了处理的时间。基于上述问题,提出一种基于小波稀疏化的全息显微成像技术。
对于生物样本,可以在某些小波域进行稀疏表示,用基于小波域的稀疏约束进行图像重建以减少所需全息图的测量,并且得到像质比较好的图像。实验表明,对于紧密连接的生物样本(例如血液红细胞、病理切片等),三个不同的样本到传感器距离的全息图就能实现迭代重建。
本文所述的稀疏约束方法同之前报告中的压缩全息有很大的不同。对于孤立的物体,自由的空间传播本身就是一种有效的压缩感知的编码机制,可以从传统的低采样预测出高维度的数据。而本文所述的基于小波的稀疏重建是对密集连接的样本而不是孤立的,并且可以在20 mm2的视场(等于传感器的范围)实现对血液红细胞样本的显微成像。
这种基于稀疏的图像重建方法可以扩展到其它相关的显微镜成像中,例如多角度或者多波长的图像重建[5-8]。还可以结合最近比较热门的超分辨宽视场技术以及多路复用彩色图像技术,可以进一步减少全息测量的数量,利用一些新的算法,可以实现高效便捷的显微技术。
1 基本原理 1.1 稀疏表示稀疏表示是近年来图像处理和模式识别方向的研究热点。信号稀疏表示的目的就是在给定的超完备字典中用尽可能少的原子来表示信号,可以获得信号更为简洁的表示方式,从而更容易地获取信号中所蕴含的信息,方便更进一步对信号进行加工处理,如压缩、编码等[9]。信号稀疏表示方向的研究热点主要集中在稀疏分解算法、超完备原子字典和稀疏表示的应用等方面。信号稀疏表示的两大主要任务就是字典的生成和信号的稀疏分解。对于字典的选择,一般有分析字典和学习字典两大类。常用的分析字典有小波字典、超完备DCT字典和曲波字典等,常用的学习字典的方法有MOD算法、K-SVD算法等。一个信号可以稀疏地表示为冗余字典中少量原子的线性组合。
字典
| ${{x}} = {{D}} \cdot {{a}}$ | (1) |
式中
图1形象地表示了稀疏表示的基本原理。
|
图 1 稀疏表示的基本原理 Figure 1 The operation principle of sparse representation |
在获得了一系列宽视场、低分辨率,具有不同样本到传感器距离的全息图后,这些全息图的信息可以表示为
| ${I_i}(x ,\; y) = {\left| {A + AS\!P[o(x,y);\lambda ,n,{z_i}]} \right|^2}$ | (2) |
式中:
| $ H({v_x},{v_y};\lambda ,n,{z_i}) = \\ \left\{ \begin{array}{l} {\exp \left( { - {\rm{j}}2{\text{π}} \dfrac{{n{z_i}}}{\lambda }\sqrt {1 - {{\left(\dfrac{\lambda }{n}{v_x}\right)}^2} - {{\left(\dfrac{\lambda }{n}{v_y}\right)}^2}} } \right)} \quad {\left({v_x}^2 + {v_y}^2 \leqslant {{\left(\dfrac{n}{\lambda }\right)}^2}\right)}\\ 0\qquad \qquad \qquad \qquad \qquad \qquad\qquad \qquad \qquad {{\rm{else}}} \end{array} \right. $ | (3) |
式(3)相当于一个低通滤波器,
首先用无透镜全息显微镜获得3幅初始图像,通过角谱传播理论,得到恢复的初始图像,再进行小波稀疏处理,得到高分辨率的图像。为了评价3幅图的恢复效果,将8幅图通过多高度迭代的算法恢复作为对比[12],用SSIM算法比较相似度。
2.2 基于迭代的多高度恢复算法这种方法是一种错误减少算法,利用不同高度的全息图作为一种物理约束,使得图像在每一次迭代中进行不断的校正。如果将距离CCD传感器最远的全息图看做第1幅图的话,传播到第2幅图时进行振幅约束,这里的振幅是得到的全息图强度的平方根,此时,全息图得到了更新,以此类推,直到传播到最后一个全息图(第8幅或者16幅);到达最后一幅图后,进行反向传播,同样将振幅不断进行更新,直到回到第1幅图完成第1次迭代。此算法通常需要迭代30次或者达到收敛标准后停止。此算法在基于稀疏的图像重建算法当中作为初始的输入,之后再进行稀疏约束等操作[13]。
2.3 基于小波稀疏的多高度恢复算法基于小波稀疏的多高度恢复算法流程图如图2所示。
|
图 2 基于小波稀疏的多高度恢复算法流程图 Figure 2 Flowchart of multi-height recovery algorithm based on wavelet sparsity |
此算法的基本思路参考图3所示。
|
图 3 多高度恢复算法 Figure 3 Multi-height recovery algorithm |
第一步:对3幅不同高度的全息图进行正向角谱传播,物理约束后,振幅得到校正,进行反向角谱传播,最终回到物平面,得到较高分辨率的全息图,作为下一步的输入。
第二步:将上一步结果进行小波正变换,得到一系列小波系数,此时,还不认为是稀疏的,需要进一步稀疏化。
第三步:确定稀疏域,并不断更新稀疏域的振幅,这里需要保证小波系数中大的值不变,同时更新其余的系数,将系数值很小的变为零。
第四步:减少稀疏域以外区域的错误,通过放缩来调节系数的大小。
第五步:在小波域中,对图像进行阈值去燥处理,最后,进行小波反变化。不断重复以上步骤,直到收敛为止[14]。
2.4 评估成像质量运用SSIM算法对基于小波稀疏的恢复图像进行像质评估[15]。SSIM算法是基于结构相似性的图像质量评价,结构性表现在图像的像素间存在着很强的相关性,而大多数的质量评估方法是使用线性变换来分解图像信号,例如,均方误差(MSE)、峰值信噪比(PSNR)等,不涉及相关性,因此,这种方法可以更加直观的来比较失真图像与参考图像结构的相似性。
SSIM测量系统是通过检查图像的对比度、亮度、结构之间的关系来获取信息。其中,图像的对比度是通过标准偏差
| ${\sigma _p} = \sqrt {\frac{1}{{N - 1}}\sum\limits_{i = 1}^N {{{({U_p}({x_i},{y_i}) - {\mu _p})}^2}} } ,p = \left\{ {1,2} \right\}$ | (4) |
式中:N为分块总数,利用的是滑动窗将图像分块;
结构是通过计算两个图像的协方差
| ${\sigma _{1,2}} = \frac{1}{{N - 1}}\sum\limits_{i = 1}^N {({U_1}({x_i},{y_i}) - {\mu _1}){{({U_2}({x_i},{y_i}) - {\mu _2})}^{}}} $ | (5) |
根据以上可将两幅图的SSIM定义为
| $SSIM(U_1,U_2) = \frac{{(2{\mu _1}{\mu _2} + {C_1})(2{\sigma _{1,2}} + {C_2})}}{{({\mu _1}^2 + {\mu _2}^2 + {C_1})({\sigma _1}^2 + {\sigma _2}^2 + {C_2})}}$ | (6) |
式中
无透镜全息显微镜如图4所示。一种局部相干光源(氙灯附在单色器上,带宽5 nm),耦合到单模光纤(直径100 µm)。取样距离(光源到样本的距离)Z1为10 cm,传感器距离(样本到传感器的距离)Z2为0.7~1 mm。使用CCD传感器对样品进行采样,此时,样品的视场等于CCD的有效区域,这样得到无透镜全息图,通过对不同Z2上的样品进行多重强度测量来重建密集样本的图像。考虑到在线全息图可能出现的旋转和变化,需要对成像数据进行数字注册、对准,然后经过迭代处理,恢复缺失的光学信息,这样就可以在不需要任何复杂的光学系统的情况下,实现样本的显微成像[16]。
|
图 4 全息显微镜工作图 Figure 4 Hologram microscopy |
为了验证基于小波稀疏的图像重建算法,在不同的高度(即样品到传感器的距离)获得了一组(8幅)图。首先,将基于迭代的多高度恢复方法应用于这8幅全息图上,并将此恢复的高分辨图作为参考图像,如图5所示。用基于小波稀疏的方法来恢复同样的3幅不同高度的图像,效果是可以与8幅图的恢复结果相对比的,如图6所示。为了量化图像重建的质量,我们对这些图像进行SSIM计算,结果如表1所示。对于人体血液样本,用基于小波稀疏的重建方法,其SSIM值为0.8407;在此基础上,用4幅不同高度的全息图进行小波稀疏恢复,结果如图7所示,其SSIM值为0.8703。
|
图 5 8幅图迭代重建结果 Figure 5 Iterative reconstruction results of eight images |
|
图 6 3幅图小波稀疏重建结果 Figure 6 Iterative reconstruction results of three images |
|
|
表 1 不同切片对应恢复方法的SSIM值 Table 1 The SSIM value of different slices corresponds to the recovery method |
|
图 7 4幅图小波稀疏重建结果 Figure 7 Iterative reconstruction results of four images |
以上结果表明,我们可以减少至少两倍的全息图数量将图像恢复出来,这不仅减少了测量的次数和时间,同时还能满足空间分辨率以及显微镜的视野,这对于无透镜显微镜的实现及其重要。在基于稀疏的多高度恢复方法中,我们使用了一个CCD传感器,它的像素大小为 2.2 µm,达到了传统台式显微镜的分辨率。这不仅不需要显微镜复杂的设计结构,也不需要很多的镜片来成像,还降低了显微镜的成本。
我们已经证明了多高度全息成像可以用稀疏表示来恢复图像,但同时,基于稀疏的信号恢复还可以用于其它的物理测量,例如,多角度照明,波长扫描等,这些在生物样品的测量方面运用非常广泛。
另外,本文所述的小波变换可以是很多种小波变换,例如µmCDF97小波变化,这在压缩图像方面也有很大的运用。对于稀疏表示,还可以运用自适应的方法,例如字典学习都可以达到稀疏化,超分辨的目的。对于本项工作而言,其主要目的是减少原始数据的测量,同时保证图像的质量,因此,选择合适的测量方法以达到所要求的目标是最重要的。
重构算法中一个很重要的方面就是初始化,当在自由空间传播时,低空间频率的信号包含了关于样本的大部分信息,因此低频小波带是不能被认为是稀疏的。另一方面是各个全息图的距离需要经过不断的尝试,找到初始化最优时的距离。
4 结 论本文研究了一种基于小波稀疏的图像重建算法,用于对密集连接的样本进行数字在线全息成像。这种算法能够利用不同的高度(样品到传感器距离)的少量全息图来重构生物样本的图像,这比之前基于迭代的多高度重建方法中使用的全息图的数量至少减少了两倍。使用人体血液切片实现了无透镜超分辨的要求,且视野达到了20 mm2,这对于生物医学、临床医学等方面都会有很大的帮助,大大提高了实验效率,同时还降低了显微镜的成本。这种基于稀疏的重建方法还可以运用在其他超分辨全息成像技术中,例如,多个照明角度或多个照明波长,这些成像技术都可以用来增强相干全息显微镜的空间带宽。
| [1] | BRADY D J, CHOI K, MARKS D L, et al. Compressive holography[J]. Optics Express, 2009, 17(15): 13040–13049. DOI:10.1364/OE.17.013040 |
| [2] | BAO P, SITU G, PEDRINI G, et al. Lensless phase microscopy using phase retrieval with multiple illumination wavelengths[J]. Applied Optics, 2012, 51(22): 5486–5494. DOI:10.1364/AO.51.005486 |
| [3] | 周伟. 基于MATLAB的小波分析应用[M]. 2版. 西安: 西安电子科技大学出版社, 2010. |
| [4] | ZHAO J W, HU H P, CAO F L. Image super-resolution via adaptive sparse representation[J]. Knowledge-Based Systems, 2017, 124: 23–33. DOI:10.1016/j.knosys.2017.02.029 |
| [5] | 苏显渝. 信息光学[M]. 2版. 北京: 科学出版社, 2011. |
| [6] | XU W Q, JERICHO M H, MEINERTZHAGEN I A, et al. Digital in-line holography for biological Applications[J]. Proceedings of the National Academy of Sciences of the United States of America, 2001, 98(20): 11301–11305. DOI:10.1073/pnas.191361398 |
| [7] | WHITING M L, LI L, USTIN S L. Predicting water content using Gaussian model on soil spectra[J]. Remote Sensing of Environment, 2004, 89(4): 535–552. DOI:10.1016/j.rse.2003.11.009 |
| [8] | MUDANYALI O, TSENG D, OH C, et al. Compact, light-weight and cost-effective microscope based on lensless incoherent holography for telemedicine applications[J]. Lab on a Chip, 2010, 10(11): 1417–1428. DOI:10.1039/c000453g |
| [9] | 高志. MATLAB小波分析与应用[M]. 2版. 北京: 国防工业出版社, 2007. |
| [10] | 陈龙. 基于稀疏表示及字典训练的图像超分辨率重建算法研究[D]. 秦皇岛: 燕山大学, 2014. |
| [11] | 李欣. 基于稀疏表示的图像超分辨率重建研究[D]. 南京: 南京邮电大学, 2016. |
| [12] | ELAD M, FIGUEIREDO M A T, MA Y. On the role of sparse and redundant representations in image processing[J]. Proceedings of the IEEE, 2010, 98(6): 972–982. DOI:10.1109/JPROC.2009.2037655 |
| [13] | WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600–612. DOI:10.1109/TIP.2003.819861 |
| [14] | FAN X X, YANG Y H, DENG C, et al. Compressed multi-scale feature fusion network for single image super-resolution[J]. Signal Processing, 2018, 146: 50–60. DOI:10.1016/j.sigpro.2017.12.017 |
| [15] | YANG S Y, LIU Z Z, WANG M, et al. Multitask dictionary learning and sparse representation based single-image super-resolution reconstruction[J]. Neurocomputing, 2011, 74(17): 3193–3203. DOI:10.1016/j.neucom.2011.04.014 |
| [16] | DENG L J, GUO W H, HUANG T Z. Single image super-resolution by approximated Heaviside functions[J]. Information Sciences, 2016, 348: 107–123. DOI:10.1016/j.ins.2016.02.015 |
2021, Vol. 43
Issue (3): 65-71


