光学仪器  2021, Vol. 43 Issue (3): 65-71   PDF    
基于小波稀疏的全息显微成像研究
顾鹏翔, 杨波, 宗卉     
上海理工大学 光电信息与计算机工程学院,上海 200093
摘要: 数字全息显微镜要想满足高的分辨率通常需要获得许多张全息图,以达到较好的图像恢复效果。如果全息图的数量较少,则会导致重建的图像质量下降。由此提出一种基于小波稀疏重建的图像恢复方法,并对重建的图像用结构相似度指数来量化成像质量。通过获取人体血液红细胞的图像,得到3幅不同高度的全息图后进行稀疏重建,对这些图像进行结构相似性(SSIM)计算,其值为0.8407;再用4幅不同高度的全息图进行小波稀疏恢复,其SSIM值为0.8703。这种算法能够利用不同高度的少量全息图来重构生物样本的图像,比基于迭代多高度重建方法中使用的全息图的数量至少减少了两倍,并尽可能少地影响成像质量。同时,实现了无透镜超分辨的要求,且视野达到了20 mm2。基于小波稀疏的图像重构方法还可以应用于其他的成像方案中,例如用多个照明角度或波长来重构以增强相干成像的速度等方面。
关键词: 全息图    小波稀疏    图像重建    
The study of holographic microscopic imaging based on wavelet sparsity
GU Pengxiang, YANG Bo, ZONG Hui     
School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China
Abstract: Digital holographic microscopes usually need to obtain many holograms if they want to meet high resolution, in order to achieve better image restoration effects. If the number of holograms is reduced, the quality of the reconstructed image decreases. An image restoration method based on wavelet sparse reconstruction is proposed, and the structure similarity index is used to quantify the image quality of the reconstructed image. By acquiring images of human blood red blood cells, three holograms of different heights are obtained and then sparsely reconstructed, and the structural similarity(SSIM) calculation is performed on these images. The value is 0.8407. 4 holograms of different heights are used for wavelet sparse recovery, and the SSIM value is 0.8703. This algorithm can use a small number of holograms of different heights to reconstruct the image of biological samples, which is at least twice the number of holograms used in the iterative multi-height reconstruction method, and affects the imaging quality as little as possible. At the same time, the requirement of lensless super-resolution was also realized, and the field of view reached 20 mm2. The image reconstruction method based on wavelet sparseness can also be applied to other imaging schemes, such as reconstructing with multiple illumination angles or wavelengths to enhance the speed of coherent imaging.
Key words: hologram    wavelet sparse    image reconstruction    
引 言

显微成像是一门比较成熟的技术,而无透镜全息显微镜则是一项新兴的,具有广阔前景的计算成像技术。无透镜全息显微镜没有复杂的光学透镜系统,是通过全息成像[1]、图像重建技术以及图像传感器的使用来实现的,因此结构简单、轻巧、成本低,对于远程医疗、野外检测、高校课堂实验这些实时的应用场景需要比较短的处理时间的生物检测等方面有着重要的意义。

为了使成像结构尽可能紧凑,将参考光和物光在同一方向上共同传播,并用数字图像传感器阵列记录这两束光产生的干涉图样的强度。由于记录的全息图像只包含了复杂场的强度信息,因此光在反向传播过程中将在原始图像上产生伪影。同离轴全息结构不同,离轴全息可以通过角谱传播去除伪影,而伪影将会对像质产生很大的影响。由于数字全息显微镜中样本到传感器的距离很小,样本和传感器的视场大小是相同的,因此,伪影的影响将进一步放大。在数字全息术中,可以通过施加伪影不满足的物理约束来消除伪影,基于这种约束,通过迭代以减少错误算法来实现[2]。对于单个物体,这种方法所需的全息图的测量很简单,但是在处理密集连接的样本(例如血液红细胞、病理学切片等)时,会带来很大的挑战[3]。为了解决这一问题,需要进行多次多样的测量,例如样本到传感器的距离、照明角度、波长等。然而,之前的研究表明,对于病理学的切片或者生物组织等密集连接的样本,需要进行过度采样[4]。例如,在对血液红细胞进行多高度测量时,通常需要8幅,甚至更多的具有不同高度(样本到传感器距离)的全息图才能得到高质量的重建图像。这不仅增加了测量的数据,也增加了处理的时间。基于上述问题,提出一种基于小波稀疏化的全息显微成像技术。

对于生物样本,可以在某些小波域进行稀疏表示,用基于小波域的稀疏约束进行图像重建以减少所需全息图的测量,并且得到像质比较好的图像。实验表明,对于紧密连接的生物样本(例如血液红细胞、病理切片等),三个不同的样本到传感器距离的全息图就能实现迭代重建。

本文所述的稀疏约束方法同之前报告中的压缩全息有很大的不同。对于孤立的物体,自由的空间传播本身就是一种有效的压缩感知的编码机制,可以从传统的低采样预测出高维度的数据。而本文所述的基于小波的稀疏重建是对密集连接的样本而不是孤立的,并且可以在20 mm2的视场(等于传感器的范围)实现对血液红细胞样本的显微成像。

这种基于稀疏的图像重建方法可以扩展到其它相关的显微镜成像中,例如多角度或者多波长的图像重建[5-8]。还可以结合最近比较热门的超分辨宽视场技术以及多路复用彩色图像技术,可以进一步减少全息测量的数量,利用一些新的算法,可以实现高效便捷的显微技术。

1 基本原理 1.1 稀疏表示

稀疏表示是近年来图像处理和模式识别方向的研究热点。信号稀疏表示的目的就是在给定的超完备字典中用尽可能少的原子来表示信号,可以获得信号更为简洁的表示方式,从而更容易地获取信号中所蕴含的信息,方便更进一步对信号进行加工处理,如压缩、编码等[9]。信号稀疏表示方向的研究热点主要集中在稀疏分解算法、超完备原子字典和稀疏表示的应用等方面。信号稀疏表示的两大主要任务就是字典的生成和信号的稀疏分解。对于字典的选择,一般有分析字典和学习字典两大类。常用的分析字典有小波字典、超完备DCT字典和曲波字典等,常用的学习字典的方法有MOD算法、K-SVD算法等。一个信号可以稀疏地表示为冗余字典中少量原子的线性组合。

字典 ${{D}} = ({{{d}}_1},{{{d}}_2},\cdots,{{{d}}_m}) \in {{\bf{R}}^{n*m}}(m {\text{>}} n)$ ,其中每一个原子 ${{{d}}_{{j}}} \in {{\bf{R}}^{{n}}}$ ,信号 ${{x}} \in {{\bf{R}}^{{n}}}$ 可以表示为

${{x}} = {{D}} \cdot {{a}}$ (1)

式中 ${{a}} = [{\alpha _1},{\alpha _2},\cdots,{\alpha _{{m}}}]$ 为分解系数,当 ${{a}}$ 中非零元素的数目仅为 $k$ 个时,称 ${{a}}$ $k$ 稀疏信号,或者称信号 ${{x}}$ 在字典 ${{D}}$ 下是 $k$ 稀疏信号。若 $m = n$ ,字典D为完备字典,字典内的各个原子相互正交;若 $m  {\text{>}} n$ 时,字典D是冗余的;若 $m \gg n$ ,字典D为过完备字典,字典内的各个原子并不是相互独立的[10]

图1形象地表示了稀疏表示的基本原理。

图 1 稀疏表示的基本原理 Figure 1 The operation principle of sparse representation
1.2 角谱传播理论

在获得了一系列宽视场、低分辨率,具有不同样本到传感器距离的全息图后,这些全息图的信息可以表示为

${I_i}(x ,\; y) = {\left| {A + AS\!P[o(x,y);\lambda ,n,{z_i}]} \right|^2}$ (2)

式中: $\lambda $ 为照明波长; $n$ 为折射率; ${z_i}$ 为样本到传感器之间的距离; $o$ 为对象函数;A为参考平面的振幅。ASP $\left[ . \right]$ 算子表示自由空间传播的角谱,其计算方法是将信号进行空间傅里叶变换,然后乘光学传递函数 $H({v_x},{v_y};\lambda ,n,{z_i})$ ,其中光学传递函数为

$ H({v_x},{v_y};\lambda ,n,{z_i}) = \\ \left\{ \begin{array}{l} {\exp \left( { - {\rm{j}}2{\text{π}} \dfrac{{n{z_i}}}{\lambda }\sqrt {1 - {{\left(\dfrac{\lambda }{n}{v_x}\right)}^2} - {{\left(\dfrac{\lambda }{n}{v_y}\right)}^2}} } \right)} \quad {\left({v_x}^2 + {v_y}^2 \leqslant {{\left(\dfrac{n}{\lambda }\right)}^2}\right)}\\ 0\qquad \qquad \qquad \qquad \qquad \qquad\qquad \qquad \qquad {{\rm{else}}} \end{array} \right. $ (3)

式(3)相当于一个低通滤波器, ${v_x}$ ${v_y}$ 为空间频率之后进行傅里叶反变换,全息图的强度 ${I_i}(x ,\; y)$ 是通过传感器获取的,它的采样间隔和像素间距是相对应的。为了使图像恢复的更好,还需要进行数字注册,使得全息图的相位等信息都是相关的[11]

2 算法步骤 2.1 总体方法

首先用无透镜全息显微镜获得3幅初始图像,通过角谱传播理论,得到恢复的初始图像,再进行小波稀疏处理,得到高分辨率的图像。为了评价3幅图的恢复效果,将8幅图通过多高度迭代的算法恢复作为对比[12],用SSIM算法比较相似度。

2.2 基于迭代的多高度恢复算法

这种方法是一种错误减少算法,利用不同高度的全息图作为一种物理约束,使得图像在每一次迭代中进行不断的校正。如果将距离CCD传感器最远的全息图看做第1幅图的话,传播到第2幅图时进行振幅约束,这里的振幅是得到的全息图强度的平方根,此时,全息图得到了更新,以此类推,直到传播到最后一个全息图(第8幅或者16幅);到达最后一幅图后,进行反向传播,同样将振幅不断进行更新,直到回到第1幅图完成第1次迭代。此算法通常需要迭代30次或者达到收敛标准后停止。此算法在基于稀疏的图像重建算法当中作为初始的输入,之后再进行稀疏约束等操作[13]

2.3 基于小波稀疏的多高度恢复算法

基于小波稀疏的多高度恢复算法流程图如图2所示。

图 2 基于小波稀疏的多高度恢复算法流程图 Figure 2 Flowchart of multi-height recovery algorithm based on wavelet sparsity

此算法的基本思路参考图3所示。

图 3 多高度恢复算法 Figure 3 Multi-height recovery algorithm

第一步:对3幅不同高度的全息图进行正向角谱传播,物理约束后,振幅得到校正,进行反向角谱传播,最终回到物平面,得到较高分辨率的全息图,作为下一步的输入。

第二步:将上一步结果进行小波正变换,得到一系列小波系数,此时,还不认为是稀疏的,需要进一步稀疏化。

第三步:确定稀疏域,并不断更新稀疏域的振幅,这里需要保证小波系数中大的值不变,同时更新其余的系数,将系数值很小的变为零。

第四步:减少稀疏域以外区域的错误,通过放缩来调节系数的大小。

第五步:在小波域中,对图像进行阈值去燥处理,最后,进行小波反变化。不断重复以上步骤,直到收敛为止[14]

2.4 评估成像质量

运用SSIM算法对基于小波稀疏的恢复图像进行像质评估[15]。SSIM算法是基于结构相似性的图像质量评价,结构性表现在图像的像素间存在着很强的相关性,而大多数的质量评估方法是使用线性变换来分解图像信号,例如,均方误差(MSE)、峰值信噪比(PSNR)等,不涉及相关性,因此,这种方法可以更加直观的来比较失真图像与参考图像结构的相似性。

SSIM测量系统是通过检查图像的对比度、亮度、结构之间的关系来获取信息。其中,图像的对比度是通过标准偏差 ${\sigma _p} $ 来评估的,其表达式为

${\sigma _p} = \sqrt {\frac{1}{{N - 1}}\sum\limits_{i = 1}^N {{{({U_p}({x_i},{y_i}) - {\mu _p})}^2}} } ,p = \left\{ {1,2} \right\}$ (4)

式中:N为分块总数,利用的是滑动窗将图像分块; ${x_i}$ ${y_i}$ 分别为 $x$ $y$ 方向的像素指数; ${\mu _p}$ 代表第 $p$ 幅图(即 ${U_p}$ )的亮度。

结构是通过计算两个图像的协方差 ${\sigma _{1,2}} $ 来评估的,其表达式为

${\sigma _{1,2}} = \frac{1}{{N - 1}}\sum\limits_{i = 1}^N {({U_1}({x_i},{y_i}) - {\mu _1}){{({U_2}({x_i},{y_i}) - {\mu _2})}^{}}} $ (5)

根据以上可将两幅图的SSIM定义为

$SSIM(U_1,U_2) = \frac{{(2{\mu _1}{\mu _2} + {C_1})(2{\sigma _{1,2}} + {C_2})}}{{({\mu _1}^2 + {\mu _2}^2 + {C_1})({\sigma _1}^2 + {\sigma _2}^2 + {C_2})}}$ (6)

式中 ${C_1}$ , ${C_2}$ 是稳定常数。为了避免分母为0造成系统的不稳定,令 ${C_1} = {({k_1}L)^2}$ , ${C_2} = {({k_2}L)^2}$ , ${k_1} \ll 1, $ $ {k_2} \ll 1$ , ${k_1},\;{k_2}$ 为值很小的常数,L为图像灰度级数,对于8 bit灰度图像, $L = 255$

3 基于小波稀疏的图像处理 3.1 实验装置

无透镜全息显微镜如图4所示。一种局部相干光源(氙灯附在单色器上,带宽5 nm),耦合到单模光纤(直径100 µm)。取样距离(光源到样本的距离)Z1为10 cm,传感器距离(样本到传感器的距离)Z2为0.7~1 mm。使用CCD传感器对样品进行采样,此时,样品的视场等于CCD的有效区域,这样得到无透镜全息图,通过对不同Z2上的样品进行多重强度测量来重建密集样本的图像。考虑到在线全息图可能出现的旋转和变化,需要对成像数据进行数字注册、对准,然后经过迭代处理,恢复缺失的光学信息,这样就可以在不需要任何复杂的光学系统的情况下,实现样本的显微成像[16]

图 4 全息显微镜工作图 Figure 4 Hologram microscopy
3.2 实验结果

为了验证基于小波稀疏的图像重建算法,在不同的高度(即样品到传感器的距离)获得了一组(8幅)图。首先,将基于迭代的多高度恢复方法应用于这8幅全息图上,并将此恢复的高分辨图作为参考图像,如图5所示。用基于小波稀疏的方法来恢复同样的3幅不同高度的图像,效果是可以与8幅图的恢复结果相对比的,如图6所示。为了量化图像重建的质量,我们对这些图像进行SSIM计算,结果如表1所示。对于人体血液样本,用基于小波稀疏的重建方法,其SSIM值为0.8407;在此基础上,用4幅不同高度的全息图进行小波稀疏恢复,结果如图7所示,其SSIM值为0.8703。

图 5 8幅图迭代重建结果 Figure 5 Iterative reconstruction results of eight images

图 6 3幅图小波稀疏重建结果 Figure 6 Iterative reconstruction results of three images

表 1 不同切片对应恢复方法的SSIM值 Table 1 The SSIM value of different slices corresponds to the recovery method

图 7 4幅图小波稀疏重建结果 Figure 7 Iterative reconstruction results of four images

以上结果表明,我们可以减少至少两倍的全息图数量将图像恢复出来,这不仅减少了测量的次数和时间,同时还能满足空间分辨率以及显微镜的视野,这对于无透镜显微镜的实现及其重要。在基于稀疏的多高度恢复方法中,我们使用了一个CCD传感器,它的像素大小为 2.2 µm,达到了传统台式显微镜的分辨率。这不仅不需要显微镜复杂的设计结构,也不需要很多的镜片来成像,还降低了显微镜的成本。

我们已经证明了多高度全息成像可以用稀疏表示来恢复图像,但同时,基于稀疏的信号恢复还可以用于其它的物理测量,例如,多角度照明,波长扫描等,这些在生物样品的测量方面运用非常广泛。

另外,本文所述的小波变换可以是很多种小波变换,例如µmCDF97小波变化,这在压缩图像方面也有很大的运用。对于稀疏表示,还可以运用自适应的方法,例如字典学习都可以达到稀疏化,超分辨的目的。对于本项工作而言,其主要目的是减少原始数据的测量,同时保证图像的质量,因此,选择合适的测量方法以达到所要求的目标是最重要的。

重构算法中一个很重要的方面就是初始化,当在自由空间传播时,低空间频率的信号包含了关于样本的大部分信息,因此低频小波带是不能被认为是稀疏的。另一方面是各个全息图的距离需要经过不断的尝试,找到初始化最优时的距离。

4 结 论

本文研究了一种基于小波稀疏的图像重建算法,用于对密集连接的样本进行数字在线全息成像。这种算法能够利用不同的高度(样品到传感器距离)的少量全息图来重构生物样本的图像,这比之前基于迭代的多高度重建方法中使用的全息图的数量至少减少了两倍。使用人体血液切片实现了无透镜超分辨的要求,且视野达到了20 mm2,这对于生物医学、临床医学等方面都会有很大的帮助,大大提高了实验效率,同时还降低了显微镜的成本。这种基于稀疏的重建方法还可以运用在其他超分辨全息成像技术中,例如,多个照明角度或多个照明波长,这些成像技术都可以用来增强相干全息显微镜的空间带宽。

参考文献
[1] BRADY D J, CHOI K, MARKS D L, et al. Compressive holography[J]. Optics Express, 2009, 17(15): 13040–13049. DOI:10.1364/OE.17.013040
[2] BAO P, SITU G, PEDRINI G, et al. Lensless phase microscopy using phase retrieval with multiple illumination wavelengths[J]. Applied Optics, 2012, 51(22): 5486–5494. DOI:10.1364/AO.51.005486
[3] 周伟. 基于MATLAB的小波分析应用[M]. 2版. 西安: 西安电子科技大学出版社, 2010.
[4] ZHAO J W, HU H P, CAO F L. Image super-resolution via adaptive sparse representation[J]. Knowledge-Based Systems, 2017, 124: 23–33. DOI:10.1016/j.knosys.2017.02.029
[5] 苏显渝. 信息光学[M]. 2版. 北京: 科学出版社, 2011.
[6] XU W Q, JERICHO M H, MEINERTZHAGEN I A, et al. Digital in-line holography for biological Applications[J]. Proceedings of the National Academy of Sciences of the United States of America, 2001, 98(20): 11301–11305. DOI:10.1073/pnas.191361398
[7] WHITING M L, LI L, USTIN S L. Predicting water content using Gaussian model on soil spectra[J]. Remote Sensing of Environment, 2004, 89(4): 535–552. DOI:10.1016/j.rse.2003.11.009
[8] MUDANYALI O, TSENG D, OH C, et al. Compact, light-weight and cost-effective microscope based on lensless incoherent holography for telemedicine applications[J]. Lab on a Chip, 2010, 10(11): 1417–1428. DOI:10.1039/c000453g
[9] 高志. MATLAB小波分析与应用[M]. 2版. 北京: 国防工业出版社, 2007.
[10] 陈龙. 基于稀疏表示及字典训练的图像超分辨率重建算法研究[D]. 秦皇岛: 燕山大学, 2014.
[11] 李欣. 基于稀疏表示的图像超分辨率重建研究[D]. 南京: 南京邮电大学, 2016.
[12] ELAD M, FIGUEIREDO M A T, MA Y. On the role of sparse and redundant representations in image processing[J]. Proceedings of the IEEE, 2010, 98(6): 972–982. DOI:10.1109/JPROC.2009.2037655
[13] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600–612. DOI:10.1109/TIP.2003.819861
[14] FAN X X, YANG Y H, DENG C, et al. Compressed multi-scale feature fusion network for single image super-resolution[J]. Signal Processing, 2018, 146: 50–60. DOI:10.1016/j.sigpro.2017.12.017
[15] YANG S Y, LIU Z Z, WANG M, et al. Multitask dictionary learning and sparse representation based single-image super-resolution reconstruction[J]. Neurocomputing, 2011, 74(17): 3193–3203. DOI:10.1016/j.neucom.2011.04.014
[16] DENG L J, GUO W H, HUANG T Z. Single image super-resolution by approximated Heaviside functions[J]. Information Sciences, 2016, 348: 107–123. DOI:10.1016/j.ins.2016.02.015