引　言

细胞表型是涉及基因和蛋白表达的多个细胞过程的集合，如：周期、增殖、凋亡、迁移、侵袭、克隆形成、自噬等。细胞表型检测有助于人们了解相关基因、蛋白、药物机理，进一步开展核酸检测^[1-2]、免疫分析^[3-4]、药物筛选^[5-6]等工作。如在核酸检测时，用核酸荧光染料对细胞核染色后，定量测量细胞所发出的荧光强度，就可以确定细胞核中DNA、RNA的含量，并可以对细胞周期和细胞的增殖状况进行分析。而在免疫分析时，以荧光素标记抗体或抗原作为示踪剂，当其与相应抗原或抗体结合后，察看荧光现象或测量荧光强度，由此判断抗原或抗体的定位和分布情况。在进行药物筛选时，对于药物作用下的细胞凋亡或者抗药反应，可以通过对细胞膜等特殊部位的形态变化来进行观测。

目前，细胞显微成像是生物学研究中进行细胞表型检测的重要方法，其中荧光成像技术是主要的细胞成像手段。传统荧光成像设备包括荧光显微镜^[7-9]、成像流式细胞仪^[10-11]和荧光平板阅读器^[12-13]等。在荧光成像系统中，基于斯托克斯位移将发射荧光与激发光的背向散射照明分离，当波长较短的激发光照向被染色的细胞荧光基团时，这些基团会吸收部分激发光而重新发射出波长较长的发射荧光。而由于较弱的发射荧光信号通常会湮没在较强的激发光背景中，传统荧光成像系统一般通过激发滤光片、二向色性滤光片和发射滤光片的组合模块将荧光与激发光分离。但是，传统荧光显微系统结构复杂、成本较高，例如：滤光片参数指标严苛，需要针对不同荧光通道选取特定的波长、透过率、光密度参数；模块安装过程繁琐，需要在干燥无尘的环境中将各类滤光片繁杂地组装于显微镜立方安装座中；机械转盘切换系统非但耗时长，不利于高速多通道荧光成像，也不利于便携。不仅如此，为了观察细胞膜、细胞核、线粒体等结构，需要对生物样品进行特异性染色，然而染色会不可逆地损伤细胞，使其失去活性，无法满足研究人员长时间、实时观察细胞状态的需求。

为了更好地进行细胞表型检测，获取细胞特征信息，在外界刺激的条件下实时地观察细胞的变化，研究人员提出了各种虚拟染色的技术，借助深度神经网络将未染色细胞图像转换为与之相对应结构的染色图像，以此降低对荧光成像设备的依赖，并且无需各种复杂的染色操作。例如：将数字染色矩阵添加到神经网络的输入中^[14]，则可以使用单个网络在同一组织切片上生成多种染色样式；对特定区域的微结构进行最适合的虚拟染色，从而提高病理学专家基于组织诊断的准确性和一致性。此外，在许多临床实践中，H&E染色图像可帮助病理学专家获得初步诊断，通过染色转换技术将其转变成其他特殊染色图像后即可进行下一步诊断^[15]。这将减少各种染色所需的等待时间，尤其是在紧急医疗状况下，快速准确的诊断将有助于改善临床结果。此外，通过免疫荧光对癌症组织进行分子谱分析，可以提供比常规染色组织学更多的信息。以常规染色组织的图像作为输入，输出预测的虚拟免疫荧光图像可以帮助估计肿瘤标志物细胞角蛋白的潜在分布情况^[16]。借助于深度神经网络，虚拟染色技术可以准确预测荧光信号的空间特征和强度，成像快速且操作简单，极大地减轻了生物研究、病理分析、疾病诊断流程的负担。并且虚拟染色技术将不需要在荧光成像系统中配备与染料光谱分布相匹配的滤光片模块，而直接将细胞由未染色模态转变为染色模态，同时避免了传统染色流程的不可逆性。未经实际染色的组织切片可用于进一步的免疫组织化学和分子分析。

本文将详细阐述面向细胞显微成像的虚拟染色技术，包括样品制备与标定、虚拟染色算法、虚拟染色评价标准。首先，采集成对的明场和荧光图像数据集，使用多模态配准算法执行严格配准；其次，设计一种深度神经网络，确定网络架构、激活函数与损失函数用于训练学习；最后，选择虚拟染色评价标准对染色转换偏差进行定量分析，以准确地预测染色图像。

1 虚拟染色技术的显微成像

在机器学习的训练阶段，需要使用同一视场、同一放大倍率的显微成像系统获取细胞的明场照片，以及对应的荧光照片。对于普通细胞而言，显微成像系统可以对已染色样品进行明场成像，随后通过切换荧光模块，对样品的同一特征部位进行荧光成像。对于组织细胞而言，显微成像系统先获取组织的自发荧光照片，组织被染色后再使用显微系统的明场模式捕获其明场图像。

在成像过程中，显微镜平台需要在各方向上保持固定，以保持明场和荧光图像之间的配准，并且通常需要在算法上进一步配准（尤其是对于组织细胞成像于染色前后的操作过程）。首先，使用边缘提取算法从明场和荧光图像中提取感兴趣的匹配区域，然后使用多模态配准算法来执行严格配准，以考虑移位、旋转和缩放的差异。这种配准算法可以很大程度上减轻包括来自不同物镜的球面像差以及由化学染色引起的组织细胞收缩或膨胀的影响^[17-18]。图像配准流程见图1。

在具体训练过程中，深度学习框架可使用基于Python的Pytorch或TensorFlow。深度学习通​​常依赖于对多层卷积神经网络的训练优化来完成机器学习任务。网络的每一卷积层都包含数十到数百个卷积核，在将信息传输到下一层之前，这些层由非线性激活函数调节。当设置好所需的训练epoch次数，深度神经网络及其权重将朝损失函数收敛的方向被迭代训练，以最小化其预测与相应的真实信息之间的差异。

神经网络的训练过程只需执行一次。在网络训练完成后的实际使用阶段，只需采集未染色细胞图像，将其输入到训练完成的神经网络中，即可生成对应的细胞染色照片，呈现出与传统荧光成像系统几乎一致的染色特征，由此消除了对细胞染色的需求，减少了与样品制备相关的时间、操作及费用。而在计算速度方面，虚拟染色通常也只需要几百毫秒。除了节省时间和成本外，由于绕过了染色程序，细胞组织成分不会改变。这意味着未染色的细胞组织可以保留，供后续分析使用，例如：用基质辅助激光解吸电离对特定区域显微切片进行分子分析^[19]；用特定免疫荧光对子区域进行微标记或者进行个性化治疗和药物测试^[20-21]。

2 样品制备及标定

在机器学习阶段，要进行样本的培育与染色。在细胞标本的制备过程中，细胞通常置于培养瓶内，于37 ℃、体积分数为5% 的CO₂培养箱中生长。细胞经培养基的培育以及胰蛋白酶的消化，每周传代 2～3 次。在染色和成像前 2 d，通过离心取出细胞并加入培养基稀释于成像所需的细胞培养孔板上，待细胞贴壁后便可进行下一步的染色操作。在一般染色过程中，使用磷酸盐缓冲液（phosphate buffered saline, PBS）清洗细胞后加入染色试剂，避光、室温下染色 10 min 左右便可再次用PBS清洗 2～3 次，并保留一定量PBS以保持细胞活性，随即可通过显微成像系统获取细胞的明场照片及对应荧光照片。

组织切片中的细胞制备方法有所不同。通常通过常规手术或内窥镜技术提取组织，将其制备成用福尔马林固定，用石蜡包埋的样品，再用切片机将其切成2～4 µm 厚的切片，并使用二甲苯对这些组织切片进行脱蜡^[22]，用树脂封片剂将其固定在标准载玻片上，然后用盖玻片密封以保护样品，减少样品的厚度变化及伪影产生。随后可以通过显微成像系统获取组织的自发荧光照片。再将载玻片放入二甲苯中约48 h，直到可以移除盖玻片而不会损坏组织。取下盖玻片后，将载玻片多次浸入无水酒精和体积分数为 95% 的酒精，然后在去离子水中洗涤约 1 min，即可在载玻片上染色，盖上盖玻片，通过切换显微成像系统的明场模式获取对应的组织染色明场照片。

通常只需准备几十个样本，通过显微成像系统采集大视场图像，而后裁切成如512×512的小像素块，获得几千对配准的训练图像数据集，即可进行网络训练。在网络训练完成后的实际使用阶段，无需染色操作，样品制备相对简单。对于普通细胞而言，只需将细胞贴壁生长至观察所需的培养孔板上，通过显微成像系统获取细胞的明场照片，输入网络即可生成所需的荧光照片。对于组织细胞而言，只需将制备好的已切片的未标记组织置于载玻片上，盖上盖玻片，捕获组织细胞的自发荧光照片，输入网络即可生成对应的明场染色照片。组织细胞样品制备及其虚拟染色操作流程如图2所示。

3 虚拟染色算法

虚拟染色算法逐层构建神经元，每层卷积核都由非线性激活函数调节信息以传输到下一层，最后展开对多层卷积神经网络的训练优化。虚拟染色算法在平衡速度与精度的基础上，综合了近年来大量的深度学习技巧，对网络结构、损失函数、后处理、硬件适应性等部分均作了改进。

针对一般性深度学习算法空间特征过滤造成细节丢失问题的解决思路是：基于U-Net深度学习架构^[23]和Inception模块^[24]，增加神经网络深度和宽度，融合深层和浅层多尺度特征信息，以在输入未染色图像的情况下生成相对应结构的染色图像。然而该网络架构使用的是逐像素损失训练，即模型损失仅计算预测分布与真实离散像素强度之间的交叉熵误差。因此，网络将独立地预测每个最可能的像素。这意味着生成的图像可能缺乏全局连贯性，在一些结构上产生错误的平均值。而这可以通过探寻合适的损失函数与网络架构来解决。

与逐像素损失训练相反，生成对抗网络GAN^[25]是在图像级别或跨图像块上处理损失。在其基本形式中，GAN的两个网络——生成器和判别器采用博弈论中零和博弈的思想。生成器的任务是生成尽可能真实的样本，判别器的任务则是尽可能准确地将生成的样本与真实样本区分开。在对抗的过程中，两者相互制约，共同进步，使生成器生成的样本更接近真实样本。对于虚拟染色这种图像到图像的翻译任务，采用条件生成对抗网络（cGAN）^[26]，相较于原始GAN增加了条件信息。条件信息作为生成器和判别器的输入，监督生成器生成数据，可以帮助缓解GAN可能产生的伪影问题。该网络结构如图3所示，以前列腺核心RGB图像的组织学染色^[27]为例，生成器 G学习生成虚假图像G（x），鉴别器 D 学习辨别虚假图像对{x, G（x）}和真实图像对{x, y}，cGAN的对抗损失函数可表示为

$\begin{split} {\mathcal{L}}_{{\rm{cGAN}}}\left(G,D\right)=& {{\rm{E}}}_{x,y}\left[{\rm{log}}\;D\left(x,y\right)\right]+\\ & {{\rm{E}}}_{x}\;\left[{\rm{log}}\;\left(1-D\left(x,G\left(x\right)\right)\right)\right] \end{split} $

式中：E是期望值；x是输入图像即自发荧光照片；y是目标图像即明场染色照片。

此外，还添加了明场染色照片和自发荧光照片之间的像素损失 ${\mathcal{L}}_{L1}\left(G\right) $ ，以及皮尔逊相关系数的计算损失 ${\mathcal{L}}_{{\rm{PCC}}}\left(G\right)$

$ {\mathcal{L}}_{L1}\left(G\right)={{\rm{E}}}_{x,y}\left[{||y-G\left(x\right)||}_{1}\right] $

$ {\mathcal{L}}_{{\rm{PCC}}}\left(G\right)={{\rm{E}}}_{x,y}\left[{PCC}\left(y,G\left(x\right)\right)\right] $

最终的损失函数表示为

$ {G}^{*}=\mathit{{\rm{arg}}}\;\underset{D}{{\rm{min}}}\;{\underset{G}{{\rm{max}}}\;\mathcal{L}_{_{{\rm{cGAN}}}}}\left(G,D\right)+\lambda {\mathcal{L}}_{L1}\left(G\right)+\gamma {\mathcal{L}}_{{\rm{PCC}}}\left(G\right) $

式中：λ,γ是调整像素损失、皮尔逊计算损失强度的权重。当 λ=100，γ=10，网络收敛效果最好。

由此准确预测前列腺组织的位置和轮廓、不同的组织学结构和细胞类型，如前列腺基质、神经、脂肪细胞和血管的相关空间及颜色信息。

上述方法都是有监督的神经网络架构，其性能在很大程度上取决于大量高质量的训练数据，尤其是对于需要像素级配准的虚拟染色任务，收集对齐的图像对需要硬件的修改和复杂的实验程序。在某些情况下，由于生物活动的快速性以及相关成像模式的不兼容，不可能获得严格配准的图像训练对。循环一致对抗生成网络（cycle consistent generative adversarial networks，CycleGAN）^[28]的发明使深度神经网络的无监督训练成为可能。CycleGAN可以将图像从一种风格域转换到另一种风格域，而不需要配准的数据对，可表现出与监督方法相当的性能。因此，基于该模型，引入显著性约束定位图像，确保显著性特征在执行跨域变换时几乎保持不变，以避免图像内容的失真。该网络实现过程如图4所示，以人类结肠直肠组织计算机组织学染色^[29]为例：同时训练一个前向生成器，即网络G，和一个后向生成器，即网络F，执行循环一致性约束（ ${\mathcal{L}}_{\rm{cycle}}$ ）和显著性约束（ ${\mathcal{L}}_ {\rm{sc}}$ ）以分别保证可逆性和保真性。该网络的对抗损失函数可表示为

$ \begin{split} {\mathcal{L}}_{{\rm{GAN}}}\left(G\right)=& {{\rm{E}}}_{b～{p}_{{\rm{data}}}\left(b\right)}\left[{\rm{log}}\;{D}_{B}\left(b\right)\right] +\\ &{{\rm{E}}}_{a～{p}_{{\rm{data}}}\left(a\right)}\left[{\rm{log}}\;\left(1-{D}_{B}\left(G\left(a\right)\right)\right)\right] \end{split} $

$\begin{split} {\mathcal{L}}_{{\rm{GAN}}}\left(F\right)=&{{\rm{E}}}_{a～{p}_{{\rm{data}}}\left(a\right)}\left[{\rm{log}}\;{D}_{A}\left(a\right)\right] +\\ & {{\rm{E}}}_{b～{p}_{{\rm{data}}}\left(b\right)}\left[{\rm{log}}\;\left(1-{D}_{A}\left(G\left(b\right)\right)\right)\right] \end{split}$

式中：D_A和 D_B分别代表网络 G和网络 F的判别器；a,b分别表示来自于域A（自发荧光模态）和域B（明场染色模态）的对应图像。

循环一致性损失可表示为

$ \begin{split} {\mathcal{L}}_{{\rm{cycle}}}\left(G,F\right)=& {{\rm{E}}}_{a～{p}_{{\rm{data}}}\left(a\right)}\left[{||F\left(G\left(a\right)\right)-a||}_{1}\right] +\\ & {{\rm{E}}}_{b～{p}_{{\rm{data}}}\left(b\right)}\left[{||F\left(G\left(b\right)\right)-b||}_{1}\right] \end{split} $

显著性约束损失可表示为

$ \begin{split} {\mathcal{L}}_{{\rm{sc}}}\left(G,F\right)=& {{\rm{E}}}_{a～{p}_{{\rm{data}}}\left(a\right)}\left[{||{T}_{\alpha }\left(a\right)-{T}_{\beta }\left(G\left(a\right)\right)||}_{1}\right] +\\ & {{\rm{E}}}_{b～{p}_{{\rm{data}}}\left(b\right)}\left[{||{T}_{\beta }\left(b\right)-{T}_{\alpha }\left(G\left(b\right)\right)||}_{1}\right] \end{split} $

式中：α和 β分别为域 A和域 B的分割阈值，其选择相对的灵活，可分别取域 A、域 B中背景强度和前景强度的像素平均值。建议在训练前手动检查阈值，以确保可以分割所需的图像内容。T_α和 T_β则分别为由阈值 α和 β参数化的分割算子。

$ {T}_{\alpha }\left(x\right)=Sigmoid\left[100\left(x-\alpha \right)\right] $

$ {T}_{\beta }\left(x\right)=1-Sigmoid\left[100\left(x-\beta \right)\right] $

最终完整的损失函数表示为

$\begin{split} {\mathcal{L}}_{{\rm{CycleGAN}}}=& {\mathcal{L}}_{{\rm{GAN}}}\left(G\right)+{\mathcal{L}}_{{\rm{GAN}}}\left(F\right)+\\ & \sigma \left[{\mathcal{L}}_{{\rm{cycle}}}\left(G,F\right)+\rho {\mathcal{L}}_{{\rm{sc}}}\left(G,F\right)\right] \end{split} $

式中，σ和ρ为手动调整的权重，用于调整循环一致性损失和显著性约束损失的相对强度，取σ=10，ρ被设计成在训练过程中以指数形式衰减，以引导网络损失函数向更好的方向收敛。

具体训练过程为：输入的自发荧光图像首先由网络 G转换为明场染色图像模态，然后由网络 F映射回自发荧光图像模态，并且同时训练两个鉴别器网络来评估映射图像质量并优化。

4 虚拟染色评价标准

对于虚拟染色评价标准，不仅要基于人眼视觉上的差异，还要基于对染色转换偏差的定量分析。训练完成后，必须对网络生成的虚拟染色的质量进行量化和验证。在定量评估中，通常使用结构相似性指数(SSIM) 和峰值性噪比(PSNR) 将虚拟染色图像与真实染色图像进行比较。SSIM定义为两个图像的亮度、对比度和结构信息的相似性。其值S_SSIM越大，两个图像越接近，图像的失真越小，其计算公式为

$ S_{\rm{SSIM}}\left(x,y\right)=\frac{\left(2{\mu }_{x}{\mu }_{y}+{a}_{1}\right)\left(2{\delta }_{xy}+{a}_{2}\right)}{\left({\mu }_{x}^{2}+{\mu }_{y}^{2}+{a}_{1}\right)\left({\delta }_{x}^{2}+{\delta }_{y}^{2}+{a}_{2}\right)} $

式中：x和 y分别表示虚拟染色图像和真实染色图像；μ_x是 x的平均值；μ_y是 y的平均值； ${\delta}_{x}^{2} $ 是 x的方差； ${\delta }_{y}^{2} $ 是 y的方差；δ_xy是 x和 y的协方差；a₁和a₂是相对较小的常量，以避免分母为0时系统的不稳定。S 的取值范围为[0, 1]。

SSIM适用于测量高层结构误差，而PSNR对像素级的绝对误差更为敏感。PSNR反映的是图像质量信息的失真度。其值P_PSNR越高，图像受噪声影响越小，失真越少。对于大小为 m×n 的两张彩色图像 I和K（I为虚拟染色图像，K为真实染色图像），均方误差M_MSE定义为

$ M_{\rm{MSN}}=\frac{1}{3mn}\sum _{R,G,B}\sum _{i=0}^{m-1}\sum _{j=0}^{n-1}{\left[{I}_{{\rm{color}}}\left(i,j\right)-{K}_{{\rm{color}}}\left(i,j\right)\right]}^{2} $

式中：R，G，B为彩色图像的3个通道；m，n为图像的像素大小；i，j为图像中任一像素值。

则P_PSNR（以dB为单位）定义为

$ P_{\rm{PSNR}}=20{{\rm{lg}}}\;\frac{{P}_{{\rm{max}}}}{\sqrt{M_{\rm{MSE}}}} $

式中，P_max是图像的最大可能像素值，即B位图像的 P_max值为2^B−1。

但这些数值仍然不能完全取代生物学专家、病理学专家的评估。以未标记组织自发荧光图像的组织学虚拟染色为例^[22], 3名病理学专家被随机分配到虚拟染色和物理染色的图像，对图像染色质量以4个等级进行排名/评分：1）无法接受；2）可以接受；3）非常好；4）完美。最终结果表明，病理学专家能够通过这两种染色技术识别组织病理学特征，并且两种技术的染色呈现效果具有高度的一致性。计算数值辅以人工分析对虚拟染色结果进行严格评估是目前讨论虚拟染色技术效果最为全面的方法。

5 结　论

虚拟染色技术减轻了生物研究、病理分析、疾病诊断的负担，也为其他基于机器学习的分析诊断算法提供了机会。虚拟染色可以通过较少的细胞组织分析来保存样本，避免了传统染色的不可逆性，便于用分子分析来进一步进行活检。此外，计算机处理的标准化虚拟染色的图像的一致性也将优化生物学家对细胞的分析评估。其中，组织细胞微结构染色和混合染色又可以确保诊断平台可以访问最相关的信息，减少病理学家查看和处理不必要的数据。普通染色图像至其他特殊染色图像，如过碘酸希夫、琼斯银和马森三色染色的转换也将缩短专家诊断所需的流程和时间，帮助临床医生更快地制定治疗计划。

然而，由于机器学习的局限性，在不同视场、不同倍率的成像条件下，往往需要对数据重新进行训练学习。这就造成了虚拟染色技术前期需要耗费大量精力去捕获不同场景下的成像图。因此，未来虚拟染色技术的发展将聚焦于小数据量的网络模型结构及高质量的染色成像图。此外，将虚拟染色技术与疾病诊断模型相结合，通过神经网络的学习直接输出诊断结果，并且进行大规模、随机化的临床研究，这也是未来人工智能的重要发展方向。