引　言

随着光学相干断层扫描（optical coherence tomography，OCT）技术的进步，以及硬件系统的更迭，可捕获到的视网膜图像的视野范围更为广泛，但采集到的图像中会不可避免地出现噪声和伪影。如果要降低采集过程中的运动伪影，则需要更长的采集时间，这会导致患者不适。然而，提高采集系统的速度往往又会降低轴向分辨率^[1]，使得采集到的视网膜图像的细节信息损失加重。为了给临床医生提供清晰的OCT视网膜图像，减少误诊和漏诊，有必要采用超分辨率的方法对图像进行重建 ^[2]。近年来，图像的超分辨率方法已经得到了广泛的研究。传统的基于深度神经网络（convolutional neural networks，CNN）^[3]的模型利用卷积运算代替传统的手动特征提取，但这些模型的网络太小，并且在学习过程中使用的像素范围太小，从而导致重建输出的图像过于平滑。Ledig等^[4]提出了一种用于超分辨率的生成对抗网络，即渐进式超分辨率生成对抗网络（progressive super-resolution generative adversarial network，PSRGAN），并将其应用于医学图像来提高超分图像质量，恢复细节。

由于受到图像数据集大小及医学伦理的限制，深度网络模型应用于医学图像时，其学习能力无法得到充分地训练。解决训练数据缺乏问题的主要方法是使用迁移学习^[5]。根据迁移形式，迁移学习算法可分为4种，分别为基于样本、特征、模型或关系的知识迁移学习。为了解决加速MRI深度网络训练中的数据稀缺问题，Dar等^[6]提出将迁移学习用于深度学习中，Lv等^[7] 探索了基于并行成像与GAN模型和迁移学习相结合的新应用，从而提高了重建性能。将迁移学习引入医学图像处理的过程中还需要对使用的数据集进行比较研究，以确定选择的数据集类型对重建结果质量的影响^[8-9]。

作者提出了使用PSRGAN和迁移学习来获得高分辨率OCT视网膜图像的设想。结合了基于模型的迁移学习方法，利用来自不同领域的大型图像数据在使用OCT图像数据训练之前进行预训练^[10]。迁移训练的主要目的是为了解决高质量OCT数据集样本数不足的问题，借助另一个领域的大量图像样本执行预训练，并使用该预训练获得的权重作为实际训练过程的初始权重^[11-12]，这有助于模型在目标域内更快地收敛。本文中的迁移学习方法是对整个模型，即所有的层进行了预训练。为了使本文的超分网络训练收敛更快，在提出的PSRGAN中添加了高效金字塔通道注意力（pyramid efficient channel attention , PECA）模块，使模型更加轻量化。

1 实验方法与原理

OCT图像超分辨率重建分为4个步骤：（1）预处理图像，对采集到的OCT图像进行裁剪，裁剪OCT图像的空白区域，填充边缘空白区域；（2）划分数据集，将通过预处理后的OCT图像划分为训练集与测试集；（3）模型训练，将预处理过后的OCT图像导入训练模型中进行下采样操作，训练模型的特征提取能力；（4）超分辨率重建，最终利用训练好的模型对测试集的图像进行重建，测试模型的性能。

本研究中提出的超分辨率生成对抗模型PSRGAN是对SRGAN进行了改进。为了提高特征提取性能，获得高分辨率OCT图像，将本文提出的高效金字塔通道注意力PECA模块引入到SRGAN网络^[13]。针对低分辨率OCT图像感知质量差的特点，在SRGAN生成器的第4和第5卷积块之间插入PECA，使提取图像具有更多的高频特征，增强特征的表现力，有助于纹理细节的重建。

1.1 改进的超分辨率重建网络的构建

在PSRGAN中，首先把低分辨率（low resolution，LR）训练图像中采样到的噪声特征发送到生成器，以生成类似于输入的高分辨率（high resolution，HR）图像的假样本。同时，HR训练样本也作为真实样本发送给判别器，并且让判别器试图区分假样本和真实样本的HR之间的差异。生成器的目标是连续产生尽可能接近真实样本的高分辨率图像，直到所产生的超分辨率图像能够欺骗判别器。判别器和生成器最终在相互博弈中实现平衡，这时候的生成器就可以产生高质量的重建图像。其中，通过添加PECA模块，PSRGAN可以生成更接近于HR图像的纹理细节，图像边缘也更加清晰^[14]。PSRGAN的结构如图1所示。

PSRGAN的生成器由8个卷积（Conv）+ PRELU函数，PECA模块、上采样层（变为原来的4倍）和3个卷积层组成。n表示卷积核的数量，K表示卷积核的大小，s表示卷积的步幅。生成器用函数G表示，其作用是根据低分辨率输入图像I_LR生成高分辨率重建图像I_SR，使得I_SR尽可能接近真实的高分辨率图像I_HR。I_SR可表示为

$ {I}_{\mathrm{S}\mathrm{R}}={G}_{\theta }（{I}_{\mathrm{L}\mathrm{R}}） $

(1)

式中：I_LR从相应的高分辨率图像I_HR获得，具有比例下采样因子R；θ表示网络的参数，可以通过在对抗训练中不断优化损失函数来获得。

PSRGAN采用SRGAN的判别器，其由8个卷积层组成，这些卷积层使用的3×3的滤波核的数目从64个增加到512个。2个Dense层和1个Sigmoid激活函数跟随在得到的512×512的特征图之后。PSRGAN的判别器如图2所示。研究使用了VGG–19网络特征来计算损失函数^[15]，以提升图像重建的精度。经过实验验证，损失函数的对抗损失权重取10⁻³时，本文模型性能最佳，因此损失函数的计算式为

$ {L}_{\mathrm{S}\mathrm{R}}={L}_{{\mathrm{V}\mathrm{G}\mathrm{G}}_{i\text{，}j}}^{\mathrm{S}\mathrm{R}}+{10}^{-3}{L}_{G}^{\mathrm{S}\mathrm{R}} $

(2)

式中: $ {L}_{\mathrm{S}\mathrm{R}} $表示本文算法的损失函数；$ {L}_{{\mathrm{V}\mathrm{G}\mathrm{G}}_{i，j}}^{\mathrm{S}\mathrm{R}} $是损失函数，其中i表示VGG网络中第i个最大池化层，j表示第i个最大池化层前的第j个卷积层；$ {L}_{G}^{\mathrm{S}\mathrm{R}} $是对抗损失函数。

1.2 高效金字塔通道注意力模块

本文提出使用PECA模块来有效地建立多尺度特征提取通道，将其添加在生成对抗网络的生成器中的第4卷积块和第5卷积块之间，可以更有效地处理多尺度的输入特征图的空间信息。在之前的工作中^[16]，已经提出将PECA模块用于改进PSANet网络。较其他注意力机制，PECA模块是将PSANet中的SENet替换成了高效通道注意力（efficient channel attention，ECA）模块，更加轻量化且高效。ECA模块可以提取不同尺度特征图的通道注意力，同时以极轻量的方式获取跨通道的交互信息^[17]。PECA模块结构如图3所示。

PECA模块实现过程：首先使用分割和融合（split and concat，SPC）模块将通道进行拆分，提取每个通道特征图上的多尺度空间信息；然后用ECA模块替换原始PSANet中的SENet模块，更高效的计算不同尺度特征图的通道注意力；再利用Softmax对多尺度通道注意力向量的特征进行标定，获得新的多尺度通道交互之后的注意力权重；最后对新获取的权重和对应的特征图进行逐元素点乘操作，得到一个多尺度特征信息注意力加权的特征图。

SPC模块是PECA模块中实现多尺度特征提取的重要模块。SPC模块可以获得不同尺度特征图的注意力权值，产生更好的像素级注意力。SPC模块的具体实现方式为：首先，将特征图X切分为S个部分，每个部分的通道数为C'=C/S；然后，用多尺度卷积的方式提取不同尺度特征图的空间信息，同时根据卷积核的大小来自适应选择组别的大小，组G'与内核大小K的关系式为$ {G}{{'}}={2}^{\frac{K-1}{2}} $。多尺度特征提取过程的计算式为

$ \begin{aligned}F_i= & Conv\left(K_i\times K_i\right)\left(X_i\right),i=0,1,\cdots, \\ & \mathrm{~S}-1,F_i\in R^{I\times H\times W}\end{aligned} $

(3)

式中，$ {K}_{i}=2\times （i+1）+1 $。

为了避免维度缩减，并降低模型的复杂度，在不同尺度上分别采用了ECA模块。ECA模块的实现如图4所示。首先，对每个通道的特征图进行全局平均池化；接着，快速通过大小为k的一维卷积层，其中k代表局部跨通道交互的覆盖范围，输出经过局部跨通道交互后的特征。ECA模块可以自适应地确定k近邻通道来完成通道注意力的计算，其中k与C（C为通道数）成比例。

1.3 PSRGAN模型结合迁移学习方法

要在深度学习方法中取得良好的性能，合理的训练数据量是必不可少的。然而，医学领域中可用于处理和分析研究的OCT视网膜图像数量有限^[18]。当面临相对有限的训练数据时，迁移学习是一种高效的学习方法。

相较于其他大多数学习模型，迁移学习是利用卷积神经网络学习已标记好的预训练网络系统^[19]。该系统会识别预训练系统中图像的特点，再继续导入含有第一层图像相似参数和结构的网络系统，最后构建出终极层。在本文的迁移学习系统中：第一层网络就是学习的目标图像；第二层网络使用第一层网络的图像寻找相应的特征，通过前向传播固定低层图像中的权重，找到已经学习的可辨别的结构特点，再提取更高层的权重，进行反复的自调整、反馈和传递，达到学习区分特定类型图像的目的^[20]。

在本研究中，OCT视网膜图像超分辨率重建受到数据集大小的限制，提出迁移开源的X光照片数据集和天然花卉数据集的训练权重去促进深层神经网络PSRGAN快速学习和收敛。将X射线数据集或花卉数据集与OCT视网膜数据集共同进行训练，增加训练的数据样本，使计算机更好地学习训练，继而达到更精确的重建目标。本实验评估了使用迁移学习方法对最终生成图像的影响，比较了本文提出的方法与其他超分辨率方法重建OCT视网膜图像的性能参数。两个预训练数据集的选取：一个属于医学领域X射线数据集，呈现出与OCT视网膜图像相似的视觉特征；另一个数据集（花卉数据集）属于完全不同的领域，与OCT视网膜图像几乎没有视觉上的相似性。目的是评估使用迁移学习方法是否能帮助重建出更好的图像结果，以及在预训练步骤中使用不合适的数据集是否会干扰模型的收敛。

2 实验结果和分析

本文实验在上述3个数据集上进行，主要分为4个步骤：（1）图像数据集采集和处理，对数据集中的图像进行初步的图像筛选与裁剪，将处理后的OCT图像划分为训练集与测试集；（2）搭建模型，生成3个PSRGAN模型，第1个是随机初始化权重的PSRGAN模型，第2、3个分别是通过迁移学习方法获得预先用胸部X光片和花卉数据集训练的初始权值作为PSRGAN网络训练权值的PSRGAN–TL–X-ray模型和PSRGAN–TL–Flowers模型；（3）训练模型并测试，使用OCT视网膜图像训练集来训练搭好的3个PSRGAN模型，以及SRGAN模型和SRCNN模型，再用测试集测试的结果来评估这5种模型的性能。

2.1 数据集和实验设置

在本实验中，运用PSRGAN网络和迁移学习的方法对眼科的临床数据进行图像超分辨率重建处理，用到了3个数据集。第1个数据集是由温州医科大学利用医用OCT设备采集的眼科视网膜图像的临床数据，将其划分为1 000张图像的训练集和50张图像的测试集进行实验。为了比较迁移学习中采用的大型训练数据集的类型对OCT图像重建结果的影响，本文选择了两种类型的数据集。一个是医学领域中公开的胸部X光片数据集，包含5 856张X光片图像（https://data.mendeley.com/datasets/rscbjbr9sj/2），有肺炎/正常类别的子文件夹，将5 000张用于训练，856张用于测试。胸部X光片图像的超分重建研究也十分广泛^[21]，与OCT图像同样属于医学灰度图像，因此选择它作为实验中预训练的数据集。另一个数据集选择的是花卉数据集，其中含有102个花卉数据集（https://www.robots.ox.ac.uk/～vgg/data/flowers/102/），由3 670张花卉图像组成。由于花卉图像细节丰富，边缘感信息容易被提取，作为预训练数据集可以帮助网络学习重建丰富的特征信息。将花卉图像周围的黑色边框移除，并划分3 000张用于训练，670张用于测试。所有数据集的图例见图5。

实验基于Nvidia Tesla P100显卡，深度学习框架为Pytorch的实验平台。受GPU内存的限制，用于实验的原始图像都被裁剪成128×128（高×宽）大小。在训练过程中，选取Adam作为优化器，每批次训练数量大小为4，优化器初始学习率均设置为2×10⁻⁴。5种模型训练OCT图像数据集的最大周期均为100，迁移学习过程中的PSRGAN模型的预训练周期为1 000。

2.2 比较方法和评价指标

为了评价结合PSRGAN模型和迁移学习方法对OCT视网膜图像重建的效果，使用了两个指标来评估这些方法获得的图像与高分辨率真实图像之间的相似性^[22]。第一个度量指标是峰值信噪比（peak signal-to-noise ratio，PSNR）R_psn，它通常用于分析两个信号的相似性，更高的R_psn表示更大的图像相似性。因此，对于超分辨率方法，图像质量越高，R_psn越高。R_psn基于均方误差E_ms，计算式为

$ {R}_{\mathrm{p}\mathrm{s}\mathrm{n}}=10\cdot {\mathrm{log}}_{10}\left(\frac{{\mathrm{m}\mathrm{a}\mathrm{x}}_{1}^{2}}{{E}_{{\mathrm{ms}}}}\right) $

(4)

式中：$ {E}_{{\mathrm{ms}}}=\dfrac{1}{mn}\sum _{i=0}^{m-1}\sum _{j=0}^{n-1}{[I\left(i,j\right)-O(i,j\left)\right]}^{2} $，I为$ m\times n $的模型训练获得的高分辨率图像，O为$ m\times n $的高分辨率真实图像；$ {\mathrm{m}\mathrm{a}\mathrm{x}}_{1} $是图像像素值的最大值，本实验中取1。

另一个度量指标是结构相似性指数（structural similarity index，SSIM index）I_ssim，它与人类视觉系统的质量感知有关。它考虑了3个因素的组合，即相关性损失、亮度失真和对比度失真^[23]。I_ssim可以表示为

$ {I}_{\mathrm{s}\mathrm{s}\mathrm{i}\mathrm{m}}(x,y)=L(x,y)C(x,y)S(x,y) $

(4)

式中，$ L(x,y) $，$ C(x,y) $和$ S(x,y) $分别代表亮度、对比度和结构。

边缘保留指数（edge preservation index，EPI）I_ep反映了算法的边缘细节保留能力。在OCT视网膜图像中，竖直方向上的分层结构更加重要，因此本研究中主要计算竖直方向上的边缘保留指数，即纵向边缘保留指数，其计算式为

$ {I}_{\mathrm{e}\mathrm{p}}=\frac{{\sum }_{i}{\sum }_{j}\left|{I}\right({I}\left(i+1,j\right)-{I}(i,j)\left)\right|}{{\sum }_{i}{\sum }_{j}\left|O\right(O\left(i+1,j\right)-O(i,j)\left)\right|} $

(5)

式中：I为模型训练获得的高分辨率图像；O为高分辨率真实图像。

2.3 实验结果

在本实验中，对比了PSRGAN模型使用和不使用PECA模块的效果，比较了深度学习方法SRCNN，SRGAN，PSRGAN，PPECA–SRGAN，PSRGAN–TL–X-ray和PSRGAN–TL–Flowers对OCT视网膜图像超分辨率重建结果，使用了上节提到的3个图像质量评价指标来评估最终的测试结果。

表1是PSRGAN模型使用/不使用PECA注意力机制在测试集上的评价指标对比，可以看出，添加注意力模块后PSNR，SSIM和EPI 等指标值都更高，这与图6展示的视觉效果图相吻合。因此使用注意力机制有助于提升图像细节和边缘信息重建效果。

图7是PSRGAN模型使用/不使用PECA注意力机制实验结果对比展示。为了更加准确地对比重建图像的细节信息，将图像中标记为矩形的区域放大，其放大结果见图7（b）。可以看出添加注意力模块后的结果在图像边缘和分层边缘结构处变得更加清晰，从视觉效果来看，基本上消除了斑点噪声，重建图像在视觉上更加接近于无噪图像。

表2所示是采用各种方法对OCT测试数据集测试所得的R_psn、I_ssim和I_ep的平均值。可以观察到，PSRGAN–TL–Flowers、PSRGAN–TL–X-ray、PSRGAN，PPECA–SRGAN，SRGAN和SRCNN的平均R_psn分别为33.08 dB、32.37 dB、32.36 dB，32.48 dB，29.25 dB和27.32 dB；平均I_ssim分别为0.885，0.804，0.782，0.835，0.735，0.691。R_psn和I_ssim值越高，则生成图像的视觉质量越高。PPECA–SRGAN是柯舒婷等^[12]提出的改进SRGAN算法，它结合了金字塔注意力模块PANet和 PECA模块，不结合迁移学习，用到的R_psn和I_ssim来源于原文献。

SRGAN比SRCNN的平均R_psn和I_ssim分别高了1.93 dB和0.044，而PSRGAN比SRGAN的平均R_psn和I_ssim又分别高了3.11 dB和0.047。而对于这两种指标，所提出的PSRGAN模型在整体上处于中间偏上的水平，但其更轻量化，训练收敛更快。使用花卉数据集预训练的PSRGAN–TL–Flowers获得的评价值最高，比使用胸部X光片数据集预训练的PSRGAN–TL–X-ray和使用PPECA–SRGAN获得的平均R_psn和I_ssim值都要高。本文所提方法PSRGAN–TL–Flowers在I_ep指标上也取得了最大值，这也说明该方法能尽可能地保留原始图像的细节和边缘信息。

总的来说，迁移学习训练的PSRGAN模型具有更好的指标平均值，通过迁移学习得到的PSRGAN模型的优越性是显而易见的。因为花卉数据集的细节和边缘信息的结构更清楚，网络学习能力得到充分的训练，使得PSRGAN–TL–Flowers方法在所有评价指标上都取得最优的效果。

图7是从测试集中选择的一张重建图像（×4），为了进一步对比各方法的细节信息保留能力，在原始HR图像和SR图像之间，聚焦于相同的区域对比差异，将图像中标记为白色矩形的区域放大。就整体视觉效果而言，通过SRGAN模型获得的图像的视觉质量的提高程度是十分明显的，而SRCNN模型在病变区域的细节上有一些模糊。所提出的PSRGAN方法优于 SRGAN 和 SRCNN，其生成图像质量更优。可以看出，PSRGAN模型产生的图像在视觉上与原始图像非常相似，几乎无明显差异，而PSRGAN–TL–Flowers可以产生相对干净和锐利的边缘，并且能够准确地重建图像的纹理。

图8是本实验提出的迁移学习训练后的PSRGAN模型（PSRGAN–TL–Flowers）进行训练的过程中随机选择的一幅图像展示。通过图像可以看到：训练50 epoch时，图像噪点变少；训练100 epoch时，图像不仅噪点变少，边缘细节更加清晰，也更加接近原始的HR真实图像。PSNR、SSIM和EPI值也随周期的叠加而上升。因此，随着训练周期的增加，模型生成的图像质量更高并且更真实。

2.4 重建图像层次自动分割结果

OCT视网膜图像的病理学结构信息对眼部疾病检测诊断来说至关重要，层次分割有助于自动化OCT图像诊断。一般来说，LR图像中存在的噪声和伪影会导致图像质量低，细节和边缘结构不清晰，层次分割结果不准确，从而影响临床诊断的效率。超分辨率重建算法处理后的OCT视网膜图像不仅要保留重要的细节信息，也应该让层次分割更加清晰。为了验证算法处理后的图像质量是有所提升的，从实验的测试数据集中随机选择了两张图像，使用公开的针对视网膜 OCT 图像进行层次分割的工具对图像进行自动分割处理。截取放大各方法重建图像的部分区域，分割结果如图9所示。在所有的分割结果中，原始LR图像和 SRCNN方法中的分割线存在交错和跨越情况，SRGAN、PSRGAN中的分割线均比较平缓，而本文所提的PSRGAN–TL– X-ray和PSRGAN–TL–Flowers方法所重建图像中的分割结果相较而言更优。

3 结　论

提出了使用改进的PSRGAN模型来改善OCT视网膜图像，将PSRGAN模型在大型数据集上训练的模型参数迁移到OCT视网膜图像超分辨率重建训练中，该网络能有效减少OCT图像中的斑点噪声，捕捉更多边缘细节和图像特征。对比了5种超分辨率重建方法（包括使用和不使用迁移学习的方法），评估了迁移学习方法的使用效果，证明了改进的GAN网络（PSRGAN）对花卉图像进行逐像素特征重建的优异性能，以及通过迁移学习适应OCT-B扫描图像重建的潜力。总的来说，与传统的超分辨率重建方法（SRCNN，SRGAN）相比，生成对抗网络（PSRGAN）能得到较好的结果，但结合迁移学习的PSRGAN方法重建的超分图像质量更佳。在两种结合迁移学习的方法中，使用高清花卉数据集进行迁移训练得到的重建效果最优。基于本文给出的结果和分析，应用于迁移学习方法的预训练数据集的类型会影响OCT图像的超分效果，数据集的选择应该考虑图像细节和层次的清晰度，而不仅仅是数据集的大小和领域。本文重点是提高OCT视网膜图像分辨率，增强视网膜层边缘和细节，所以在本文预训练中使用边缘和细节模糊的图像可能会对迁移学习产生负面影响。

本文提出的超分辨率重建算法有效地提高了OCT视网膜图像的质量，从而能更好地帮助临床诊断，减少误诊和漏诊，具有一定的价值和意义。