光学仪器  2023, Vol. 45 Issue (2): 18-25   PDF    
基于轻量级网络的光纤传感振动信号识别
陈玲玲, 李柏承, 张大伟, 杨涵, 吴春波     
上海理工大学 光电信息与计算机工程学院,上海 200093
摘要: 虽然传统卷积神经网络的识别率很高,但是其庞大的参数量会导致工业部署困难,且识别响应速度慢。引入轻量级卷积神经网络MobileNet,使用深度可分离卷积替代传统卷积,大大减少了模型参数量。以MobileNet为基准网络,实现了基于一维轻量级网络MobileNet-18的Φ-OTDR周界入侵事件识别。通过实验对比了不同结构下的网络识别率和识别速度,在保证模型的准确率不会大幅度降低的情况下,选取MobileNet-18作为最佳模型。采集了攀爬、切割、风吹、举起、拉动和走动这 6种周界光纤入侵信号。在 6种光纤入侵信号识别中,MobileNet-18达到了识别率为 98.33%,响应时间为 9.27 ms的最佳效果
关键词: 卷积神经网络    轻量级网络    深度可分离卷积    光纤信号    周界安全    
Optical fiber sensing vibration signal recognition based on lightweight network
CHEN Lingling, LI Baicheng, ZHANG Dawei, YANG Han, WU Chunbo     
School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China
Abstract: Based on the application of distributed optical fiber sensing system in the field of perimeter security monitoring, there are problems such as slow response speed and low recognition rate. Although the recognition rate of the traditional convolutional neural network is very high, its huge amount of parameters makes industrial deployment difficult and the recognition response speed is slow. This paper introduces the lightweight convolutional neural network MobileNet, which uses depth-separable convolution to replace the traditional convolution, which greatly reduces the amount of model parameters. This paper uses MobileNet as the benchmark network to implement a one-dimensional lightweight network based on MobileNet-18 Φ-OTDR perimeter intrusion event recognition, compared the network recognition rate and recognition speed under different structures through experiments, and selected MobileNet-18 as the best model under the condition that the accuracy of the model would not be greatly reduced. In the experiment, six perimeter fiber intrusion signals of climbing, cutting, wind blowing, lifting, pulling and walking were collected. Among the six types of fiber intrusion signal recognition, MobileNet-18 achieved a recognition rate of 98.33% and a response time of 9.27 ms.
Key words: convolutional neural network    lightweight network    depth separable convolution    optical fiber signal    perimeter safety    
引 言

Φ-OTDR分布式光纤传感系统通过一根传感光纤可以实现多点定位等功能。传感光纤具有抗电磁干扰、高灵敏度和耐腐蚀等优点[1-3],已广泛应用于周界安防[46]、轨道监测[79]和桥梁结构健康监测等领域。随着研究的深入和应用的不断创新,分布式光纤振动信号的识别变得至关重要。

目前光纤振动信号识别主要分为传统方法和深度学习算法两大类。传统方法识别通过手工提取特征,然后利用机器学习算法对提取后的信号特征进行分类。其缺点是手工提取特征费时费力,而且需要研究人员具有较强的信号处理知识,选取的特征要具有代表性。例如Wang等[10]通过小波能量分析,从原始信号中提取信号特征向量,然后利用支持向量机对其进行分类。实验表明,这种识别方法能达到88.6%的准确率。Liu等[11]提出了一种基于混合特征提取算法和组合分类器的高效多事件识别方案,利用过零率、样本熵、小波包能量熵、峰度和多尺度置换熵提取混合特征向量,然后利用支持向量机和径向基神经网络相结合的分类器对混合特征进行分类。实验结果表明,该组合分类器对5种典型模式(无入侵、摇篱笆、爬篱笆、踢篱笆、切篱笆)的平均识别率达到97%以上。深度学习方法通过构建多层卷积神经网络,可以自动学习数据的深层次特征,略过了传统方法需要手工提取特征的繁琐过程。例如Wang等[12]提出平铺卷积神经网络,从单个格拉姆角场(Gram angle field, GAF)、马尔可夫变迁场(Markov transition field, MTF)和格拉姆–马尔可夫变迁组合场(GAF-MTF)图像中学习高级特征,并在12个标准数据集上验证了该方案的有效性。Zhao等[13]提出了深度残差收缩网络,将软阈值作为非线性变换层插入到深层网络结构中,当作模型可训练参数学习,用于提高从高噪声振动信号中学习特征的能力,实现了较高的故障诊断精度。Lyu等[14]针对双马赫曾德尔干涉分布式光纤周界安全系统,提出了一种基于格拉姆角场和卷积神经网络的入侵模式识别方案。与传统的识别算法缺乏深度特征提取能力相比,将一维时间序列的入侵信号转换为二维图像,可以呈现出更深层的特征,并保持信号的时域依赖性,同时,每个入侵信号对应一个唯一的指纹。Li等[15]提出了利用卷积神经网络(convolutional neural network, CNN)提取光纤振动信号的空间特征和长短期记忆(long short term memory, LSTM)网络提取信号的时间特性相结合的分类模型,在强背景噪声环境下进行了现场实验,入侵威胁检测率为85.6%,误报率仅为8.0%。Wu等[16]分析了传统的机器学习方法采用固定的手工模式进行特征提取的缺点有识别过程严重依赖专家知识,泛化能力差。提出了利用卷积神经网络提取信号特征,然后再使用支持向量机对提取后的信号特征进行分类。

虽然深度学习方法的识别效果很好,但是其庞大的参数量会导致模型部署较为困难,识别速度有延迟。故本文引入了轻量级卷积神经网络,目的是尽可能地降低模型的参数量,而且保证模型的准确率不会大幅度降低。以MobileNet轻量级卷积神经网络为基准网络,本文讨论了不同卷积层数量的模型的准确率和识别速度,以确定最佳卷积层数量,达到模型轻、识别速度快的目的。

1 分布式光纤传感系统的基本原理

光在光纤中会发生散射,产生各种类型的散射光,同时光的偏振、强度、相位、波长等特性会受到外界环境中温度、压力、振动等物理量的调制,因此,可以通过检测散射光的光学特性来实现对这些物理量的传感。

分布式光纤传感系统如图1所示,整个分布式光纤传感系统主要由激光调制模块、声光调制器、掺铒光纤放大器和环形器等组成。激光作为整个系统的光源,在发射端发射出连续的激光脉冲,为系统提供窄带线宽光源。经过声光调制器后被调制为光脉冲信号。光脉冲信号再经过掺铒光纤放大器放大之后,通过环形器进入传感光纤,传感光纤在感知到扰动事件发生时,会产生后向瑞利散射信号,经过环形器传输到信号接收与处理模块。信号接收与处理模块为图中的数据采集卡部分,一般由光电二极管,模数转换器以及计算机等组成。经过分布式光纤后向瑞利散射的信号首先经过光电二极管接收,再经过放大器对信号进行放大,放大后信号再经过模数转换器可以实现光信号到电信号的转变。电信号经过数据采集卡输入到计算机中,再由计算机对采集的信号进行识别分析,并将识别结果反馈给监控系统。若出现电信号缺失,计算机会将缺失信息反馈给监控系统,由系统向工作人员发出警报,从而让工作人员可以及时地对传感光纤进行排查维修。

图 1 分布式光纤传感系统监测原理图 Figure 1 Monitoring schematic diagram of distributed optical fiber sensing system
2 信号预处理 2.1 信号采集

使用本课题组搭建的Φ-OTDR分布式光纤传感系统来采集信号,将2 km长的传感光纤挂于某小区围栏上,在距离传感光纤首端1 km处进行6种振动信号实验。在实验中,数据采集卡的采样率设置为4 096 Hz,每秒保存一个数据。6种振动事件的示意图见图2,采集方式如下:

图 2 6种入侵事件 Figure 2 Six intrusion events

(1)攀爬,在安全情况下,单人重复地在围栏上做攀爬动作;

(2)切割,在不损坏传感光纤的情况下,使用玩具刀对传感光纤进行切割动作;

(3)风吹,模拟自然条件下的风吹,使用落地式电风扇,风速设置为中档,对着传感光纤吹动;

(4)举起,双手握住传感光纤,从腰部缓慢向上举起,越过头顶,再缓慢放下,重复该动作;

(5)拉动,单手拉动传感光纤,重复该动作;

(6)走动,在传感光纤附近,以1 m/s步行速度来回走动。

采集后的原始信号含有直流分量,通过减去基准值即可把信号中的直流分量去除。图3所示是6种振动事件的原始信号图。通过6种信号图可以看出:切割、风吹和举起这3类事件的信号具有一定的规律性;攀爬和拉动的事件规律性较弱;风吹事件的信号幅值较小;走动事件的信号波动比较小。

图 3 6类事件信号示例 Figure 3 Examples of six types of signals

使用Φ-OTDR分布式光纤传感系统采集攀爬、切割、风吹、举起、拉动、走动6种振动信号,每一种振动信号采集300组数据,总共1 800组数据。将采集到的数据集按7∶2∶1划分为训练集、验证集和测试集。

2.2 数据归一化

为了消除不同指标之间量纲的影响,通常需要对数据进行归一化处理。数据归一化的方式一般有两种,Z-score归一化和Min-Max归一化。在信号处理中,常使用Min-Max归一化。Min-Max归一化也称离差标准化,通过对原始数据进行线性变换,使结果映射到0~1之间,其转换函数为

$ {x_i} = \frac{{{x_i} - {x_{\max }}}}{{{x_{\max }} - {x_{\min }}}} $ (1)

式中: $ {x_{\max }} $ 为最大值 ; $ {x_i} $ 为原始值; $ {x_{\min }} $ 为最小值。

3 轻量级网络及其结构优化 3.1 MobileNet模型优化改进

2017年,Google提出了一种轻量级网络MobileNet[17],该网络在保证模型准确率的同时体积更小,速度更快。MobileNet的核心思想是卷积核的巧妙分离,利用深度可分离卷积替代传统卷积,有效减小网络参数,提高推理速度。

本文基于MobileNet模型构建了一维轻量级卷积神经网络,在MobileNet网络基础上做了结构上的优化。

(1)最大–均值池化层

原始信号数据长度是4 096,数据维度过大,不仅会导致模型训练缓慢,而且会增加内存的消耗。所以在MobileNet网络前设计了最大–均值池化层。

图4所示为最大–均值池化层原理图,图中L表示信号长度,最大–均值池化层由最大池化层和均值池化层组成。最大池化将原始信号L平均分成n段,选取每一段的信号最大值代表该段的信号。最大池化在降低数据维度的同时,保留原始信号的信号强度。均值池化与最大池化原理类似,不同的是,均值池化是用信号均值代表该段信号。均值池化在减小数据维度时,最大限度地保留原始信号的数值分布。原始信号经过最大池化和均值池化后,相加的结果便融合了信号的幅值信息和分布信息。

图 4 最大–均值池化层 Figure 4 Max-mean pooling layer

(2)舍去全连接层

原始MobileNet网络的最后一层是全连接层,该层参数量过于庞大。大量的参数会导致网络模型部署困难,并且存在其中的大量的参数冗余容易导致过拟合。所以,本研究在最后一层使用全局平均池化直接输出类别数量,舍弃全连接层。

(3)去掉多余卷积层

原始的MobileNet网络有28层卷积层,主要应用于二维图像领域。但一维信号的数据复杂度要远小于二维数据,所以对于一维信号的处理可能不需要28层卷积。本研究对不同卷积层数的MobileNet分别进行了实验,目的是使用尽可能少的卷积层来实现高准确率的模型组合。

3.2 模型评价指标

在机器学习中,分类模型常用的评价指标有准确率、精确率、召回率和F1分数。

准确率指模型判断正确的数量占总样本数量的比重,一般是评价模型的常用指标。其计算公式为

$ {V_{{\rm{acc}}}} = \frac{{{T_{\rm{p}}} + {T_{\rm{n}}}}}{{{T_{\rm{p}}} + {T_{\rm{n}}} + {F_{\rm{p}}} + {F_{\rm{n}}}}} $ (2)

式中:Tp表示正确预测正样本数量;Tn表示正确预测负样本数量;Fp表示错误预测正样本数量;Fn表示错误预测负样本数量。

精确率指模型预测的正样本中,预测正确样本的比重。精确率代表着预测正样本的准确度,又叫查准率,其计算公式为

$ {V_{{\rm{pre}}}} = \frac{{{T_{\rm{p}}}}}{{{T_{\rm{p}}} + {F_{\rm{p}}}}} $ (3)

式中:Tp表示将正类预测为正类;Tp+Fp表示所有预测为正类的样本数。

召回率指覆盖面的度量,衡量了分类器对正样本的识别能力,也叫查全率。其计算公式为

$ {V_{{\rm{re}}}} = \frac{{{T_{\rm{p}}}}}{{{T_{\rm{p}}} + {F_{\rm{n}}}}} $ (4)

式中:Tp表示将正类预测为正类;Tp+Fn表示所有实际的正类。

精确率和召回率通常此消彼长,很难兼容,这就需要一个综合指标来平衡精确率和召回率。F1分数是精确率和召回率的调和平均,反映了分类模型的综合能力,式中 ${V_{\rm{re}}}$ 代表召回率,其计算公式为:

$ F_1 = \frac{{2 \times {V_{{\rm{pre}}}} \times {V_{\rm{re}}}}}{{{V_{{\rm{pre}}}} + {V_{\rm{re}}}}} $ (5)
3.3 实验环境配置

本实验所使用的软硬件配置具体情况见表1

表 1 实验环境配置 Table 1 Experimental environment configuration
4 实验结果分析

卷积层个数对模型的特征提取至关重要,一般卷积层数目越多,模型越能学习到数据的深层次特征。卷积层数的设定由数据复杂度决定,数据复杂度越小,需要的层数相对较少。原始MobileNet有28层卷积层(MobileNet-28),对于一维信号来说,其数据复杂度较低,不需要那么多卷积层个数来提取信号特征。所以本文通过减少中间卷积层数量,分别构建18、16、14、12和10层卷积层的MobileNet轻量级网络,得到包含不同卷积层数网络的准确率柱状图,如图5所示。从图中可以看出:MobileNet-28的准确率最高,为99.44%;MobileNet-10的准确率最低,为95.00%;随着卷积层数的减少,模型的准确率在逐渐降低。

图 5 不同卷积层数网络的准确率 Figure 5 Accuracy of networks with different numbers of convolutional layers

图6所示为不同卷积层数目的网络推理300组信号所需平均时间,将其作为模型推理时间。原始MobileNet-28推理时间最长,约18.2 ms;MobileNet-10层数最少,推理时间最短,仅4.36 ms。从图5图6中可以看出,MobileNet-18网络的准确率为98.33%,推理时间为9.27 ms,虽然相比于原始的MobileNet-28准确率降低了1.11%,但是推理时间却减少了近二分之一。通过对时间和模型层数两个维度的分析,认为选择MobileNet-18做为光纤振动信号识别模型的性价比较高。

图 6 不同卷积层数目网络的推理时间 Figure 6 Inference time for networks with different numbers of convolutional layers

表2所示为MobileNet-28与MobileNet-18网络模型识别结果。从表中可以看出:MobileNet-28对拉动事件的识别的精确率为97%,对其他入侵事件都准确识别;而MobileNet-18除了对举起事件的识别的精确率为91%,对其他事件识别的精确率也都为100%。MobileNet-18对6种入侵事件的识别效果与原始MobileNet-28的效果相差很小。

表 2 模型识别结果分析 Table 2 Analysis of model recognition results

划分数据后,给6类光纤振动信号分别添加标签,如表3所示,将攀爬、切割、风吹、举起、拉动和走动事件的标签分别设置为1,2,3,4,5和6。图7(a)为MobileNet-28的混淆矩阵图,对于拉动入侵事件,有97%的概率会预测正确,有3%的概率被预测为切割事件。图7(b)为MobileNet-18的混淆矩阵图,对于举起事件,有91%的概率预测正确,有9%的概率被预测为拉动事件。

表 3 信号标签 Table 3 Signal labels

图 7 混淆矩阵 Figure 7 Confusion matrix
5 结 论

基于Φ-OTDR分布式光纤传感周界安全监测识别速度慢等问题,本文以MobileNet为基准网络,在模型的开始位置添加了最大–均值池化层,去掉了参数量大的全连接层,使用全局平均池化层代替全连接层。对比分析了不同卷积层数目下,MobileNet的识别的准确率和响应速度。最终选择MobileNet-18作为最佳的轻量级模型。在6种光纤入侵事件识别中,MobileNet-18的识别准确率高达98.33%,响应速度仅为9.27 ms。虽然MobileNet-18相较于原始的MobileNet网络准确率降低了1.11%,但是推理速度是原始模型的近2倍,这有利于工业界的部署及应用,为之后的周界安全领域技术研究提供了参考依据。

参考文献
[1] WANG Z N, ZHANG L, WANG S, et al. Coherent Φ-OTDR based on I/Q demodulation and homodyne detection[J]. Optics Express, 2016, 24(2): 853–858. DOI:10.1364/OE.24.000853
[2] JUAREZ J C, MAIER E W, CHOI K N, et al. Distributed fiber-optic intrusion sensor system[J]. Journal of Lightwave Technology, 2005, 23(6): 2081–2087. DOI:10.1109/JLT.2005.849924
[3] FAN X Y, YANG G Y, WANG S, et al. Distributed fiber-optic vibration sensing based on phase extraction from optical reflectometry[J]. Journal of Lightwave Technology, 2017, 35(16): 3281–3288. DOI:10.1109/JLT.2016.2604859
[4] QU H Q, YUAN S J, WANG Y P, et al. Stress reaction process-based hierarchical recognition algorithm for continuous intrusion events in optical fiber prewarning system[J]. Optical Engineering, 2018, 57(4): 046112.
[5] LIU K, TIAN M, JIANG J F, et al. An improved positioning algorithm in a long-range asymmetric perimeter security system[J]. Journal of Lightwave Technology, 2016, 34(22): 5278–5283. DOI:10.1109/JLT.2016.2615646
[6] SUN Z S, LIU K, JIANG J F, et al. Variational mode decomposition-based event recognition in perimeter security monitoring with fiber optic vibration sensor[J]. IEEE Access, 2019, 7: 182580–182587. DOI:10.1109/ACCESS.2019.2959788
[7] TEJEDOR J, MACIAS-GUARASA J, MARTINS H, et al. Machine learning methods for pipeline surveillance systems based on distributed acoustic sensing: a review[J]. Applied Sciences, 2017, 7(8): 841. DOI:10.3390/app7080841
[8] GUO T T, YUAN W Q, WU L H. Experimental research on distributed fiber sensor for sliding damage monitoring[J]. Optics and Lasers in Engineering, 2009, 47(1): 156–160. DOI:10.1016/j.optlaseng.2008.07.002
[9] MARTINS H F, MARTÍN-LÓPEZ S, CORREDERA P, et al. Phase-sensitive optical time domain reflectometer assisted by first-order Raman amplification for distributed vibration sensing over >100 km[J]. Journal of Lightwave Technology, 2014, 32(8): 1510–1518. DOI:10.1109/JLT.2014.2308354
[10] WANG Y, WANG P F, DING K, et al. Pattern recognition using relevant vector machine in optical fiber vibration sensing system[J]. IEEE Access, 2019, 7: 5886–5895. DOI:10.1109/ACCESS.2018.2889699
[11] LIU K, SUN Z S, JIANG J F, et al. A combined events recognition scheme using hybrid features in distributed optical fiber vibration sensing system[J]. IEEE Access, 2019, 7: 105609–105616. DOI:10.1109/ACCESS.2019.2932187
[12] WANG Z G, OATES T. Encoding time series as images for visual inspection and classification using tiled convolutional neural networks[C]. //Workshops at the Twenty-ninth AAAI Conference on Artificial Intelligence. Austin: AAAI, 2015.
[13] ZHAO M H, ZHONG S S, FU X Y, et al. Deep residual shrinkage networks for fault diagnosis[J]. IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681–4690. DOI:10.1109/TII.2019.2943898
[14] LYU C, HUO Z Q, CHENG X, et al. Distributed optical fiber sensing intrusion pattern recognition based on GAF and CNN[J]. Journal of Lightwave Technology, 2020, 38(15): 4174–4182. DOI:10.1109/JLT.2020.2985746
[15] LI Z Q, ZHANG J W, WANG M N, et al. Fiber distributed acoustic sensing using convolutional long short-term memory network: a field test on high-speed railway intrusion detection[J]. Optics Express, 2020, 28(3): 2925–2938. DOI:10.1364/OE.28.002925
[16] WU H J, CHEN J P, LIU X R, et al. One-dimensional CNN-based intelligent recognition of vibrations in pipeline monitoring with DAS[J]. Journal of Lightwave Technology, 2019, 37(17): 4359–4366. DOI:10.1109/JLT.2019.2923839
[17] Li Y, Yuan G, Wen Y, et al. Efficientformer: Vision transformers at mobilenet speed[J]. Advances in Neural Information Processing Systems, 2022, 35: 12934–12949.