光学仪器  2023, Vol. 45 Issue (5): 35-43   PDF    
拉曼光谱结合深度学习算法的塑料分类的研究
苑宁之, 陈少华, 牟涛涛     
北京信息科技大学 仪器科学与光电工程学院,北京 100192
摘要: 拉曼光谱法能识别塑料制品光谱特征峰,但操作流程繁琐且准确率有待提升,对此提出了基于一维卷积神经网络 (one-dimensional convolution neural network, 1-D CNN) 的塑料制品分类算法,首先建立以聚乙烯 (polyethylene, PE) 、聚丙烯 (polypropylene, PP) 、聚对苯二甲酸乙二醇酯 (polyethylene terephthalate, PET) 和聚苯乙烯 (polystyrene, PS) 为原材料的40种塑料包装样本数据集;然后设计1-D CNN、K近邻 (KNN) 、决策树 (DT) 和支持向量机 (SVM) 4种算法模型进行训练,并在光谱分类流程、模型准确率和鲁棒性等方面进行对比。实验结果表明,1-D CNN在不经过预处理条件下分类准确率达到98.62%,且在60 dB噪声下仍有96.42%的准确率,优于另外3种传统机器学习算法模型。该结果证实,拉曼光谱融合神经网络的多分类方法可提升塑料制品检测性能。
关键词: 拉曼光谱    一维卷积神经网络    机器学习    塑料制品    定性分类    
Research on classification of plastics by Raman spectroscopy combined with deep learning algorithm
YUAN Ningzhi, CHEN Shaohua, MU Taotao     
College of Instrumental Science and Optoelectronic Engineering, Beijing Information Science and Technology University, Beijing 100192, China
Abstract: Raman spectroscopy can identify the spectral characteristic peaks of plastic products, but the operation process is complicated and the accuracy needs to be improved. Therefore, a classification algorithm for plastic products based on one-dimensional convolution neural network (1-D CNN) is proposed. Firstly, data sets of 40 kinds of plastic packaging samples using polyethylene, polypropylene, polyethylene terephthalate and polystyrene as raw materials were established. Then, four algorithm models including 1-D CNN, KNN, DT and SVM were designed for training, and the spectral classification process, model accuracy and robustness were compared. The experimental results show that the classification accuracy of 1-D CNN can reach 98.62% without pretreatment. And the accuracy rate is 96.42% under 60 dB noise, which is better than the three traditional machine learning algorithm models. The results show that the multi-classification method of Raman spectral fusion neural network can improve the detection performance of plastic products.
Key words: Raman spectroscopy    one-dimensional convolutional neural network    machine learning    plastic products    qualitative classification    
引 言

塑料包装的原材料为树脂,纯树脂本身无毒无臭,但其单体和低聚物多为致癌物,很容易透过塑料制品向外散发,尤其在经过高温加热或在包装老化的过程中会释放大量有毒物质,损害消费者健康[1]。例如线性低密度聚乙烯使用的安全温度不超过110 ℃[2];高密度聚乙烯材料不宜长期存储食品,也不宜高温加热,否则将会产生有毒有害物质;塑料饮料瓶中含有的聚丙烯一旦受到高温或是酸性腐蚀,就会慢慢溶解释放有机溶剂,对人体造成危害。当前我国塑料包装标准和要求相对比较宽泛,部分风险项目尚无国家标准检验方式,存在安全隐患。由此可见,研究一种能够对主要塑料制品原材料进行快速检测和分类的方法很有必要。目前检验塑料的方法主要有原子光谱法[3]、拉曼光谱法[4]、红外光谱法[5]、X射线荧光光谱法[6]、液相色谱–质谱法[7]和气相色谱–质谱法[8]等。

拉曼光谱法通过对与入射光频率不同的散射光进行分析,以得到物质分子振动、转动信息,从而分析物质的组成[9],已被广泛应用于各类化学物质分类研究中,其具有操作简单,灵敏度高,非破坏性等特点。但是传统的拉曼光谱检测通常需要人为经验来选取特征信息,且需要对光谱数据进行平滑滤波、基线校正等预处理,需耗费大量人力和时间成本,所以近年来人们将深度学习算法应用到拉曼光谱分析领域的研究中。Liu等[10]采用LeNet-5变体的深度卷积神经网络对拉曼光谱数据进行分类,在RRUFF矿物拉曼光谱数据库上取得很好的分类效果;祁文博等[11]采用Deep-CNN网络对三元混合矿物颜料拉曼光谱进行分类,准确率高达100%;李锦等[12]使用差分拉曼光谱结合RBF模型对药品塑料包装瓶进行分类,PCA降维后的样本分类正确率为95.74%;田陆川等[13]建立PBFNN-LDA模型对塑料拖鞋鞋底的拉曼光谱识别准确率为100%。这些技术成果表明深度学习算法在拉曼光谱分类识别中具有较高的分类准确率,且能够应用到塑料制品的分类检测中。

但是目前拉曼光谱结合深度学习算法对塑料制品分类的研究仍存在一定不足,包括:对塑料制品的选取局限于某单一类别;对实际应用中环境噪声对分类准确率的干扰缺乏考虑;主要应用方向为刑事侦查,忽视生产生活中塑料制品危害的研究。因此本文提出拉曼光谱结合深度学习算法对生活中常见的塑料包装进行分类,依据光谱特征,通过设计神经网络卷积核大小、优化激活函数和损失函数等参数基础上,建立1-D CNN模型完成样本训练,对比3种机器学习模型分类结果,从分类准确率、抗噪声干扰能力方面讨论模型的优势和特点。

1 实验部分

实验对带标签的4类塑料材料包装采集拉曼光谱,建立原始光谱数据集,为使光谱数据达到机器学习模型训练样本所需要求,对原始光谱进行预处理;由于人工采集样本数据量不足以达到卷积神经网络训练要求,为满足卷积神经网络训练,将原始数据集进行扩充,最终得到两组数据样本,模型分类流程如图1所示。

图 1 拉曼光谱分类流程图 Figure 1 Flow chart of Raman spectrum classification
1.1 数据集建立

实验采用北京云端光科技术有限公司生产的785手持式拉曼检测仪M1对40种塑料包装进行检测,设置光谱检测仪参数分别为:激光波长(785 ±0.02)nm;激光功率500 mW;显示波数200~1800 cm−1;分辨率8~11 cm−1。实验在避光条件下进行。对每个样本采集10条光谱,共采集400条光谱,根据特征峰[14]将样本原材料分为4类,分别为聚乙烯(PE)、聚丙烯(PP)、聚对苯二甲酸乙二醇酯(PET)和聚苯乙烯(PS),具体塑料包装及对应原材料如表1所示。

表 1 样本名称及主要原材料 Table 1 Sample name and main raw materials

采集到的塑料材料平均样本光谱如图2所示。

图 2 4类塑料平均拉曼光谱图 Figure 2 Average Raman spectra of four types of plastics
1.2 数据预处理

采集到的光谱由于荧光噪声和环境辐射等干扰会对后续建模处理带来不良影响,于是对光谱采用Savitzky-Golay (SG) 算法[15]进行平滑滤波,并且使用迭代自适应重加权惩罚最小二乘法[16]进行基线校正。经过预处理后的样本光谱如图3~5所示。

图 3 原始拉曼光谱图 Figure 3 Original Raman spectra

图 4 平滑滤波拉曼光谱图 Figure 4 Smoothed filtered Raman spectra

图 5 基线校正拉曼光谱图 Figure 5 Baseline correction Raman spectra
1.3 光谱数据增强

卷积神经网络需要庞大的数据量作为训练样本,以此获取更加精确的数据类别特征,并识别近似材料之间的特征差异。在制作塑料制品原材料数据集过程中,仅靠人力很难得到大批量拉曼光谱样本,因此本文使用数据增强方法来扩充样本数量,数据增强是一种基于有限的标记样本,通过一定规则扩大样本数量来训练神经网络,从而提高模型鲁棒性的技术。实验将数据增强分为三步:第一步,在有限的拉曼位移波动范围内,左右随机平移原始光谱,将塑料拉曼光谱数据由400条扩充至600条;第二步,向已扩充的拉曼光谱图像中分别添加5 dB、10 dB和20 dB的随机高斯白噪声,将光谱数据扩充至3000条;最后,使用总和为1的随机比例系数,将数条同类别拉曼光谱数据线性叠加,扩充光谱数据至6000条。经数据增强,生成包含4类带标签的塑料拉曼光谱图像数据集共6000条,作为后续网络模型训练的输入样本。

2 一维卷积神经网络图像分类 2.1 1-D CNN模型搭建

参照经典卷积神经网络模型LeNet-5,本文设计了具有2个卷积层、2个池化层、2个全连接层和一个Softmax分类输出层的一维卷积神经网络,其结构如图6所示。

图 6 一维卷积神经网络光谱分类结构图 Figure 6 Spectral classification structure of one-dimensional convolutional neural network

光谱输入卷积层后,激活函数采用ReLU函数变体LeakyReLU,可在 $ x<0 $ 时避免梯度消失问题,其表达式为

$ f(x) = \left\{ \begin{gathered} x,x>0 \\ ax,{\rm{otherwise}} \\ \end{gathered} \right. $ (1)

在经过大量仿真实验后,最终确定两层卷积核大小分别为10×1和5×1,卷积核个数分别为32,64。根据采集到的一维光谱数据特点,采用的一维结构卷积核计算式为

$ y_j^n = f\left(\sum\nolimits_i {x_i^{n - 1}} * k_{ij}^n + b_j^n\right) $ (2)

式中: $ x_i^{n - 1} $ 为第 $ n - 1 $ 层第 $ i $ 个输入的特征图; $ * $ 表示一维卷积运算; $ k_{ij}^n $ 表示卷积运算使用的卷积核; $ b_j^n $ 表示偏置; $ y_j^n $ 表示第 $ n $ 层第 $ j $ 个输入的特征图。

卷积层后通常加入池化层,其作用为降低特征图大小,缩减运算量,提高运算速度,因此池化层不需要权值更新。本文采用最大池化法 (Max-pooling) 进行下采样,其计算式为

$ x_j^n(l) = \max \{ x_j^n(2l - 1),x_j^n(2l)\} $ (3)

式中: $ x_j^n $ 为第 $ n $ 层第 $ j $ 个卷积核; $ l $ 为卷积核的大小。

经过多层卷积和池化运算后,提取出的样本特征展开输入到全连接层中,全连接层采用Tanh激活函数,并在其后加入Dropout随机失活比例来避免过拟合。经过仿真实验确定全连接层神经元个数为128,随机失活比例为0.5,为提升模型的泛化性能,在每层后加入批标准化层 (batch normalization, BN)。

2.2 1-D CNN模型训练

卷积神经网络训练可以分为两个过程:第一个过程是前向传播,通过预测值和真实值计算损失函数;若损失函数值过大,进入第二个过程反向传播,对卷积神经网络模型的权值进行更新。直到损失函数值达到最小,输出训练结果,本文设计的1-D CNN反向传播训练过程如图7所示。

图 7 反向传播算法训练流程图 Figure 7 Training flow chart of backpropagation algorithm

反向传播训练中使用交叉熵损失函数,计算公式为

$ L({x_n},{y_n}) = - \frac{1}{N}\sum\nolimits_{n = 1}^N {\sum\nolimits_{k = 1}^K {{y_{n,k}}} } \ln {p_{n,k}} $ (4)

式中: $ {x_n} $ 是训练光谱数据; $ {y_{n,k}} $ 是第 $ n $ 个样本预测第 $ k $ 个数据的标签; $ {p_{n,k}} $ 是第 $ n $ 个样本预测第 $ k $ 个数据值的概率; $ N $ 是总共的样本数; $ K $ 为总标签类数。

损失函数下降采用Adam优化算法,参数设置为

$ {\beta _1} = 0.9,\;\;{\beta _2} = 0.999,\;\;\varepsilon = {10^{ - 8}},\;\;\eta = 0.001 $ (5)

为加快模型收敛速度,训练样本被分成多个批次,批处理样本数目 (batch size) 设置为50。

将拉曼光谱数据集随机划分为3部分:70%光谱数据作为训练集;10%光谱数据作为验证集,用于在反向传播训练过程中调整神经元权重参数;20%光谱数据作为测试集,用于测试已训练后的网络模型性能。模型经过20个Epoch训练之后的正确率和损失值曲线如图8所示,可以看出网络基本收敛。

图 8 1-D CNN网络训练损失率及准确率曲线 Figure 8 1-D Training loss rate and accuracy curve of CNN network
3 分析与讨论 3.1 模型分类准确率比较

为验证模型的分类能力,将1-D CNN模型分别与K近邻、决策树和支持向量机3种传统的机器学习模型的分类结果做对比。由于传统的机器学习方法通常需要进行平滑滤波和基线校正的预处理,故先对拉曼光谱数据集使用Savitzky-Golay滤波器进行滤波,使用airPLS算法进行基线校正,分别比较4种模型在原始数据和经预处理数据上的平均分类准确率,实验结果如表2所示。

表 2 不同模型分类准确率 Table 2 Classification accuracy of different models

由表2可知,3种机器学习算法模型在经预处理后的分类准确率均得到不同程度的提升,其中提升最明显的是KNN模型,由原来的79.83%提升到88.15%,说明平滑滤波和基线校正方法可提高传统机器学习算法对拉曼光谱的分类准确率。

预处理前后分类准确率对比如图9所示,在两类光谱数据集上分类准确率最高的都是1-D CNN网络模型,而在原始光谱数据集上,1-D CNN的分类准确率与其他算法对比差异明显,且比预处理后得到的分类准确率略高,说明在使用1-D CNN模型分类时无需进行预处理过程,相较于传统机器学习方法,其分类流程快速高效。

图 9 4种模型预处理前后分类准确率对比 Figure 9 Comparison of classification accuracy of the four models before and after preprocessing
3.2 模型抗噪声干扰能力比较

在实际应用过程中,周围环境通常不可避免地对光谱采集过程造成影响,所以模型的抗干扰能力对分类结果的鲁棒性至关重要。本文分别向光谱中加入强度为20,30,40,50和60 dBW的高斯白噪声,验证KNN、DT、SVM和1-D CNN的抗干扰能力,实验结果的折线对比如图10所示。

图 10 不同强度噪声对模型分类准确率的影响 Figure 10 Influence of different intensity noise on model classification accuracy

由图10可以看出,在加入微弱噪声时,4种模型的分类准确率均未受到较大影响,而在噪声超过40 dB时,KNN模型准确率开始出现明显下滑;噪声超过50 dB时,DT模型准确率也出现大幅下降;在60 dB噪声下,两种模型分类准确率已不足50%。而SVM和1-D CNN两种模型的抗干扰能力较强,其中1-D CNN模型更为突出,在60 dB噪声下,仍有96.42%的分类准确率。说明在实际应用中,卷积神经网络对塑料材料的拉曼光谱多分类结果更加可靠。

4 结 论

为实现塑料材料多分类,提出了一维卷积神经网络拉曼光谱分类模型,实现了4种塑料聚合物拉曼光谱的定性分类。提出适用于小样本拉曼光谱数据的3种数据增强方法,建立符合卷积神经网络训练数量的拉曼光谱数据集。搭建1-D CNN拉曼光谱分类模型,确定最优结构参数和训练参数,完成模型训练。与传统机器学习分类方法相比,1-D CNN无需光谱预处理,能够更好地提取出光谱特征,从而减少计算量,缩短计算时间,能够对4种塑料聚合物实现准确高效的分类,分类准确率达到98.6%。

研究发现,卷积神经网络可在模型内部对输入的拉曼光谱信号进行预处理、特征提取和分类,整体流程无需人工干预,能在准确鉴别物质类别的同时简化处理流程。通过模拟实际拉曼光谱采集过程,在拉曼光谱信号中添加不同强度的白噪声,发现相较于机器学习算法,1-D CNN模型具有更强抗噪声干扰能力,鲁棒性更高。可见,一维卷积神经网络是一种优秀的拉曼光谱定性分析方法,能够准确、快速、高效地检测生产生活中的塑料制品,可适应复杂信号和环境,有明显的潜力和广阔的应用前景。

参考文献
[1] SUN Q J, XIN S G. Plastic food packaging materials and food safety[J]. Journal of Shenyang Normal University (Natural Science Edition), 2014, 32(2): 151–155.
[2] 刘万文. 食品纸包装材料中荧光增白剂的检测方法[J]. 食品界, 2018(6): 162. DOI:10.3969/j.issn.2095-638X.2018.06.118
[3] 柳沙. 原子吸收光谱法测定PET塑料材料中锑的迁移量[J]. 云南化工, 2019, 46(7): 60–61,64. DOI:10.3969/j.issn.1004-275X.2019.07.027
[4] XU X X, SHEN X J, YANG X B, et al. Rapid analysis of phthalate esters in plastic toys by Laser Raman technology[J]. Spectroscopy and Spectral Analysis, 2020, 40(6): 1929–1933.
[5] 田静, 王晓娟, 齐文良, 等. 基于近红外光谱分析技术的食品包装塑料的定性分析[J]. 分析测试学报, 2020, 39(11): 1416–1420. DOI:10.3969/j.issn.1004-4957.2020.11.016
[6] 马枭, 姜红, 杨佳琦. X射线荧光光谱结合多元统计分析塑料打包带(绳)[J]. 激光与光电子学进展, 2019, 56(22): 223005.
[7] 朱茂电, 靳雅莉, 谢雨桐. 液相色谱-质谱法在食品包装邻苯二甲酸酯含量测定中的应用[J]. 塑料工业, 2019, 47(8): 106–109. DOI:10.3969/j.issn.1005-5770.2019.08.023
[8] 杜焕玲, 吕姗, 曹焱鑫. 气相色谱–质谱法测定塑料玩具及儿童用品中的多环芳烃[J]. 化工技术与开发, 2020, 49(12): 37–39. DOI:10.3969/j.issn.1671-9905.2020.12.010
[9] DONG J L, HONG M J, ZHENG X Q, et al. Discrimination of Human, dog and rabbit blood using Raman spectroscopy[J]. Spectroscopy and Spectral Analysis, 2018, 38(2): 459–466.
[10] LIU J, OSADCHY M, ASHTON L, et al. Deep convolutional neural networks for Raman spectrum recognition: a unified solution[J]. Analyst, 2017, 21(142): 4067–4074.
[11] 祁文博, 牟涛涛, 陈少华. 基于卷积神经网络和便携式拉曼光谱仪的彩色矿物颜料成分分析[J]. 传感器世界, 2022, 28(3): 16–22. DOI:10.3969/j.issn.1006-883X.2022.03.005
[12] 李锦, 姜红, 杨俊, 等. 差分拉曼光谱结合人工神经网络对药品塑料包装瓶的分类研究[J]. 塑料工业, 2022, 50(8): 101–107. DOI:10.3969/j.issn.1005-5770.2022.08.018
[13] 田陆川, 杨俊, 姜红. 基于RBFNN-FDA模型对塑料拖鞋鞋底的拉曼光谱研究[J]. 上海塑料, 2022, 50(4): 62–67. DOI:10.16777/j.cnki.issn.1009-5993.2022.04.011
[14] 林福华. 拉曼光谱技术在聚合物分析中的应用[J]. 塑料工业, 2018, 46(6): 132–135. DOI:10.3969/j.issn.1005-5770.2018.06.032
[15] ČLUPEK M, MATĚJKA P, VOLKA K. Noise reduction in Raman spectra: Finite impulse response filtration versus Savitzky-Golay smoothing[J]. Journal of Raman Spectroscopy, 2007, 38(9): 1174–1179. DOI:10.1002/jrs.1747
[16] RICHARDS S, MILLER R, GEMPERLINE P. Advantages of soft versus hard constraints in self-modeling curve resolution problems. Penalty alternating least squares (P-ALS) extension to multi-way problems[J]. Applied Spectroscopy, 2008, 62(2): 197–206. DOI:10.1366/000370208783575645