太赫兹成像是一种利用太赫兹波作为信号源成像的技术[1-2]。太赫兹波的频率介于红外和微波之间,通常为0.1~10 THz,这种特殊波与物质发生相互作用时会同时具有微波和红外光的传输特性,因具有较低的能量,不会引起有害的电离反应,对大部分非极性物质有较强的穿透能力[3-4]。传统的安检探测系统为了获取样品的透射光信息,通常需要高辐射当量照射,这种强辐射普遍对人体组织和细胞具有一定的破坏性。利用太赫兹成像不仅适用于人体服装内隐藏物品的检测,而且不会对生物组织、易燃易爆物等产生影响,是一种典型的无伤探测手段[5-8],太赫兹成像也因此成为安全检查领域的一个重要研究方向。
在识别物体时,太赫兹成像因受到探测器灵敏度、光子噪声和外界环境的影响和干扰,会使图像出现分辨率低、对比度不明显等问题,甚至无法在视觉上辨别图像上目标物的特征信息,尤其是对人体边缘目标物体的识别更为困难。Li等通过图像区块统计中的均匀属性来自动检测太赫兹人体图像中的隐藏目标,建立了基于拟合能量函数的最小化特征区域分解的理论模型,克服了传统方法因梯度边缘算子无法成功应用而存在的缺陷,并利用不同特征区域中收敛的曲面函数开发了一种三步自动检测算法,以自动提取被识别物体的数量、位置和形状[9]。姚家雄等利用卷积神经网络得到各子图块存在违禁物体的概率,并将概率值累积,得到了人体图像中违禁物体的位置[10]。辛乐等提出一种自适应的二次模板匹配滤波的方法,通过将背景滤除的结果作为先验结果对原始图像进行改进的双边滤波,保留了人体轮廓的图像细节,改善了毫米波安检系统对人体图像中隐匿物体的识别与定位[11]。王林华等针对人体边缘物体采用了圆形模板识别凹凸点的方法进行识别,将边缘物体的识别问题转化为凸点的检测问题。但在实际安防检测过程中,由于被测物体的形状是未知的,且物体边缘可能会出现随机的凹凸特性,因此圆形模板识别凹凸点的方法在针对多变的人体边缘物体识别时,其准确性还不高。当边缘物体辐射或反射信号与太赫兹安检系统的信号强度或背景值接近时,可导致边缘物体的像素灰度值与图像背景的数值大致相当,此时需要通过人体真实信息与提取边缘轮廓的算法相结合来判断[12]。本文提出了一种基于Shi-Tomasi算子的角点特征识别算法,该算法可以大大地提高自动识别人体图像边缘物体的准确率。
1 图像预处理对于太赫兹安检系统采集的原始图像,由于其采集的目标纹理、颜色等特征信息相对较弱,而且主要信息包含在图像轮廓中,所以原始图像的预处理对成像系统后续的目标检测与识别具有重要的作用。提取图像轮廓的方法通常有基于边缘检测的Prewitt、Rober算子等,此类方法是通过搜索一阶微分算子对灰度图像进行边缘提取,即利用交叉梯度的方式对图像轮廓精确定位[13],该算法的重点在于提取后保留的边缘点与消除噪声点之间的平衡。本文基于阈值分割的方法来提取图像轮廓,其核心是对一张灰度直方图为
| $g(x,y) = \left\{ \begin{gathered} 0,\;\;\;\;f(x,y) {\text{<}} T \\ 1,\;\;\;\;f(x,y) {\text{≥}}T \\ \end{gathered} \right.$ | (1) |
式中:
| $\left\{ \begin{gathered} P({Z_0}) = \sum\nolimits_{i = 0}^T {{P_i}} \\ P({Z_1}) = \sum\nolimits_{i = T + 1}^{L - 1} {{P_i}} \\ P({Z_0}) + P({Z_1}) = 1 \end{gathered} \right.$ | (2) |
| ${m_0} = \frac{1}{{P({Z_0})}}\sum\nolimits_{i = 0}^T {i{P_i}} $ | (3) |
| ${m_{\rm{1}}} = \frac{1}{{P({Z_1})}}\sum\nolimits_{i = T + 1}^{L - 1} {i{P_i}} $ | (4) |
图像整体平均灰度值为
| $m = \sum\nolimits_{i = 0}^{L-1} {i{P_i}} $ | (5) |
所以两类类间方差
| $ \begin{split} {\sigma _b}^2 = \;& P({Z_0}){({m_0} - m)^2} + P({Z_1}){({m_1} - m)^2}{\rm{ = }}\\ &P({Z_0})P({Z_1}){({m_1} - m)^2} \end{split}$ | (6) |
式中类间方差
图1是对人体拍摄的原始图像及经预处理后的效果图。人体左边腰部放置了汽油罐,被识别物体的成像结果均在人体的边缘且与背景混合,如图1(a)所示。首先用Otsu阈值法计算图像的阈值
|
图 1 图像预处理效果图 Figure 1 Image preprocessing renderings |
图像预处理后,会出现人体边缘物体和图像背景融为一体的情况。同时,在实际安防检测场景中,由于被测边缘物体的形状是未知的,且有随机的凹凸特性,传统的物体识别算法在针对形状多变的物体识别时,其识别的准确性还有待提高。因此本文采用了一种基于Shi-Tomasi算子的角点特征识别算法,该算法是通过对角点的检测筛选出边缘物体的特征点,达到对人体边缘物体识别的目的。
角点检测是机器视觉系统中获取图像特征的一种方法,广泛应用于运动目标跟踪、图像配准、全景图像拼接、三维重建和物体识别等,也可称为特征点检测。算法的基本原理:设定一个固定窗口,使之在图像上进行任意方向的滑动,比较滑动前后窗口中像素灰度变化的程度,如果窗口向任意方向的移动都导致图像灰度的明显变化,我们就可以认为在该窗口中存在角点。当窗口滑动时,滑动前与滑动后对应的窗口的像素点灰度变化可分别描述如下:
| $E(u,v) = \sum\nolimits_{x,y} {w(x,y){{[I(x + u,y + v) - I(x,y)]}^2}} $ | (7) |
| $I(x + u,y + v) = I(x,y) + {I_x}u + {I_y}v + O({u^2},{v^2})$ | (8) |
式中:
对于局部窗口微小的移动量
| $E(u,v) \cong \sum\nolimits_{x,y} {w(x,y)[{u^2}} {I_x}^2 + 2uv{I_x}{I_y} + {v^2}{I_y}^2]$ | (9) |
由于角点检测需要求解局部窗口内矩阵特征值,并且判断特征值的大小,可将式(9)简化成矩阵形式,即
| $E(u,v) \cong [u,v]{{M}}\left[ \begin{gathered} u \\ v \\ \end{gathered} \right]$ | (10) |
式中
| $\begin{split} {{M}} = \sum\nolimits_{x,y} {w(x,y)} \left[ {\begin{array}{*{20}{c}} {{I_x}^2}&{{I_x}{I_y}} \\ {{I_x}{I_y}}&{{I_y}^2} \end{array}} \right] \end{split}$ | (11) |
角点检测是对窗口内的每个像素沿x、y方向上的梯度进行统计分析,把每个像素的梯度坐标表示成Ix、Iy。在几何模型中,将矩阵M对角化后,特征值
|
图 2 不同区域像素的梯度分布 Figure 2 Gradient distribution of pixels in different areas |
通常用表达式来度量角点响应,Shi-Tomasi角点检测的响应函数为
| $R = \min ({\lambda _1},{\lambda _2})$ | (12) |
式中:R为角点响应函数;
为了方便表达,在二值化图像中白色(人体)像素值设定为1,黑色(背景及物体)像素值设定为0,人体边缘特征0和1相连。在识别边缘物体前,首先使用OpenCV软件中的goodFeaturesToTrack函数,通过Shi-Tomasi算子获取图像中的最好角点。函数主体中主要参数如表1所示。
|
|
表 1 goodFeaturesToTrack参数说明 Table 1 goodFeaturesToTrack parameter description |
首先剔除图像中低于表1中质量水平参数的所有角点;然后对合格的角点按照角点质量高低进行降序排列。在进行排序时,先选取质量最高的角点,将最小距离内的其余角点都删除,然后选取质量第二高的角点,经不断重复选取后返回
|
图 3 Shi-Tomasi提取人体边缘角点 Figure 3 Shi-Tomasi extraction of human body edge corners |
在角点检测完成后,我们开始对人体边缘物体进行识别,以图3中人体左腰部的边缘物体为例,其识别原理如图4所示。
|
图 4 人体左腰部边缘物体识别原理图 Figure 4 Schematic diagram of object recognition of left waist edge of human body |
具体识别步骤如下。
1)沿图像顶边垂直向下依次遍历人体边缘角点。一旦检测到像素值从0变化为1,则停止寻找,记录下该点像素坐标为第一个人体边缘角点X1。
2)以角点X1为起始角点,沿纵轴(Y轴)方向检测像素值变化,此时像素值为0,当检测到像素值变化为1时,记录下该点像素坐标为第二个人体边缘角点Xi。
3)在minDistance函数设定的阈值范围内,遍历符合类似Xi边缘特征的其余角点Xi+1,并用直线将阈值范围内所有满足条件的角点进行相连。分别取直线中点沿平行横轴(X轴)两侧检测人体边缘信息。
4)对两个横向间距不超过阈值的所有角点沿中点两侧寻找其对应的边缘角点。由图4可见:在横轴左侧的图像背景方向无边缘角点;在横轴右侧若检测到有像素值从0变化为1时,设定该点为人体边缘角点Mi。比对每个对应边缘角点的横向坐标值,保留横向坐标最大值所在的角点,依次对人体边缘内所有两两相邻的角点进行判断。
5)重复上述步骤,当遍历完所有符合边界特征的人体边缘角点后,会生成N条类似X1和Xi、Xi+1的自动连线,以及N个沿中点两侧与边缘角点Mi相似的背景横向坐标。遍历所有背景横向坐标值,检索出横向坐标最大值对应的中点位置,该中点所在的人体边缘上下两个角点的连线就是被识别物体的最终边缘信息。
在采用Shi-Tomasi角点算子进行人体边缘物体识别时,首先是把遍历人体边缘角点的阈值设置为躯干边缘的横向间距与两腿之间、张开手臂之间的横向间距中间值,防止头和手臂、胯部和人体裆部之间被误认为是被检测物体。相比传统全像素点比对的方式,本文算法不仅减小了计算量,而且避免了边缘物体误识别的情况。同时,通过minDistance函数对相邻角点最小间距的划分后,可对物体边缘的每一个角点特征进行精确提取,并对检测划分后的被识别物体角点进行一对一比对,保留了边缘物体最显著的强特征点,所以该算法在识别精度和准确性方面都得到了提高。本文算法识别结果如图5所示,其中(a)为左边腰部边缘物体识别结果,(b)、(c)为其余位置的人体边缘物体识别结果。
|
图 5 人体边缘物体识别结果图 Figure 5 Result of human body edge object recognition |
本文针对传统多变边缘物体识别过程中准确率低的问题,提出了一种基于Shi-Tomasi算子的特征提取算法,即将人体边缘强角点及垂直方向阈值范围内的相邻角点组合连线,沿中点横向遍历像素变化点,并通过比对背景侧数值最终实现人体边缘物体的识别。测试选取了200幅图像,被识别的物体有汽油罐、陶瓷刀、塑胶炸弹等,识别的位置分别在人体轮廓的肩部、腰部和腿部等部位。研究表明,该算法对边缘物体识别的准确率可达98%,识别时间在1 s内,识别结果稳定可靠,具有很强的实用性。
| [1] | VALZANIA L, ZHAO Y C, RONG L, et al. THz coherent lensless imaging[J]. Applied Optics, 2019, 58(34): G256–G275. DOI:10.1364/AO.58.00G256 |
| [2] | FERGUSON B, 张希成. 太赫兹科学与技术研究回顾[J]. 物理, 2003, 32(5): 286–293. DOI:10.3321/j.issn:0379-4148.2003.05.002 |
| [3] | YIN M, TANG S F, TONG M M. The application of terahertz spectroscopy to liquid petrochemicals detection: a review[J]. Applied Spectroscopy Reviews, 2016, 51(5): 379–396. DOI:10.1080/05704928.2016.1141291 |
| [4] | GUERBOUKHA H, NALLAPPAN K, SKOROBOGATIY M. Toward real-time terahertz imaging[J]. Advances in Optics and Photonics, 2018, 10(4): 843–938. DOI:10.1364/AOP.10.000843 |
| [5] | MOROZOV D, DOYLE S M, BANERJEE A, et al. Design and characterisation of titanium nitride subarrays of kinetic inductance detectors for passive terahertz imaging[J]. Journal of Low Temperature Physics, 2018, 193(3/4): 196–202. |
| [6] | KNIPPER R, BRAHM A, HEINZ E, et al. THz absorption in fabric and its impact on body scanning for security application[J]. IEEE Transactions on Terahertz Science and Technology, 2015, 5(6): 999–1004. DOI:10.1109/TTHZ.2015.2474115 |
| [7] | 冯辉, 涂昊, 高炳西, 等. 被动毫米波太赫兹人体成像关键技术进展[J]. 激光与红外, 2020, 50(11): 1395–1401. DOI:10.3969/j.issn.1001-5078.2020.11.018 |
| [8] | 邸志刚, 姚建铨, 贾春荣, 等. 太赫兹成像技术在无损检测中的实验研究[J]. 激光与红外, 2011, 41(10): 1163–1166. DOI:10.3969/j.issn.1001-5078.2011.10.022 |
| [9] | LI R, LI C, LI H W, et al. Study of automatic detection of concealed targets in passive terahertz images for intelligent security screening[J]. IEEE Transactions on Terahertz Science and Technology, 2019, 9(2): 165–176. DOI:10.1109/TTHZ.2018.2889407 |
| [10] | 姚家雄, 杨明辉, 朱玉琨, 等. 利用卷积神经网络进行毫米波图像违禁物体定位[J]. 红外与毫米波学报, 2017, 36(3): 354–360. DOI:10.11972/j.issn.1001-9014.2017.03.018 |
| [11] | 辛乐, 尚士泽, 李元吉, 等. 毫米波人体安检图像自适应滤波方法[J]. 微波学报, 2020, 36(5): 29–35. |
| [12] | 王林华, 袁明辉, 黄慧, 等. 太赫兹安检系统人体图像边缘物体识别[J]. 红外与激光工程, 2017, 46(11): 1125002. |
| [13] | AYECH M W, ZIOU D. Segmentation of Terahertz imaging using k-means clustering based on ranked set sampling[J]. Expert Systems with Applications: An International Journal, 2015, 42(6): 2959–2974. DOI:10.1016/j.eswa.2014.11.050 |
| [14] | 欧阳琴. 基于多角度融合的太赫兹隐物体检测[D]. 武汉: 华中科技大学, 2019. |
| [15] | 耿丽华, 何敬锁, 张宏飞, 等. 基于相机扫描的太赫兹光场成像预处理方法[J]. 光学技术, 2019, 45(5): 612–616. |
2021, Vol. 43
Issue (3): 16-22


