眼部语义特征^{[1, 2, 3]}提取在如机器视觉、人脸识别、人机交互界面中占有重要的地位。常用的眼部特征提取方法^{[4, 5, 6, 7]}有基于可变形模板法^[8]、基于三庭五眼法、模板与投影相结合法、基于几何特征检测等。在基于可变形模板法^{[9, 10]}中眼睛的几何模板中需要对几何模型设置初始化参数,即便是在改进的可变形模板中也需要通过先验知识设置相应的初始化参数,虽能够实现对眼睛特征的提取,但计算复杂度较高、比较耗时。模板与投影相结合法是在图像搜索区域内将模板遍历搜索区域,根据相关匹配数值检测出眼睛特征值。基于几何特征的人脸检测方法是依据人脸当中依据五官的位置划分不同的区域,然后提取相应的特征。以上方法大多是对眼睛或眉毛^[11]单独进行几何模型特征提取,没有把眉毛与眼睛作为一个整体系统进行建模。由于眉毛与眼睛在面部的几何位置,往往依据对眼部特征几何形状的视觉感知,把眉毛与眼睛放在一起进行描述,虽然描述清晰但是存在差异没有量化,譬如三角眼不同的人对其感觉会有所不同。因此需要用相应的现代技术手段对其用标准予以界定,用参照标准描述人眼特征显得尤为重要。

传统文化对眼部特征的汉语语义描述往往就是针对眼睛的特点,用许多形象、简洁的汉语语义来描述眼睛的特征,譬如细长眼、眯缝眼、三角眉、八字眉等,细长眼就是眼睛的垂直方向距离占眼睛内外角点距离的比例,当比例比较小时表现出来的细长的视觉特性。因此结合现有的眼部特征提取的方法,依据传统文化对眼部特征的语义描述,采用眉毛与眼睛相结合构建新型描述眼部特征混合参数模型,模型如图 1所示。在图 1所示混合参数模型中主要阐述三个方面的语义主特征:第一,描述眼睛的主特征,譬如特征参数N₁描述眼睛间距,N₂描述两只眼睛的眼心距,N₅描述的是虹膜在眼睛里水平方向占的比例,表示眼睛中眼白的多少;第二,描述眉毛的语义特征,譬如特征参数N₇描述眉毛的粗细程度,N₈描述眉毛之间的距离;第三,描述眼睛与眉毛之间的语义特征,特征参数N₁₁描述眉毛与眼睛之间的距离,N₁₂与N₁₃描述的是以眼睛为参照物,判断眉毛是内侧或者外侧型。

图 1

Fig. 1

图 1 描述眼部特征改进混合参数模型 Fig. 1 The improved hybrid parameter model of ocular feature

表征眼睛主特征参数如:N₁=EX3/EX1;N₂=EX2/EX1;N₃=EX4/EX1;N₄=EY1/EX4;N₅=2·IR1/EX1;N₆=IX1/EX1;表征眉毛主特征参数如:N₇=BY1/BY2;N₈=EBX1/EX4;N₉=(B1(y1)-B3(y3))/(B1(x1)-B3(x3));N₁₀=BX3/BX1;表征眼与眉毛之间主特征参数:N₁=EBY1/EBY2;N₂=EBX1/EX4;N₃=EBX2/EX4;N₄=EBX3/EX4;

混合参数模型的特征参数的提取主要原理:首先,依据眼睛的色度信息定位眼睛;其次,依据眉毛与眼睛的几何位置关系分割出眉毛;最后,采用投影法提取相应特征参数。眼睛特征的提取主要是利用肤色的聚类特征检测出彩色图像中人的脸部,然后根据眼睛的色度信息提取眼睛轮廓。眼睛特征提取系统主要分为四个环节,即图像获取、人脸定位、区域分割、特征提取。具体过程如下

(1)肤色区域的中值分别用C_b(Y)和C_r(Y)表示,变换式为:

(2)肤色的区域宽度分别用W_Cb(Y)和W_Cr(Y)表示,使用分段函数表示,其变换式为:

(3)根据过程(1)、过程(2)将变换得到肤色聚类YCbCr空间映射到YCb′Cr′色彩空间,可表示为:

(4)因为肤色在(C′_b－C′_r)空间上大致服从正态分布,分布函数为:

对图像中像素进行统计,使得90%以上的点满足W′(C_bC_r)>T,得到的像素点被认为是肤色,T为由实验得到的肤色分割的阈值。

(5)因为眼睛的C_b值较高而C_r值却偏低,因此在得到人脸区域图像后,利用图像YCb′Cr′色彩空间的Cb′、Cr′的分布特征构建分布函数,可表示为:

CbrFunc为构造C_b、C_r变量的函数,CbrMean为CbrFunc的直方图分布函数。用大津法(Otsu)与形态学开运算相结合的方法将眼睛轮廓分割出来。

在提取的眼睛轮廓的基础上,分割出眼睛的带状区域,采用边缘检测与改进Hough变换相结合的方法检测出来虹膜的外边缘轮廓,最后通过最小二乘法对提取虹膜的外边缘拟合出其轮廓信息。对提取的虹膜外边缘轮廓进行积分投影测得描述虹膜的特征参数。根据眉毛与眼睛的几何位置定位并分割出眉毛的带状区域,对眉毛带状区域图像分割出眉毛二值图像并做积分投影提取相应特征参数。

仿真实验计算机配置为AMD Athlon X2台式机,2.81 GHz主频,2.0 GB内存,计算机运行系统为Windows XP Professional SP3。在MATLAB软件平台上,本文采用东北石油大学2011级研究生入学采集的1 000张照片作为实验样本,实验的流程结构框图如图 2所示。在提取眼部混合参数模型特征参数时,以语义字段的形式进行编码,如表 1所示。每个混合特征参数针对实验过程中采集的数据的均值划分出4段阈值,并对阈值分别编码为00、01、10、11,如表 2所示。图 3所示是实验过程中输出的图像,可以看到检测出来眼睛与眉毛的边缘信息。图 3中眼睛、眉毛图像投影分别如图 4和图 5所示。通过投影可以测得眼睛、眉毛特征中的特征参数,如眼心距、眉毛间距离等。也可以测得眉毛、眼睛角点的坐标,通过坐标值可以计算不能直接用投影直接提取的特征参数。例如B1点与B3点之间连线的水平夹角,可以通过投影测得其坐标值,利用坐标值测得N₉数值,当N₉>0表示眉毛下倾,N₉在0附近表示眉毛两侧角点水平,N₉<0表示眉毛上扬。提取虹膜的图像如图 6所示,虹膜外边缘的投影图像如图 7所示,可以测得描述虹膜的特征参数。

图 2

Fig. 2

图 2 流程结构框图Fig. 2 Flow chart

表 1(Table 1)

表 1 眼睛特征参数 Tab. 1 Eyes characteristic parameters 语义字段 眼睛 眉毛 眉、眼之间 特征参数 N1,N2,N3,N4,N5,N6 N7,N8,N9,N10 N11,N12,N13,N14

表 1 眼睛特征参数 Tab. 1 Eyes characteristic parameters

表 2(Table 2)

表 2 眼睛特征参数取值和语义编码 Tab. 2 Characteristic of eyes and semantic coding 语义字段 语义描述 特征参数取值 语义编码 眼睛 眼距长 N1≥A1 00 眼距偏长 A1>N1≥A2 01 眼距偏短 A2>N1≥A3 10 眼距短 A3>N1 11 眉毛 眉毛粗 N7≥B1 00 眉毛偏粗 B1>N7≥B2 01 眉毛偏细 B2>N7≥B3 10 眉毛细 B3>N7 11 眉、眼之间 眉眼距长 N11≥C1 00 眉眼距偏长 C1>N11≥C2 01 眉眼距偏短 C2>N11≥C3 10 眉眼距短 C3>N11 11

表 2 眼睛特征参数取值和语义编码 Tab. 2 Characteristic of eyes and semantic coding

图 3

Fig. 3

图 3 实验中的输出图像Fig. 3 Output of the experiment

图 4

Fig. 4

图 4 眼睛轮廓投影图像Fig. 4 The projected image of the eye contour

图 5

Fig. 5

图 5 眉毛轮廓投影图像Fig. 5 The projected image of the eyebrow contour

图 6

Fig. 6

图 6 检测到虹膜图像Fig. 6 Detected iris images

图 7

Fig. 7

图 7 虹膜外边缘投影图像Fig. 7 The projected image of the iris outer edge

本文的主要创新点是把眼睛与眉毛共同构建于描述眼部特征的混合参数模型,能够体现人们对眼部特征整体描述。并且本文采用眼睛色度信息定位眼睛、眉毛的位置,算法结构简单且准确,该方法对图像特征提取成功率达99%以上。在面对海量图像时能够缩短特征提取时间,本实验中平均对每幅图片处理时间小于1.75 s。并且由眼睛与眉毛互为参照物便于对其语义描述,譬如语义描述的眉毛的内侧、外侧型就是根据眉毛与眼睛内侧角点的位置而定位的。针对构建混合参数模型提取的特征参数,每个特征参数依据实验样本进行划分不同阈值,创建描述眼部特征的语义编码,本实验实现28位二进制的语义编码,在理论上可以区别2²⁸约2.6亿种不同类型的眼部特征。