近些年,随着计算机及其应用技术的迅速发展,生物特征识别作为新兴的信息认证技术正逐步发展起来.人脸识别是其中的一个分支,它是一种利用人的面部特征作为识别信息的身份验证技术.最初,该技术主要应用于二维图像,但由于二维图像本身易受到多种因素干扰,使得这一技术的发展受到制约.随着三维成像技术的发展,人脸识别被逐步引入到三维图像中来.三维图像不易受光照等因素的影响,因此比二维图像更适合用于人脸识别[1, 2, 3, 4].
基于面部特征的算法是人脸识别中常用的方法,SIFT特征[5]、Point Signature[6]描述符和曲率等特征都可用于人脸识别.局部二值模式(LBP)由Ojala等[7]提出,最初是用它来提取图像的纹理信息.后来被一些研究人员用于面部特征提取[8, 9],并引入到二维人脸识别中[10, 11, 12],且得到了不错的效果.Guo等[13]提出的CLBP算子由3部分组成:局部灰度差的符号部分(CLBP_S)、幅值部分(CLBP_M)及中心像素灰度(CLBP_C).其中,CLBP_S相当于基本的LBP算子.在单一算子中,LBP的特征提取能力最好,组合而成的CLBP算子的特征表征能力超过LBP.Yan等[14]将不同采样半径的LBP算子结合在一起构成了Multi-Radius LBP,并将其与现有的描述符Gabor特征、LBP和EOH进行了比较.Gabor特征和LBP在局部特征提取方面的效果相当且可以互补,两者结合后的结果较单独使用都有了明显提高,而Multi-Radius LBP在现有描述符中的识别结果最好.然而以上方法在提高描述符的局部特征表现能力的同时也大幅增加了算子的维数,忽视了高维算子对运算效率的影响.本文针对这一问题提出了局部径向二值模式,并将其应用到三维人脸识别中.
1 局部二值模式介绍 1.1 LBP
局部二值模式(LBP)以中心点像素值作为阈值,对邻域像素进行二值化处理.其表达式为
通常LBP算子取3×3邻域,将标准的LBP算子扩展为圆形邻域后可得到任意半径和邻域点数的算子.图 1给出了圆形邻域下(P,R)取不同值时算子邻域示意图.
 |
| 图 1 LBP圆形邻域示意图Fig. 1 Circularly symmetric neighbor sets for LBP |
当邻域点数为P时,基本LBP算子的模式数为2P(P=8,模式数=256),且模式数会随着P以幂次增长.随后,Ojala等[15]提出了Uniform Pattern(统一模式),大大缩减了原有模式数种类.统一模式的描述方式如式(2):
根据式(2)的表达,统一模式是二进制序列中0和1变换的次数不大于2的模式,大于2则为非统一模式.统一模式有较强的分类能力,并且包含了图像的大部分结构信息.但将所有非统一模式归为一类,仍会使部分有用信息丢失.
1.2 MS_LBP
单一LBP算子提取的结构信息是有限的,将不同尺度算子结合可以得到更多有用信息.通常,先分别计算不同尺度LBP算子的特征向量,再将这些向量串接在一起得到一个高维特征向量.该向量在表征局部结构信息方面更有优势,但却是以维数的增加作为代价的.
2 局部径向二值模式
为提取更多中心点邻域结构信息,且不增加特征向量维数,本文提出了局部径向二值模式(LRBP).其不仅可以更有效地提取局部结构信息,而且特征向量维数低,减小了后续计算的压力.
2.1 LRBP生成
以中心像素作为原点,沿直线向外辐射的方向定义为径向.第一径向r为水平向右的方向.以r为起始,2π/P(P为单周邻域点数,即同一采样圆上的邻域点数)为间隔选取其他径向ri(i=2,3,…,P).将半径为R1,R2,…,Rn的采样圆与各径向ri(i=2,3,…,P)的交点选为邻域点,每个径向上有n个点,共计n×P个点.然后,以中心点像素值作为阈值,对所取的n×P个邻域点进行二值化处理.按照靠近中心点处为高位,外侧为低位的原则,将各个径向上的二进制序列转化为十进制数,并将该数作为中心点在径向r上的特征数.LRBP可用图 2进行描述.
 |
| 图 2 LRBP示意图Fig. 2 Schematic diagram of LRBP |
LRBP较MS_LBP的一个重要优势在于:在采样半径和邻域点数相同的情况下,由LRBP得到的特征向量的维数较低.这是因为其沿径向对二值化结果进行编码后得到的模式数少,从而经过直方图统计之后的特征向量维数低.表 1给出了在采样半径R1,R2,R3保持不变,P取不同值时LRBP和MS_LBP的维数(采用统一模式).
| 算子 | P | ||
| 8 | 10 | 12 | |
| MS_LBP | 177 | 279 | 405 |
| LRBP | 64 | 80 | 96 |
与传统LBP一样,利用LRBP进行三维人脸识别也是通过提取人脸图像的直方图特征向量来完成的.为去掉噪声和冗余数据的干扰,将原始三维点云数据转化为深度图前需要进行滤波和面部分割等处理.然后利用Li等[16]的方法获得人脸深度图像.通常,在提取特征向量之前要将人脸图像划分成若干个子图,这里采用等分方式,记分割的块数为M.对子图中的任意一点,利用局部径向二值模式计算得到其P个十进制特征数.然后对子图中所有点在相同径向上的特征数进行直方图统计,得到序列hi(i=1,2,…,P).然后将各方向的序列连接在一起,即得到该子图的特征向量Hj=(h1,h2,…,hP)(j=1,2,…,M).记整个人脸图像的特征向量为L,则L=(H1,H2,…,HM).由于L的维数较高,所以采用降维和分类效果较好的Fisherface[17]方法对特征向量进行训练和识别.假设样本库中有Q个人的人脸数据,每人有ni(i=1,2,…,Q)个训练样本,则整个训练集样本数为N(N=n1+n2+…+nQ).每个训练样本的第j(j=1,2,3)维特征向量记作xikj,其中i,k表示第i个人的第k个样本.训练流程如图 3所示.
 |
| 图 3 样本训练流程图Fig. 3 Block diagram of training |
完成样本训练后,将待识别样本的第j维特征向量向矩阵WjUj作投影,得到投影向量ηj;利用余弦函数度量识别样本ηj与训练样本yij的相似度.对于向量α=(α1,α2,…,αn)和β=(β1,β2,…,βn),余弦相似度Scos定义为
利用中国科学院自动化研究所CASIA-3D FaceV1三维人脸数据库对LRBP的表征和识别能力进行验证.该数据库有123名对象,包含光照、表情和姿态的变化.从每个对象中选取15幅图像,其中包括5幅中性表情和10幅不同表情(微笑、大笑、生气、惊吓和闭眼)的图像,每种表情图像各2张,总共1845幅三维人脸图像.
为了评价表情变化对识别的影响,将实验分为2部分.第1部分测试LRBP对中性表情的识别能力.其中训练集合共246张图像,为每个对象的2幅中性表情图像,这个集合用来训练LRBP.每个对象剩余的3张中性表情图像构成了测试集合,共计369张.该集合作为测试集合用来测试中性表情下的识别情况.2张训练图像按照排列组合的方式选取,共C52=10种选择方式.对每种选择都在相同的条件下进行多次重复性实验,最终的结果为各识别率的平均值.实验的第2部分是测试LRBP对表情变化的识别能力.其中训练集合为每个对象的5幅中性表情图像,共615张;测试集合为每个对象的10幅表情变化图像,共1230张.
实验前先采用文献[16]的方法将三维点云数据转化为深度图像,图像大小为100像素×80像素,并采用5×5等分方式进行分割.再按照上述数据分组方式,利用LRBP求取实验所用每幅深度图像的特征向量.最后利用Fisherface方法对特征向量进行训练和识别.实验均在MATLAB中实现,计算机CPU 2.6GHz,内存为2GB.
3.2 实验结果 3.2.1 识 别 率
在中性表情实验部分,为了检验参数(P,R)对实验结果的影响,每种方法分别进行了9组实验.表 2给出了MS_LBP和LRBP在(P,R)取不同值时的识别率.
| 算子 | R=(R1,R2，…，Rn) | P | 平均识别率/% | ||
| 8 | 10 | 12 | |||
| LRBP | (1,2,3) | 96.26 | 96.48 | 96.29 | 95.90 |
| (1,2,3,4) | 97.23 | 97.45 | 97.34 | 97.03 | |
| (1,2,3,4,5) | 97.67 | 98.05 | 97.99 | 97.79 | |
| MS_LBP | (1,2,3) | 97.45 | 98.13 | 98.24 | 97.83 |
| (1,2,3,4) | 97.67 | 98.18 | 98.32 | 97.98 | |
| (1,2,3,4,5) | 97.72 | 98.26 | 98.40 | 98.05 | |
从表 2的结果可以看出,对于中性表情的识别,LRBP的识别率略低于MS_LBP,平均低1.04%,相差并不大.在参数(P,R)改变时,两者的结果均有变化,这说明P和R对识别结果都是有影响的.在P保持不变时,两者的识别率均随着邻域半径R的增加而提高,在R=(1,2,3,4,5)时识别率最高;这是因为邻域半径数目的增多使得局部结构特征信息增加,从而提高了识别率.在R保持不变时,LRBP在P=10时识别率较高,最高值为98.05%;而MS_LBP在P=12时识别率较高,最高值为98.40%.
表 3给出了P=8时LRBP和MS_LBP对表情变化集合的识别结果.
| 算子 | R=(R1,R2，…，Rn) | 微笑 | 大笑 | 生气 | 吃惊 | 闭眼 | 平均识别率/% |
| LRBP | (1,2,3) | 94.31 | 69.11 | 76.42 | 76.42 | 93.50 | 81.95 |
| (1,2,3,4) | 95.94 | 75.61 | 76.42 | 78.05 | 95.12 | 84.23 | |
| (1,2,3,4,5) | 97.56 | 75.61 | 79.67 | 78.05 | 95.93 | 85.36 | |
| MS_LBP | (1,2,3) | 96.75 | 80.49 | 82.11 | 82.93 | 95.94 | 87.64 |
| (1,2,3,4) | 97.97 | 81.30 | 82.52 | 83.74 | 96.34 | 88.37 | |
| (1,2,3,4,5) | 99.19 | 82.11 | 82.93 | 84.55 | 96.75 | 89.11 |
从表 3结果可以看出,在有表情识别方面,LRBP与MS_LBP存在一定差距,识别率平均低4.52%.这可能是由于LRBP提取的低维特征向量造成了一定的邻域特征信息丢失,从而导致识别率降低.从表中还可以看出,表情为“微笑”和“闭眼”时的识别率较高,与中性表情的识别结果较接近;而当表情为“大笑”“生气”和“吃惊”时,识别率则大幅降低.这是因为“微笑”和“闭眼”两种表情造成的面部变形较小,与中性表情模板相似度高;而另外3种表情造成的面部变形较大,尤其是嘴部变形严重,从而影响了识别率.与中性表情识别结果类似,两者在相同表情下的识别率都随着邻域半径数量的增加而有所提高. 3.2.2 运算时间
为了检验LRBP的识别效率,对LRBP和MS_LBP在特征向量提取以及训练和识别时所用时间进行了统计.
图 4给出了LRBP和MS_LBP对1845幅人脸深度图像进行特征提取的总时间示意图.由图可以看出两者在P相同的情况下,R的增加会使特征提取时间变长,这是由特征向量维数增加导致的.另外一个很明显的现象是随着P的增加,MS_LBP提取特征的时间急剧增加,而LRBP的时间则变化较缓,P为8,10和12时,LRBP提取特征向量所需时间比MS_LBP平均缩短了25.63%,58.06%和83.84%,这是因为LRBP提取的特征向量维数比MS_LBP的维数低.
 |
| 图 4 特征向量提取时间Fig. 4 Time of extracting feature vectors |
图 5给出了对表情变化集合特征向量的训练和识别时间.从图中可以看出,在相同参数条件下,LRBP所用的训练和识别时间明显少于MS_LBP.P为8,10和12时,LRBP比MS_LBP平均节省时间分别为16.49%,24.33%和34.46%.
 |
| 图 5 特征向量训练和识别时间Fig. 5 Time of training and recognizing feature vectors |
本文在LBP基础上提出了一种新的图像局部特征提取方法,经实验验证表明:①与LBP相比,在采样半径和邻域点数相同的情况下,LRBP得到的特征向量的维数明显降低,可减轻后续计算的压力;②LRBP在取得较好识别率的同时可大大缩减完成整个识别过程所用的时间.
致谢 感谢中国科学院自动化研究所提供的CASIA-3D FaceV1数据库.
| [1] | 明悦. 基于不变性特征的三维人脸识别研究[D].北京:北京交通大学,2013. Ming Y.3D face recognition based on invariant features[D].Beijing:Beijing Jiaotong University,2013(in Chinese). |
| Cited By in Cnki (3) | |
| [2] | 叶长明. 三维人脸识别中若干关键问题研究[D].合肥:合肥工业大学,2012. Ye C M.Key issues in 3D face recognition[D].Hefei:Hefei University of Technology,2012(in Chinese). |
| Cited By in Cnki (1) | |
| [3] | Ardabilian M, Szeptycki P,Huang D,et al.3D face recognition[J].Signal and Image Processing for Biometrics,2012,30(2):89-115. |
| [4] | Sharma P B, Goyani M M.3D face recognition techniques-a review[J].International Journal of Engineering Research and Applications (IJERA),2012,45(3):787-793. |
| [5] | Lowe D. Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110. |
| Click to display the text | |
| [6] | Chua C S, Han F,Ho Y K.3D human face recognition using point signature[C]//Proceedings of Fourth IEEE International Conference on Automatic Face and Gesture Recognition.Grenoble:IEEE,2000:233-238. |
| [7] | Ojala T, Pietikäinen M,Harwood D.A comparative study of texture measures with classification based on featured distributions[J].Pattern Recognition,1996,29(1):51-59. |
| Click to display the text | |
| [8] | Zhang G, Wang Y.Multimodal 2D and 3D facial ethnicity classification[C]//Proceedings of Fifth IEEE International Conference on Image and Graphics.Piscataway,NJ:IEEE,2009:928-932. |
| Click to display the text | |
| [9] | 孙鹤. 基于人脸面部特征的性别分类研究[D].上海:上海交通大学,2008. Sun H.Gender classification based on human face facial features[D].Shanghai:Shanghai Jiaotong University,2008(in Chinese). |
| Cited By in Cnki (3) | |
| [10] | Zhao G Y, Pietikainen M.Dynamic texture recognition using local binary patterns with an application to facial expressions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(6):915-928. |
| Click to display the text | |
| [11] | Vázquez H M, Reyes E G,Molleda Y C.A new image division for LBP method to improve face recognition under varying lighting conditions[C]//Proceedings of 19th International Conference on IEEE of Pattern Recognition.Piscataway,NJ:IEEE,2008:1-4. |
| Click to display the text | |
| [12] | Shan C, Gong S,McOwan P W.Facial expression recognition based on local binary patterns:a comprehensive study[J].Image and Vision Computing,2009,27(1):803-816. |
| [13] | Guo Z, Zhang D.A completed modeling of local binary pattern operator for texture classification[J].IEEE Transactions on Image Processing,2010,19(6):1657-1663. |
| Click to display the text | |
| [14] | Yan S, Wang H,Tang X O,et al.Exploring feature descriptors for face recognition[C]//Proceedings of IEEE International Conference on Acoustics Speech and Signal.Piscataway,NJ:IEEE,2007:629-632. |
| [15] | Ojala T, Pietikainen M,Maenpaa T.Multi-resolution grayscale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987. |
| Click to display the text | |
| [16] | Li L,Xu C H, Tang W,et al.3D face recognition by constructing deformation invariant image[J].Pattern Recognition Letters,2008,29(5):1596-1602. |
| Click to display the text | |
| [17] | Belhumeur P N, Hespanha J P,Kriegman D.Eigenfaces vs.fisherfaces:recognition using class specific linear projection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):711-720. |
| Click to display the text |