基于生成式对抗网络的鲁棒人脸表情识别

被引：49

作者：

姚乃明 ^{[1
,2
]}

郭清沛 ^{[1
,2
]}

乔逢春 ^{[1
,2
]}

陈辉 ^{[1
,2
]}

王宏安 ^{[1
,2
,3
]}

机构：

[1] 中国科学院软件研究所人机交互北京市重点实验室

[2] 中国科学院大学

[3] 中国科学院软件研究所计算机科学国家重点实验室

来源：

自动化学报 | 2018年 / 44卷 / 05期

基金：

国家重点研发计划;

关键词：

人脸补全; 用户无关; 人脸表情识别; 生成式对抗网络; 卷积神经网络;

D O I：

10.16383/j.aas.2018.c170477

中图分类号：

TP183 [人工神经网络与计算]; TP391.41 [];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ; 080203 ;

摘要：

人们在自然情感交流中经常伴随着头部旋转和肢体动作,它们往往导致较大范围的人脸遮挡,使得人脸图像损失部分表情信息.现有的表情识别方法大多基于通用的人脸特征和识别算法,未考虑表情和身份的差异,导致对新用户的识别不够鲁棒.本文提出了一种对人脸局部遮挡图像进行用户无关表情识别的方法.该方法包括一个基于Wasserstein生成式对抗网络(Wasserstein generative adversarial net,WGAN)的人脸图像生成网络,能够为图像中的遮挡区域生成上下文一致的补全图像;以及一个表情识别网络,能够通过在表情识别任务和身份识别任务之间建立对抗关系来提取用户无关的表情特征并推断表情类别.实验结果表明,我们的方法在由CK+,Multi-PIE和JAFFE构成的混合数据集上用户无关的平均识别准确率超过了90%.在CK+上用户无关的识别准确率达到了96%,其中4.5%的性能提升得益于本文提出的对抗式表情特征提取方法.此外,在45?头部旋转范围内,本文方法还能够用于提高非正面表情的识别准确率.

引用

页码：865 / 877

页数：13

共 7 条

[1] 生成式对抗网络GAN的研究进展与展望 [J].

王坤峰 ;

苟超 ;

段艳杰 ;

林懿伦 ;

郑心湖 ;

王飞跃 .

自动化学报, 2017, 43 (03) :321-332

[2] 基于ROI-KNN卷积神经网络的面部表情识别 [J].

孙晓 ;

潘汀 ;

任福继 .

自动化学报, 2016, 42 (06) :883-891

[3]

Static and dynamic 3D facial expression recognition: A comprehensive survey[J] . Georgia Sandbach,Stefanos Zafeiriou,Maja Pantic,Lijun Yin.Image and Vision Computing . 2012 (10)

[4]

Categorical and dimensional affect analysis in continuous input: Current trends and future directions[J] . Image and Vision Computing . 2012

[5] Distinctive image features from scale-invariant keypoints [J].

Lowe, DG .

INTERNATIONAL JOURNAL OF COMPUTER VISION, 2004, 60 (02) :91-110

[6]

Sparse representations for facial expressions recognition via l1 optimization. Zafeiriou S,Petrou M. Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition . 2010

[7]

Context Encoders:Feature Learning by Inpainting. Pathak,D,Krahenbuhl,P,Donahue,J,Darrell,T,Efros,A.A. 2016 IEEE Conference on Computer Vision and Pattern Rec-ognition（CVPR） . 2016

← 1 →