您正在使用IE低版浏览器，为了您的雷锋网账号安全和更好的产品体验，强烈建议使用更快更安全的浏览器
发私信给雪莉o休斯敦
导语：检测人脸特征然后贴一个新鼻子上去并不难
同步到新浪微博
当月热门文章
为了您的账户安全，请
您的邮箱还未验证,完成可获20积分哟！
您的账号已经绑定，现在您可以以方便用邮箱登录
请填写申请人资料满岭又枫红，白桦立窗头，满地翻黄银杏叶，凉风起，秋意浓。不冷不热的气温，不灼热略温暖的太阳，这样秋高气爽的季节，待在家里岂不是浪费青春年华大好时光，要想感受分明的四季，那就去赏秋天该有的且独特的景吧！
在此可输入您对该资料的评论~
(window.slotbydup = window.slotbydup || []).push({
id: '4540180',
container: s,
size: '250,200',
display: 'inlay-fix'
热门资料排行
添加成功至
资料评价：
所需积分：0如何用深度学习识别网络欺诈?
| 关注黑客与极客
如何用深度学习识别网络欺诈?
共451805人围观
，发现 15 个不明物体
欺诈广告背景介绍
在这个资讯变化快速的时代，人手一台智慧型手机是非常普遍的情形，其中又以 Android 手机较常见，但你是否曾经注意过你手机中真的安装了什么移动 APP 应用程序吗 ? 你如何确定你的手机是否中毒以及是否需要安装什么应用程序？另一方面，你所任职的公司产品行销推广的如何呢？你是否觉得你的广告行销预算其实花得并不手软，但是理想中的流量以及产品安装和曝光量是否却总是没达到目标呢？如同市场营销大师 John Wanamaker 所说：Half the money I spend on adve the trouble is, I don’t know which half.
那么，当你使用手机上网时，是否有曾被告知中毒，还被迫下载了你不知道你是否需要的 App？这种当你使用手机正常浏览网页时，遇到以「你的手机中毒了」、「你的手机需要更新」等内容(如图1)，意图使你下载你可能根本不需要的App，这就是所谓的欺诈广告(Deceptive Advertising)；这些恐吓性内容往往伴随着手机不断震动、响铃，即便重新整理网页或是回到上一页仍无法停止这些问题，让你感到慌张，最后只能下载这些你当时不需要的App并让你以为它能帮你解决了问题，却又发现一切貌似正常，而对该App 造成反感；广告主大量广告预算更因此被销耗掉，连带导致品牌声誉下滑。由于欺诈广告呈现方式日新月异，会随着国家、时区、语言而有不同的样貌，防不胜防。
其中，最常见的应用场景多是使用者浏览色情网站或是至免费空间下载软体点击了充满诱惑性的广告而出现伪装「系统中毒」的这种「广告手法」警示广告页面，接着再进一步跳转至应用市场；但是其实手机根本没有中毒！这种灾害正快速的遍布全球，占了所有广告的 21%
这种情况追根究底是因为部分网路广告联盟为了消耗其广告、点击率或者安装率等流量，而想出的恶质广告手法，除了增加使用者的困扰，更是浪费广告主的大量广告预算，还造成使用者对于该品牌声誉有不良的观感。另外，因为目前常见的伪装恐吓场景，主要的受害厂商为工具类或者防毒软体类App；根据统计，目前受此广告手法影响最大的国家分别是美国、巴西、台湾及德国等国家；而受害最深的APP 则是360 Security、UC Browser、SuperB Cleaner 等。
深度学习简介
2016年03月，Google Deep Mind 团队研发Alpha Go [1] 并且挑战南韩知名职业围棋棋士成功取得四胜一败，刹那间，深度学习演算法、机器学习以及人工智慧获得大量的观注；因此，基于其对于图像辨识的强大效果[2, 3]，我们首开先例尝试使用了深度学习来对抗这会因时区、语系等不同而造成远比过去钓鱼网站生命周期短的欺诈广告威胁，并经过实验获得了近90% 的侦测率；以下将简要说明深度学习、类神经网路以及卷积类神经网路，以及我们如何构思对抗欺诈广告这方面的创新应用。
类神经网路(Neural Network) 是一种模仿人类大脑构造设计用于识别模式的演算法，通过机器感知解释传感器数据，对原始输入进行标记或聚类，而所能识别的模式是包含在向量中的数值形式；它的优点在于权值共享网路结构，降低了网路模型的复杂度，减少了权值数量(就是把多项参数浓缩成很少参数的概念，然后再一层一层的分析，使得影象可直接作为网路的输入，避免了传统演算法中复杂的特征提取和资料重建的过程。
卷积类神经网路 (Convolutional Neural Network, CNN) 则是由一个或多个卷积层和顶端的全连通层组成，同时包括关联权重和池化层 (pooling layer)。而中间的隐藏层是用来增加神经元的复杂度，以便让它能够模拟更复杂的函数转换结构。此外，利用空间关系减少需要学习的参数数目，影像的一小部分作为层级结构的最底层输入，资讯再依次传输到不同的层，每层通过一个数字滤波器去获得观测资料的最显著特征；此外，若每个神经元都用同一个卷积核去卷积影象，参数可大量减少，不管隐层的神经元个数有多少，两层间的连线只有少量参数，公用同个卷积核；这就是权值共享。
文字探勘(Text Mining) 被视为是资料探勘(Data Mining) 的一种，关键差别在于资料探勘处理的资料是有结构性及有其明确的定义及值等，不同的地方在于其原始输入资料，都是没有特定结构的纯文字，无法直接套用资料探勘的演算法；但透过统计等方式可计算出依词频TF (Term Frequency) 次数、文件集合中出现的文件频率DF (Document Frequency)，以及反向文件频率IDF
(Inverse Document Frequency) 等。但为了避免词频TF计算的频率，发生特定词只出现在特定文件，造成频率都相同而无法判断其权重，故衍生出TF-IDF (Term Frequency- Document Frequency)；借此来过滤掉常见词语保留重要词语；此外，依循文字探勘的功能，可以处理关键字、文章的相似度确认以及处理多份文章的相似度等，可以将把每个文件做为一整串的索引(Index Term)，每个词都有权重，不同的索引词根据自己在文件中的权重进而影响文件相关性的评分计算，看做一个n维向量证明该文件中向量集合，并转化为索引词及权重所组成的向量空间模型。
深度学习(Deep Learning) 是机器学习的一种分支，最简单的定义，就是大量的训练样本配合计算能力再加上自由灵活的神经网路结构设计；它试图使用包含复杂结构或由多重非线性变换构成的多个处理层对资料进行高层抽象的演算法；传统机器学习系统主要使用由一个输入层和一个输出层组成的浅层网路，至多在两层之间添加一个隐藏层。三层以上（包括输入和输出层在内）的系统就可以称为“深度”学习。以输入一幅图像来说，可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从例项中学习任务(例如，人脸识别或面部表情识别)；深度学习主要是将非监督式或半监督式的特征学习和分层特征提取的手工取得特征使用演算法替代。
本系统的创新点在于目前尚未有对抗其变化快速且生命周期短的欺诈广告较好且能有效缩减人工所需耗费的资源；因此应用目前最受关注的深度学习及卷积类神经网路演算法于网路安全技术领域，是解决传统机器学习依赖安全领域专家人工预先提取特征码黑白名单的最好方式。
本系统主要是透过深度学习的卷积类神经网路演算法，提出一种欺诈广告网页的图像及文字语意分析系统；系统构如图9所示，首先我们搜集了大量广告网址，并透过虚拟专属主机(VPS, Virtual Private Server) 来模拟还原其页面以便更加贴近使用者所见到的场景，针对弹现广告的网页的图形进行自动化截取，并取用其中小范围进行逐层过滤，透过大量的数据来进行深度学习及其自动提取其特征，不再需要像过去一样透过人工先找出特征给类神经网路学习，逐一修正权重让整体的错误率降到最低，而是透过卷积网路结构，可以自己从数据中找出特征，而且卷积层越多，能够辨识的特征就越高阶越抽象；不再需要自己找出任何特征注记，只要把大量的图形交给卷积类神经网路，它自己会找出其抽象定义。此外，本系统亦搜集截取广告页面之文字，将其转化为图形向量再藉由卷积类神经网路进行特征的自动提取以及训练；借此可完全简化传统特征码或文字及语意分析等所需耗费的大量人力，对抗因时区及语系等而快速产生不同欺诈内容广告特别有效。
有鉴于欲依循我们的方法从头训练其深度学习模型，需日积月累的透过GPU等运算资源及相关的欺诈广告截图及其文字等大量数据来训练模型；为避免事倍功半，本文除了说明相关实验结果及系统概念的展示外，将简要说明如何以迁移学习(transfer learning) 的方法使用Google 于2015 年底发布的Tensorflow 以及其Inception-V3 的模型来快速训练适合自己的模型；同时，我们也将公开已训练及分类完成的资料无偿分享于业界伙伴及学术研究，期许共同努力对抗欺诈广告并加强提升移动互联网的安全。
本文是采用CentOS 6.7 64 bit，所以需先启用EPEL 软件库，再下载安装docker，然后设定其网路桥接，接着下载Tensorflow的Docker image，同时可考虑安装IRMA 以及ElasticSearch等；另外，使用python爬虫来自动化爬取网址并进行图文截取做模型的训练以及特征的自动提取。
以下说明快速建置系统需准备之相关工具套件：
·&Docker:
·&TensorFlow:
·&Inception-V3:
·&Word2Vec:
·&ElasticSearch & Kibana:
EPEL 启用及 Docker 安装
2. rpm -ivh epel-release-6-8.noarch.rpm
3. sudo yum install docker-io
4. sudo service docker start
5. sudo chkconfig docker on
设定 docker 网路桥接
1. service docker stop (把 docker 停用)
2. ip link set dev docker0 down (把 docker0这个 bridge关掉)
3. brctl delbr docker0 (把 docker0 这个 bridge 刪掉)
4. ip link set dev br0 up (把你建的 bridge 啟用)
5. ip addr show br0 (检查)
6. echo ‘DOCKER_OPTS=”-b=br0″‘ && /etc/default/docker (写入设定档)
7. service docker start (启用你的 docker)
使用python 对网页进行图文截取
1. pip install selenium
2. from selenium import webdriver
3. driver = webdriver.Chrome(‘chromedriver’, chrome_options=opts)
4. driver.set_window_size(400, 700)
5. driver.set_page_load_timeout(15)
6. fo = open(outdir + ‘/source.txt’, ‘w’)
7. fo.write(driver.page_source)
8. fo.close()
9. fo = open(outdir + ‘/wording.txt’, ‘w’)
10. fo.write(driver.find_element_by_tag_name(‘body’).text)
11. fo.close()
12. driver.save_screenshot(outdir + ‘/screen.png’)
TensorFlow 下载安装设定
1. docker run -it -v /TF/:/TF/ –name deep b.gcr.io/tensorflow/tensorflow:0.7.1-devel
2. 整理预分类的各种类图片，并各自建立一个资料夹
3. bazel build -c opt –copt=-mavx tensorflow/examples/image_retraining:retrain
4. bazel-bin/tensorflow/examples/image_retraining/retrain \ –bottleneck_dir=/tf_files/bottlenecks \ –model_dir=/tf_files/inception \ –output_graph=/tf_files/retrained_graph.pb \ –output_labels=/tf_files/retrained_labels.txt \ –image_dir
/tf_files/tf_photos
5. bazel build tensorflow/examples/label_image:label_image && \ bazel-bin/tensorflow/examples/label_image/label_image \ –graph=/tf_files/retrained_graph.pb \ –labels=/tf_files/retrained_labels.txt \ –output_layer=final_result
\ –image=/tf_files/tf_photos/tf1/000.jpg
透过深度学习的卷积类神经网路演算法，我们总计自动爬取前处理了Deceptive, Benign, Sex, Fail及None等5类各约2000张截图，及各国语系词句约5000 笔，再根据Tensorflow 的GPU记忆体做参数微调来进行训练；在验证过程中，即使模型数据未含其截图或文字，仍能依图7及图8概念计算识别出相似度。
综合前面所述，本文亦已将整个分析过程使用 IRMA 与ElasticSearch 以及 Kibana介接做为内部鉴识平台。并将开放API供业界伙伴及学术研究单位申请，持续为移动互联网安全贡献心力，提供更安全的环境给使用者；详如下图网址。
[1] D. Silver, A. Huang, C. J. Maddison, A. Guez, L. Sifre, G. van den Driessche, et al., “Mastering the game of Go with deep neural networks and tree search,” Nature, vol. 529, pp. 484-489, 2016.
[2] A. Karpathy and F.-F. Li, “Deep visual-semantic alignments for generating image descriptions,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015.
[3] O. Vinyals, A. Toshev, S. Bengio, and D. Erhan, “Show and tell: A neural image caption generator,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015.
*本文作者：猎豹移动威胁情报中心（企业账号），转载请注明来自FreeBuf黑客与极客（）&
“目前受此广告手法影响最大的国家分别是美国、巴西、台湾及德国等国家”台湾什么时候不是中国的了？
。。说到台湾是个国家，就觉得没有意义了。。
燕儿那个飞
不学还不能装嘛
_WideAwaken
学霸娇[哆啦A梦吃惊]
恩 写的 不错
还是 很不错的 团队
必须您当前尚未登录。
必须（保密）
专注用“大数据+机器学习”解决安全问题
关注我们 分享每日精选文章文章快速检索
马晓, 张番栋, 封举富. 基于深度学习特征的稀疏表示的人脸识别方法[J]. 智能系统学报, ): 279-286
MA Xiao, ZHANG Fandong, FENG Jufu. Sparse representation via deep learning features based face recognition method[J]. CAAI Transactions on Intelligent Systems, ): 279-286.
基于深度学习特征的稀疏表示的人脸识别方法
马晓1,2, 张番栋1,2, 封举富1,2
1. 北京大学 信息科学技术学院, 北京 100871;2. 北京大学 机器感知与智能教育部重点实验室, 北京 100871
基金项目: 国家自然科学基金项目();国家重点基础研究发展计划().&&&&
作者简介: 马晓,男,1990年生,博士研究生,主要研究方向为机器学习、模式识别和子空间理论。张番栋,男,1991年生,博士研究生,主要研究方向为机器学习和生物特征识别。封举富,男,1967年生,教授,博士生导师,博士,主要研究方向为图像处理、模式识别、机器学习和生物特征识别。主持参与国家自然科学基金、教育部新世纪优秀人才支持计划、“十一五”国家科技支撑计划课题、973计划等多项项目。曾获中国高校科技二等奖等多项奖励。
通信作者: 马晓.E-mail:maxiao2012@.
摘要: 本文针对传统的基于稀疏表示的人脸识别方法在小样本情况下对类内变化鲁棒性不强的问题,从特征的层面入手,提出了基于深度学习特征的稀疏表示的人脸识别方法。本方法首先利用深度卷积神经网络提取对类内变化不敏感的人脸特征,然后通过稀疏表示对所得人脸特征进行表达分类。本文通过实验,说明了深度学习得到的特征也具有一定的子空间特性,符合基于稀疏表示的人脸识别方法对于子空间的假设条件。实验证明,基于深度学习特征的稀疏表示的人脸识别方法具有较好的识别准确度,对类内变化具有很好的鲁棒性,特别在小样本问题中具有尤为突出的优势。
机器学习&&&&
生物特征识别&&&&
深度学习&&&&
特征学习&&&&
子空间&&&&
小样本&&&&
稀疏表示&&&&
人脸识别&&&&
Sparse representation via deep learning features based face recognition method
MA Xiao1,2, ZHANG Fandong1,2, FENG Jufu1,2 &&&&
1. School of Electronics Engineering and Computer Science, Peking University, Beijing 100871, China;2. Key Laboratory of Machine Perception (Ministry of Education) Department of Machine Intelligence, Peking University, Beijing 100871, China
Abstract: Focusing on the problems that the traditional sparse representation based face recognition methods are not quite robust to intra-class variations, a novel Sparse Representation via Deep Learning Features based Classification (SRDLFC) method is proposed in this paper, employing a deep convolutional neural network to extract facial features and a sparse representation based framework to make classification. Experimental results in this paper also verifies the features extracted from deep convolutional network do satisfy the linear subspace assumption. The proposed SRDLFC proves to be quite effective and be robust to intra-class variations especially for under-sampled face recognition problems.
Key words:
machine learning&&&&
biometric recognition&&&&
deep learning&&&&
feature learning&&&&
subspace&&&&
under-sampled recognition&&&&
sparse representation&&&&
face recognition&&&&
人脸识别是作为一项重要的生物识别技术，在公安刑侦、企业管理、自助服务及互联网金融方面都取得了广泛的应用。实际的人脸识别系统多遇到的是小样本的人脸识别问题，即在识别中可以采集到的每个人的人脸样本相对较少，而且采集环境通常是在不可控的自然环境下进行的，人脸样本常常含有诸如光照、姿态、遮挡、表情、噪声等类内变化。如何在含有较大干扰的小样本人脸识别问题中取得鲁棒的识别结果，便成了当前许多人脸识别方面的研究工作所关心的问题。受稀疏编码
[]和子空间方法[, ]的启发，John Wright等[]提出了基于稀疏表示的分类方法，在含遮挡、噪声、光照的复杂环境下的人脸识别问题中取得了较好的效果。在John Wright工作的基础上，一系列基于稀疏表示的分类方法的研究取得了一定的进展，具有代表性的包括关于稀疏表示中字典学习的研究工作[, , ]，稀疏表示的快速优化策略[, , ]，和关于添加对表示系数的不同约束的工作[, , ]。其中，Lei Zhang[]指出了在基于稀疏表示的分类方法中协同性机制的地位，并提出了使用更松弛的二范数来约束训练字典表示系数的协同表示的分类方法。为了解决小样本情况下单类训练集字典对类内变化表达不充分的问题，文献[, , , ]创造性地将补偿字典引入了基于稀疏表示的人脸识别的方法中，在小样本的人脸识别问题中取得了一定的突破，但依然不能彻底分离训练集字典中类内变化产生的干扰。
传统的基于稀疏表示的方法本质上依然基于样本的灰度特征，利用稀疏线性表达来实现对类内变化分量的分离。但对于实际问题，类内变化相对比较复杂，如姿态、表情、复杂的光照，简单依靠线性表达很难将其分离出来。特别对于训练集字典极欠完备的小样本问题，凭借有限的训练样本更难实现这一目标。为了解决这一问题，本文将人脸的灰度特征通过深度神经网络非线性映射到一个特征线性子空间内，这一映射保留了样本分类相关的主要信息，去除了类内变化信息的干扰，使得映射后的特征对类内变化具有不变性且更有可区分性。然后，将该特征利用基于稀疏表示的分类方法进行表达和识别。实验证明，本文方法在具有较大类内变化的小样本问题上效果尤其突出，且对于姿态、表情这类非线性叠加的类内变化具有更好的鲁棒性。
本文提出了基于深度学习特征的稀疏表示的人脸识别方法，将深度学习特征与稀疏表示相互结合，充分发挥了深度学习在特征学习方面的优点和稀疏表示在小样本识别上的优点。通过实验，在一定程度上说明了深度学习所得的特征具有线性子空间特性，并对深度学习所得特征进行了较为系统的分析。
1 相关工作
1.1 基于稀疏表示的人脸识别方法
基于稀疏表示的分类方法(sparse representation based classification,SRC)[] 假设人脸图像位于线性子空间中，测试样本可以为所有类的训练样本(字典)协同线性表达，而测试样本所属类别的字典可以表示得更加稀疏(用较少的字典可以达到更好的重构)。在对表示系数增加稀疏性的约束后，求解所得的稀疏表示系数中非零项应主要为测试样本所属类别字典的对应项，因此便可以根据哪类字典可以取得对测试样本更小的重构误差来进行分类，这便是SRC的工作原理。各步骤公式如下：
SRC表示过程：
$\hat \alpha
= \arg \mathop {\min }\limits_\alpha
\left\| {y - X\alpha } \right\|_2^2 + \lambda {\left\| \alpha
\right\|_1}$
SRC分类过程：
${\rm{identity}} = \arg \mathop {\min }\limits_i \left\| {y - {X_i}{{\hat \alpha }_i}} \right\|_2^2$
式中：X=X1,X2,…,XI,…,XC为训练样本(字典)；Xi为第i类训练样本(字典)i=1,2,…,C，其每一列对应该类的一个样本；y为测试样本；α={α1,α2,…,αi,…,αC}为协同表示时各类对应的表示系数。
基于稀疏表示的分类方法能够有效利用人脸图像的子空间特性，不需要大量样本进行分类器的学习，对噪声具有较好的鲁棒性。
基于稀疏表示的识别方法假设每类训练样本(字典)都必须是完备的，每类训练样本(字典)都有足够的表达能力。这一假设在具有较大干扰(如光照、姿态、遮挡等)的小样本问题中一般是不成立的。在小样本且具有较大干扰的人脸识别问题中，测试图片常常会被错分为具有相似类内变化的字典的类中，而不是具有相同外貌变化的类中。为了消除小样本情况下类内变化的干扰，文献[, , , ]创造性地将补偿字典引入了基于稀疏表示的人脸识别的方法中，在小样本的人脸识别问题中取得了一定的突破，但依然不能彻底分离训练集字典中类内变化。
1.2 较大类内变化干扰下的小样本人脸识别问题
为了更好地分析子空间方法中类内变化带来的影响，Tang等[]提出了统一子空间的理论概念。统一子空间理论认为人脸图像由原型成分、类内变化成分和噪声成分线性组合而成。如式(3)和图 1所示。
+ v + \varepsilon $
图 1 统一人脸子空间示意Fig. 1 The unified face subspace
式中：μ为与人脸相貌相关的原型成分，ν为与人脸图像的类内变化成分(如光照、姿态、遮挡等)，ε为噪声成分。在人脸识别中需要尽可能地将与分类无关的成分μ和ε与分类相关的成分μ分离开来。但通常，μ、ν和ε 3个成分之间具有较强的相关性，很难通过线性表示(即便是稀疏线性表示)将其有效地分离开来，或者将v和ε有效地去除掉。以人脸的姿态变化为例，同类人脸在不同姿态下的类内差与不同人脸在统一姿态下的类内差十分接近(均在外貌轮廓处有较大的响应)，很难通过有限的样本和稀疏线性表示去除姿态对人脸图像的影响。且这一问题，在小样本的人脸图像识别的问题中，变得更加棘手。
本文将人脸样本从灰度空间投影到特征空间，然后在特征空间使用基于稀疏表示的分类方法进行识别。对于投影后的特征，需要满足如下2个条件：1)投影后的特征需要满足线性子空间特性，这样才能符合基于稀疏表示的分类方法的基本前提；
2)投影后的特征对类内变化不敏感，或者消除了类内变化。为了有效解决小样本问题，我们同时期望特征的学习可以通过外部数据来完成，然后迁移到小样本的数据集上来。换句话说，也就要求所学得的特征具有一定的可迁移性。
传统的特征如HOG、SIFT、LBP等不能很好地保证人脸图像中的类内变化可以被有效地去除，特别对于诸如姿态、遮挡、表情等这类比较复杂的类内变化，同时变化后的特征一般不具有子空间特性，很难适用于基于稀疏表示的分类方法，使之发挥更大的效能。
1.3 深度卷积神经网络
深度卷积神经网络(deep convolutional neural network,DCNN)是一种有监督的深度学习模型，已成为当前语音分析和图像识别领域的研究热点。 Lecun等早在1998年就提出了经典的LeNet网络[]，Hinton等使用的大规模深度CNN[]在Imagenet这样1 000类的分类问题上取得了非常好的结果。文献[, , , ]利用CNN网络在人脸识别领域取得了较大的突破，成为目前工业界和学术界的主流算法。卷积网络的核心思想是局部感受野、权值共享(或者权值复制)以及时间或空间亚采样。CNN通常使用最后一层全连接隐层的值作为对输入样本所提取的特征，通过外部数据进行的有监督学习，CNN可以保证所得的特征具有较好的对类内变化的不变性。
为了更有效地解决复杂类内变化条件下的小样本人脸识别问题，本文结合近年来被深入研究和广泛应用到各类视觉问题的深度卷积网络，使用深度学习的方法来提取特征，然后与基于稀疏表示的方法相结合。使用深度学习得到的特征被诸多实验证明具有较好的可分性和迁移性，并对类内变化具有较好的鲁棒性。但其是否具有子空间特性这一问题却很少被人关注。本文利用实验的方式，在一定程度上证明了深度学习所得的人脸特征具有较好的子空间特性，而且具有可迁移性和对类内变化的不变性。
2 基于深度学习特征的稀疏表示的人脸识别方法
本文结合基于深度学习的特征提取方法和基于稀疏表示的人脸识别方法，提出了兼顾二者所长的基于深度学习特征的稀疏表示的人脸识别方法(sparse representation via deep learning features based classification,SRDLFC) 。SRDLFC对于含较大类内变化的小样本人脸识别问题具有较大的优势。
2.1 SRDLFC整体流程
SRDLFC方法包括网络学习和样本识别两个过程，样本识别过程包括特征提取和稀疏分类两个环节，其中特征提取所用的CNN网络需要通过外部数据进行有监督的学习和训练。整体流程如图 2。
图 2 SRDLFC方法流程图Fig. 2 The process of SRDLFC method
基于深度学习特征的稀疏表示的人脸识别方法(SRDLFC)如下。
1)网络学习过程：
①利用外部数据学习特征提取的CNN网络f(y).
②对于训练集样本X=X1,X2,…,XI,…,XC，经映射Xi′=f(Xi)，得到特征空间的训练集字典X′={X1′,X2′,…,Xi′,…,X
2)样本识别过程：
①对于测试样本y，通过特征提取网络提取深度学习特征y′=f(y)。
②对y′用特征空间的训练集字典X′进行稀疏表示，得表示系数α′:
$\hat \alpha ' = \mathop {\arg \min }\limits_{\alpha '} \left\| {y' - X'\alpha '} \right\| + \lambda {\left\| {\alpha '} \right\|_1}$
③通过训练集字典对测试样本的表示残差进行分类:
${\rm{identity}} = \mathop {\arg \min }\limits_i \left\| {y' - {{X'}_i}{{\hat \alpha '}_i}} \right\|_2^2$
2.2 基于深度学习的特征提取方法
SRDLFC方法的特征提取过程是通过深度卷积神经网络完成的，本文所用的CNN网络结构如图 3所示。
图 3 SRDLFC特征提取网络结构Fig. 3 The structure of SRDLFC's feature extraction network
网络各层具体参数如表 1所示。
SRDLFC特征提取网络具体结构Table 1 The structure of SRDLFC's feature extraction network
Input输入层200×200大小的人脸灰度图像Cov1卷积层64个9×9卷积核 步据为2个像素
MP1最大值池化层5×5大小的范围 步据为1个像素
Cov2卷积层128个2×2卷积核 步据为2个像素
Cov3,4,5卷积层128个2×2卷积核 步据为1个像素
MP2最大值池化层2×2大小的范围 步据为1个像素
Cov6卷积层256个2×2卷积核 步据为2个像素
Cov7,8,9卷积层256个2×2卷积核 步据为1个像素
MP3最大值池化层2×2大小的范围 步据为1个像素
Cov10卷积层512个2×2卷积核 步据为2个像素
Cov11,12,13卷积层512个2×2卷积核 步据为1个像素
SPP空间金字塔池化层输出大小{6,3,2,1}
FC1全连接512维，用于做特征
SoftmaxSoftmax层7 000
该网络训练中使用的Dropout概率为50%，激活函数为Relu。
本文使用CASIA数据集[]进行训练，数据集为不受控环境下采集到的人脸图像，包含光照、遮挡、姿态。我们选用前7 000类约39万人脸图像作为数据进行有监督学习，监督学习中输出为各类的标签。图像使用DLIB开源库[]定位68个特征点，然后进行人脸对齐。我们使用FC1层作为人脸特征，使用cosine距离作为人脸特征的相似度度量，在LFW数据库上测试得到了96.75%±0.57%人脸认证准确率，充分证明网络学到的特征不仅拥有极强的判别性，而且具有良好的迁移性。
3 基于深度学习的人脸特征分析
在基于深度学习特征的稀疏表示的人脸识别方法SRDLFC中，要求特征满足线性子空间特性，且具有对类内变化的不变性、较好的迁移性和可分性。下面对SRDLFC中所提取的深度学习特征进行分析和讨论。
3.1 深度学习特征对类内变化的不变性与可区分性
SRDLFC中特征提取CNN网络的各层卷积核如图 4所示。
图 4 SRDLFC特征提取网络的第一层卷积核示意Fig. 4 The first level's convolutional
filters ofSRDLFC's
feature extraction network
从图 4可以看出，CNN底层主要提取一些与边缘、角度、轮廓相关信息，具有一定的通用性。CNN高层逐渐提取出一些图像结构的信息。
以AR数据集的人脸图像为例，将10类人脸样本的深度学习特征进行可视化，如图 5所示(每一列代表一个样本的特征，每张子图对应一类人脸)。同一类的样本，在经过多层卷积和池化后，得到的特征图是相似的，各个子图有明显的横线纹理(说明同类对应项上的特征值比较相似)，说明深度学习特征具有对类变化较好的不变性。而不同类的样本的特征图明显差异很大，这在一定程度上说明了CNN所提取的特征具有较好的可分性。
图 5 人脸图像的深度学习特征可视化图Fig. 5 The visualization deep learning face features
3.2 深度学习特征的子空间特性
SRDLFC将深度学习的特征与基于稀疏表示的人脸识别方法相结合，要求特征空间满足人脸线性子空间的假设。CNN特征提取网络实现了人脸灰度空间到深度学习特征空间的非线性映射，不一定能保证所得特征满足人脸子空间假设。为了验证这一问题，本文进行如下说明实验。
选择AR中图像作为测试样本，对特征空间中任一个人脸样本，将其用同类的特征空间内的人脸样本做稀疏线性表达，记录重构误差所占样本能量的百分比；对特征空间中任一人脸样本，将其用所有类的特征空间内的人脸样本做稀疏线性表达，记录重构误差所占样本能量的百分比。训练集字典大小为每类20项。实验统计结果如表 2所示。
表 2 深度学习特征的类内差类间差分布Table 2 The intra-class and inter-class differences of SRDLFC's features
用同类样本的灰度特征进行稀疏线性表达
用所有类样本的灰度特征进行稀疏线性表达
用同类样本的深度学习特征进行稀疏线性表达
用所有类样本的深度学习特征进行稀疏线性表达
重构误差占原样本的能量比 /%
在SRDLFC的稀疏线性表示的过程中得到的表示系数示例如图 6。
(a)示例样本1
(b)示例样本2
(c)示例样本3
(d)示例样本4
图 6 SRDLFC在稀疏表示过程中的表示系数示例Fig. 6 The represent coefficients in SRDLFC’s representation process
根据表 2和图 6，可以看到在特征空间内的人脸样本可以很好地被本来样本线性表达，满足子空间的条件。且其在被其他类样本协同线性表达过程中，表达是稀疏的，且同类样本表达更加稀疏，符合稀疏表示分类方法的适用条件。实验说明，深度学习特征具有一定的线性子空间特性。多层卷积和池化的非线性操作也有助于将人脸样本投影到一个更好的线性子空间中。在这样的线性特征子空间中，使用基于稀疏表示的分类方法进行分类识别，具有更高的鲁棒性和更好的识别效果。
4 实验结果及分析
本文选择AR和CMU PIE人脸数据库进行识别实验，对应不同类内变化环境下的人脸识别情况。
4.1 AR 人脸数据库识别实验
AR数据库包含大约100人的彩色图像(每人约50张)，含有光照、遮挡、表情的类内变化的干扰。图像使用DLLIB开源库进行人脸对齐。本文随机选择每类1~25张人脸图像作为训练集字典，其余图像做测试集，10次实验取平均值。对比方法为灰度特征+最近邻分类(Pixel+NN)、灰度特征+Bayesian方法(Pixel+Bayesian)、灰度特征+稀疏表示分类方法(Pixel+SRC)、深度学习特征+最近邻分类(DL+NN)、深度学习特征+Bayesian方法(DL +Bayesian)、深度学习特征+稀疏表示分类方法(DL +SRC，SRDLFC)。所得识别率结果如表 3和图 7所示。
AR数据库中人脸识别结果 (每类字典数1~7)Table 3 Under-sampled Face Recognition Results in AR (Training samples per class: 1~7)/%
各方法识别率1234567
Pixel+NN 7.6411.6814.9317.9220.7623.5226.37
Pixel+Bayesian15.5923.0428.5333.0036.9440.7844.12
Pixel+SRC16.3429.3939.8448.0154.4059.5864.03
DL+NN31.0241.3849.1855.1560.3064.9768.85
DL+Bayesian34.8848.2956.57
65.0070.6274.4577.89
DL+SRC41.1658.7167.7875.6880.7684.3086.26
图 7 AR数据库中人脸识别结果Fig. 7 Recognition results in AR
4.2 CMU PIE 人脸数据库识别实验
CMU-PIE数据库包含68人的41368张彩色图像(每人约50张)，含有13种姿态、43种光照、4种表情的类内变化的干扰。图像使用DLIB开源库进行人脸对齐。
本文随机选择每类1-25张人脸图像作为训练集字典，其余图像做测试集，10次实验取平均值。对比方法同4.1章节。所得识别率结果如表 4和图 8所示。
CMU PIE数据库中人脸识别结果 (每类字典数1~7)Table 4 Under-sampled Face Recognition Results in CMU PIE (Training samples per class: 1~7)/%
每类字典数1234567
Pixel+NN17.63
Pixel+Bayesian
DL+Bayesian
图 8 CMU PIE数据库中人脸识别结果Fig. 8 Recognition results in CMU PIE
通过实验可以看到，基于深度学习特征的各类方法在较大类内变化干扰的环境下均能有较大的提升，特别是本文提出的基于深度学习特征的稀疏表示的人脸识别方法，取得了较各类方法更加优越的效果。SRDLFC较传统的各类方法能够提升 6%~60%，尤其在小样本情况下更为明显，体现了稀疏表示的特征具有较好的子空间特性、可分性、可迁移性及对类内变化的不变性。而基于稀疏表示分类框架的应用，更加有助于提升深度学习特征的分类准确率，在较大类内变化的小样本的人脸识别问题中具有更大的优势。
本文针对较大类内变化干扰下的人脸识别问题，提出了基于深度学习特征稀疏表示的人脸识别方法SRDLFC。本文充分分析论证了基于深度学习所提取的人脸特征基本满足线性子空间假设，并具有较好的可分性、可迁移性及对类内变化的不变性。本文将基于深度学习的特征应用到稀疏表示的分类框架中，充分发挥两者优点，实现识别率的提升。本文提出的SRDLFC算法，可以有效地应对光照、姿态、表情、遮挡等类内变化带来的干扰，且在小样本问题中具有较大的优势。未来的研究工作将进一步对深度学习特征进行研究分析，通过改进网络结构和损失函数，使网络所得特征更加满足线性子空间约束，进一步提升SRDLFC的识别效果，并尝试做一些理论上的推导工作。满足线性子空间约束，进一步提升SRDLFC的识别效果，并尝试做一些理论上的推导工作。
汪 雨. 土壤和水中有机氯农药的分析方法研究[D].长春: 吉林农业大学, 2006.WANG Yu. Method for analysis of organochlorine pesticides in soil andwater[D].
李燕群, 张 渝, 钱 蜀, 等. 全二维气相色谱-质谱法定性分析土壤中有机氯农药、 酞酸酯和多氯联苯[J]援 分析试验室, 9-113.LI Yan-qun, ZHANG Yu, QIAN Shu, et al. Comprehensive two-dimen-sional gas chromatography-mass spectrometry qualitative analysis oforganochlorine pesticides, phthalates and polychlorinated biphenyls insoil comprehensive two-dimensional gas chromatography[J].
刘 祥, 崔 进, 佟丽丽, 等. 食品印刷包装材料中多氯联苯的气相色谱-串联质谱法测定及其基质效应探讨[J]援 分析试验室, -34.LIU Xiang, CUI Jin, TONG Li-li, et al. Determination by gas chromatog-raphy tandem mass spectrometry and discussion of matrix effects ofpolychlorinated biphenyls in food忆s printing and packaging materials[J].
李丽君, 王 娜, 王海娇, 等. 索氏提取-气质联用同时测定土壤中 7种多氯联苯[J]. 分析试验室, 2009 (S2): 4-7.LI Li-jun, WANG Na, WANG Hai-jiao, et al援 Determination of 7 poly-chlorinated biphenyls in soil through the method of soxhlet extractionand GC-MS[J].
Jaward F M, Farrar N J, Harner T, et al. Passive air sampling of PCBs,PBDEs, and organochlorine pesticides across Europe[J]..
H ayakawa K, Taka tsuki H, Watanabe I, et al. Polybrominated diphenylethers (PBDEs), polybrominated dibenzo-p-dioxins/dibenzofurans(PBDD/Fs) and monobromo -polychlorinated dibenzo -p -dioxins/dibenzofurans (MoBPXDD/Fs)in the atmosphere and bulk depositionin Kyoto, Japan[J]..
Shen L, Wania F, Lei Y D, et al. Polychlorinated biphenyls and poly-brominated diphenyl ethers in the North American atmosphere[J]..
Cleverly D, Ferrario J, Byrne C, et al. A general indication of the con-temporary background levels of PCDDs, PCDFs and coplanar PCBs inthe ambient air over rural and remote areas of the United States[J]..
姚子伟, 赵冬梅, 马新东, 等.海水中痕量有机污染物分析前处理技术研究进展[J].海洋环境科学, 2011 (3): 447-450.YAO Zi-wei, ZHAO Dong-mei, MA Xin-dong, et al.Progress in thepretreatment technique of trace organic pollutants in seawater[J].
曹 菱, 王焰新. 环境有机污染物检测的前处理技术的进展[J]. 实验技术与管理, 2009 (3): 228-230.CAO Ling, WANG Yan-xin. Progress in the pretreatment technique forthe detection of organic pollutants in the environment[J].
董 亮, 王秀琴, 张烃, 等. 环境介质中有机污染物分析前处理方法概述[J]. 现代科学仪器, 2010 (5): 120-125.DONGLiang,WANGXiu-qin, ZHANGTing, et al. Pretreatment methodof analysis of organic pollutants in environmental media[J].
李清波,骆永明援四通道色谱分析仪[P].5..LI Qing-bo, LUO Yong-ming. Four channel chromatographic separa-tion instrument[P]. 5. . (in Chinese)
Li Q B, Wang X Y, Song J, et al. Seasonal and diurnal variation in con-centrations of gaseous and particulate phase endosulfan[J]..
隋 红, 吴 鹏, 宋 静, 等援 土壤样品中低浓度滴滴涕分析方法的前处理研究[N]. 分析测试学报, 2013 (11): .SUI Hong, WU Peng, SONG Jing, et al.Study on the pretreatmentanalysis method of low concentration of DDT in soil sample[J].
Field J A, Sierra-Alvarez R. Microbial transformation and degradationof polychlorinated biphenyls review[J]..
中国人工智能学会和哈尔滨工程大学联合主办。
马晓, 张番栋, 封举富
MA Xiao, ZHANG Fandong, FENG Jufu
基于深度学习特征的稀疏表示的人脸识别方法
Sparse representation via deep learning features based face recognition method
网络出版日期: ##TuiXiuRiQi##}