您所在的位置:主页 > 资讯中心 > 今日资讯 > 世界权威评测冠军:百度人脸检测算法PyramidBox

世界权威评测冠军:百度人脸检测算法PyramidBox

更新:2018-04-01    编辑:小编    来源:谷普下载站    人气:加载中...    字号:|
近日,百度凭借全新的人脸检测深度学习算法 PyramidBox,在世界最权威的人脸检测公开评测集 WIDER FACE 的「Easy」、「Medium」和「Hard」三项评测子集中均荣膺榜首,刷新业内最好成绩。本文将通过论文简要介绍这一算法背后的技术。
1 引言
人脸检测是各种人脸应用中的一项基础任务。Viola - Jones [1] 的开创性研究利用具有类哈尔特征的 AdaBoost 算法来训练级联的人脸与非人脸分类器。此后不断有人进行深入研究 [ 2,3,4,5,6,7 ] 来改良级联检测器。之后,[ 8,9,10 ] 通过对可变形面部关系的建模,将可变形部件模型 ( DPM ) 引入到人脸检测任务中。这些方式主要是基于设计的特征,这些特征不具有很好的可表示性,而且是通过火离的步骤训练出的。
近年来,卷积神经网络 ( CNN ) 取得了宏大突破,基于 CNN 的现代目标检测技术在人脸检测方面取得了很大进展,包含 R - CNN [ 11、12、13、14]、SSD [15]、YOLO [16]、FocalLoss [17] 及其延伸产物。得益于强大的深度学习方式和端到端的优化,基于 CNN 的人脸检测器性能显著增强,为以后的方式划定了一个新的基线。
当下基于 anchor 的检测框架旨在检测不受控制的环境中的非常规面部,例如 WIDER FACE[ 18 ]。SSH [ 19 ] 和 S3FD [ 20 ] 开发了尺度不变网络,以在单个神经网络中检测来自不同层的尺度各异的人脸。人脸 R - FCN [ 21 ] 利用地位敏感的平均池,对分数图上嵌入的响应进行重新加权,并消除人脸每个部位中非均匀分布的影响。FAN [ 22 ] 提出 anchor 级别的注意机制,通过突出面部区域的特征来检测被遮挡的面部。
虽然这些工作为设计 anchor 和相关网络来检测不同尺度的人脸提供了一种有效的方式,但如何利用语境信息进行人脸检测还没有引起足够的重视,这一问题应该在非常规人脸检测中借助重要作用。显然,人脸从不单独出现在现实世界中,肩部或身体通常也一起出现,它们提供了可兹利用的丰盛的语境关联资源,尤其是在辨别率低、模糊和外部遮挡导致面部纹理不可区分的情况下。针对这一问题,我们提出了一种新的语境帮助网络框架,以充分利用语境信号,具体步骤如下:
首先,网络不仅要能学习人脸特征,还要能学习头部和身体等语境部分的特征。为了实现这一目标,我们需要额外的标签,并设计与之匹配的 anchor。在本任务中,我们使用半监督解决方案来生成与面部相关的语境部分的近似标签,并且发现了一系列名为 PyramidAnchors 的 anchor,以便将其添加到基于 anchor 的一般架构中。
其次,高层次的语境特征应与低层次的语境特征充分结合。常规人脸和非常规人脸的外观可能存在很大差别,这意味着并非所有高等语义特征都有助于识别较小的人脸。我们研究了 Feature Pyramid Networks( FPN ) [ 23 ] 的性能,并将其修改为较低级别的 Feature Pyramid Network( LFPN ),以将对彼此有辅助的特征连接在一起。
第三,预测分支网络应充分利用联合特征。为了将目标人脸周围的语境信息与更广更深的网络相结合,我们引入了语境敏感预测模块 ( CPM )。同时,为了进一步提高分类网络的性能,我们提出了一种可以预测模块的最大输入输出层。
此外,我们还提出了一种名为「数据-anchor-抽样」的训练策略,对训练数据集的分布进行调整。为了学习更具代表性的特征,非常规人脸样本的多样性非常重要,可以通过跨样本的数据扩充来获得。
为表述清晰,本研究可以概括为以下五点:
1. 本文提出了一种基于 anchor 的语境帮助方式,即 PyramidAnchors,从而引入有监督的信息来学习较小的、模糊的和部分遮挡的人脸的语境特征。
2. 我们设计了低层次特征金字塔网络 ( LFPN ) 来更好地融合语境特征和面部特征。同时,该方式可以在单次拍摄中较好地处理不同尺度的人脸。
3. 我们提出了一种语境敏感的预测模型,该模型由混合网络结构和最大输入输出层组成,从融合特征中学习准确的定位和分类;
4. 我们提出了可以感知尺度的数据-anchor-抽样策略,改变训练样本的分布,重点关注较小的人脸。
5. 在通用人脸检测基准 FDDB 和 WIDER FACE 上,我们达到了当前最佳水平。
3 PyramidBox
3.1 网络架构
基于 anchor 的拥有庞杂 anchor 设计的目标检测框架已被证明在不同层级的特征图上执行预测时,可以有效地处理可变尺度的人脸。同时,FPN 结构表明将高层级特征和低层级特征融合能带来很大的优势。PyramidBox(图 1)的架构使用了于 S3FD[20] 相同的扩展 VGG16 主干架构和 anchor 尺度设计,可以生成不同层级的特征图和等比例的 anchor。低层级 FPN 被添加到这个主干架构上,并且使用一个语境敏感的预测模块作为每个 Pyramid 检测层的分支网络来获得最终的输出。该方式的关键在于我们设计了一种新型的 Pyramid anchor 方式,它可以在不同层级为每一张人脸生成一系列的 anchor。架构中每个组件的细节如下:
Scale-equitable 的主干网络层。我们使用了 S3FD 中的基本层和额外卷积层作为我们的主干网络层,其中保存了 VGG16 中的 conv 1_1 层到 pool 5 层,然后将 fc 6 层和 fc 7 层转换为 conv fc 层,再添加更多的卷积层使其变得更深。
低层级特征金字塔层。为了提高人脸检测器处理不同尺度的人脸的能力,高辨别率的低层级特征扮演着关键角色。因此,很多当前最佳的研究 [25,20,22,19] 在相同的框架内构建了不同的结构来检测可变尺寸的人脸,其中高层级特征被用于检测尺寸较大的人脸,而低层级特征被用于检测尺寸较小的人脸。为了将高层级特征整合到高辨别率的低层级特征上,FPN[23] 提出了一种自顶向下的架构来利用所有尺度的高层级语义特征图。最近的研究表明,FPN 类型的框架在目标检测和人脸检测上都得到了相当不错的性能。
通过从中间层开始自上而下的结构,我们构建了低层级的特征金字塔网络 (LFPN),其感受野接近于输入尺寸而不是顶层的一半。此外,每个 LFPN 块的结构和 FPN [23] 一样,更多信息详见图 2(a)。

世界权威评测冠军:百度人脸检测算法PyramidBox



图 1:PyramidBox 架构。它包括 Scale-equitable 主层、低层级特征金字塔层 (LFPN)、语境敏感的预测层和 PyramidBox 损失层。

世界权威评测冠军:百度人脸检测算法PyramidBox



图 2:(a) 特征金字塔网络。(b) 语境敏感的预测模块。(c)PyramidBox 损失。
4 实验

世界权威评测冠军:百度人脸检测算法PyramidBox



表 1:从不同层开始的 LFPN 的表现。

世界权威评测冠军:百度人脸检测算法PyramidBox



表 2:PyramidAnchors 的参数。

世界权威评测冠军:百度人脸检测算法PyramidBox



表 3:语境敏感的预测模块。

世界权威评测冠军:百度人脸检测算法PyramidBox



表 4:PyramidBox 在 WIDER FACE 验证子集上的对照结果。
论文:PyramidBox: A Context-assisted Single Shot Face Detector

世界权威评测冠军:百度人脸检测算法PyramidBox



论文链接:https://arxiv.org/pdf/1803.07737.pdf
人脸检测研究从多年前就已开始,然而,在不受控制的环境中检测小的、模糊的及部分遮挡的人脸仍旧是一个有待解决的难题。针对辣手的人脸检测问题,本文提出了一种语境帮助的单次人脸检测新方式——PyramidBox。考虑到语境的重要性,我们从以下三个方面改良语境信息的利用。首先,我们设计了一种全新的语境 anchor,通过半监督的方式来监督高层级语境特征学习,我们称之为 PyramidAnchors。其次,我们提出了一种低层次级特征金字塔网络,将充分的高层级语境语义特征和低层级面部特征结合在一起,使 PyramidBox 能够一次性预测所有尺寸的人脸。再次,我们引入了语境敏感结构,扩大预测网络的容量,以提高最终的输出准确率。此外,我们还采用「数据-anchor-采样」的方式对不同尺寸的训练样本进行扩充,增加了较小人脸训练数据的多样性。PyramidBox 充分利用了语境的价值,在两个常用人脸检测基准——FDDB 和 WIDER FACE 上表现非凡,取得当前最优水平。
作者:机器之心
本文链接:http://www.gpxz.com/zixun/jinri/1108449.html