实录｜旷视研究院解读COCO2017物体检测夺冠论文（附PPT）

屈鑫 整理编辑

量子位吃瓜社 出品 | 公众年夜众号 AI7gua

12月6日晚，量子位吃瓜社联合Face++论文解读系列第一期开讲，本期中旷视（Megvii）研究院解读了近期揭橥的物体检测论文：《MegDet:A Large Mini-Batch Object Detector》，基于此篇论文提出的MegDet模型，Face++摘下COCO 2017 Detection冠军。

本期主讲人为旷视研究院研究员彭超，同时也是MegDet论文第一作者、COCO 2017 Detection竞赛主力队员，在比赛中紧张卖力物体检测模型的撰写、演习和调优事情，拥有丰富的深度学习模型调优履历。

这次分享大家反应热烈，全程干货满满，量子位应读者哀求，将紧张内容整理如下：

△论文解读完全回放视频

本日我们紧张讲的内容紧张集中在Detection和Instance Segmentation上，关于COCO Keypoint比赛干系论文，会在12月13日的晚上7点半由竞赛队的owner王志成，给大家进行一个充分的讲解。

在COCO Detection比赛中，我们优先办理的是Batchsize的问题；回顾ImageNet Classification的事情，他们的Batchsize在演习过程中非常大，从起步开始就已经是128，最新的一些研究乃至达到了8000或者32K的水平，这使得人们可以在一个小时、乃至半个小时之内完成ImageNet的演习。

但在COCO Detection任务中，我们创造人们利用的BatchSize非常小。
最开始的只有2，相称于是两张卡，一张卡一张图；到后面的一些版本，BatchSize也仅有8，便是8张卡演习，一张图一张卡；最新一些研究的结果会达到16，这个结果跟Classification任务比较，连零头都不到。

这个时候，我们就有了一个疑问：为什么在物体检测中Batchsize会这么小呢？要回答这个问题，我们须要理解物体检测和图像识别的不同之处。
对付图像识别而言，算法只须要判断一张图中的紧张物体，而紧张物体所占像素比例常日较大，因此一张224x224的小图即可知足需求。
但是在物体检测里，人们每每须要检测一些风雅的小物体，这些物体所占像素比例非常小，常常不敷1%。
而现有的神经网络技能一样平常会逐步缩小特色图的尺寸，为了担保小物体在末了的特色图上霸占一定的比例，算法须要一张较大的输入图片，常日的做法是800x800。

由于输入图片尺寸的增长，图像检测所需显存量也会同比例增长，这也使得已有的深度学习框架无法演习大Batch-Size的图像检测模型。
而小Batch-Size的物体检测算法又常常会引入如下四个问题：

不稳定的梯度。
由于Batch-Size较小，每次迭代天生的梯度的变革会非常大，这会导致SGD算法在一个区域内来回震荡，不易收敛到局部最优值。

BN层统计不准确。
由于Batch-Size较小，难以知足BN层的统计需求，人们常常在演习过程中固定住BN层的参数，这意味着BN层还保持着ImageNet数据集中的设置，但别的参数却是COCO这个数据集的拟合结果。
这种模型内部的参数不匹配会影响末了的检测结果。

正负样本比例失落调。
由于Batch-Size较小，一个minibatch之中的图片变革可能非常大，很可能某些阶段正样本框只有个位数。
当Batch-Size增大的时候，由于一个minibatch内部的图片数量增加，正负样本比例会优于小Batch-Size的情形。

超长的演习韶光。
这个缘故原由非常好理解：当Batch-Size较小时，我们必须迭代更多的次数来让算法收敛；随着Batch-Size的增加，算法每次迭代见过的图片数量也随之增长，相应的迭代次数就可以低落，人们也能更快地得到结果。

基于上述四点剖析，我们该当对Batch-Size这一问题有了一个直不雅观的认识。
我们在比赛中，为理解决这个问题，特意研发了一整套多机演习系统，以实现我们大Batch-Size物体检测算法：MegDet。
由于有良好的内部支持，我们的MegDet算法可以险些无开销完成算量，产生险些线性的加速比和更优的检测结果。
下面，我将先容MegDet实现过程中的四个要点。

要实现MegDet，首先须要大量的底层支持，大致上可以分为三类：第一是一套GPU 打算云平台，这在我们内部被称为Brain++平台，专门卖力统筹方案硬件资源的利用；第二是基于Brain++平台的MegBrain软件框架，供应了诸多深度学习必备的工具箱。
第三是在前面两者之上建立的物体检测算法，在此我们基于FPN框架设计了一套检测算法。

这里，我们大略科普一下FPN检测框架。
和传统的Faster-RCNN框架不同，FPN在不同尺寸的特色图上提取RoI，以此达到分而治之的效果，即：大物体在小特色图上检测，小物体在大特色图上检测。
这种设计既能充分利用现有卷积神经网络的锥形构造，又能有效办理COCO数据集中普遍存在的小物体问题，一石二鸟。

办理了BN统计不准确的问题。
大略来讲，已有的BN统计方法局限于统计单张卡上的图片，做不到多张卡联合统计。
由于物体检测本身的特性，单张卡上的图片数量达不到BN统计的哀求，因此只能通过多卡联合统计来演习得到结果。
为此，我们利用了NCCL（NVIDIA Collective Communications Library）代码库，实现了多卡BN。
详细的算法流程可以参照上图，首先通过单卡自主统计BN的参数，再将参数发送到单张卡上进行合并，末了再把BN的结果同步到其他卡上，以进行下一步的演习。

Sublinear Memory技能。
这项技能的目的在于减少深度卷积神经网络的显存花费量，担保我们在比赛之中可以尽可能地利用大模型。
我们可以通过上图来大略地体会这项技能的浸染。
在现有演习方法中，为了打算Conv2中参数（W2, b2）的梯度，人们一样平常须要保存Conv2的输出结果；但实际上，Conv2的输出结果可以根据Conv1的结果来动态打算，这样Conv2的输出结果就不须要保存，显存花费也能进一步低落；特殊是一些非常深的神经网络，例如152层的模型，Sublinear Memory能显著降落显存的利用量，帮助我们考试测验更多的技巧。

先容一些在大Batch-Size下的学习率调参技巧。
16-batch的FPN标准学习率是0.02， 而我们的MegDet的Batch-Size是256。
在这种情形下，我们如果直接设定学习率为0.32=0.02 x 16，会导致模型早期迅速发散，无法完成演习。
因此，我们须要有一个“逐步预热”的过程，让模型逐渐适应较大的学习率。
当演习到一定阶段的时候，我们设定了三个低落阶段：在前两个阶段，我们直接将学习率除以10，末了再将学习率减半。
这种学习率的设计紧张是为了在比赛中取得极致性能，也是我们的履历所得。

至此，我们可以比较一下不同年份，物体检测的Batch-Size规模。
最初，2015年，人们利用2-batch来演习物体检测算法；过了一年之后，这个数字增长到了8倍，即16-batch；今年，在我们Megvii研究院的推动下，又增长到了256-batch，是原始Faster-RCNN的128倍，FPN的16倍。
这个数字也恰好是ImageNet常见的Batch-Size。

在MegDet的帮助之下，我们取得了COCO Detection Challenge 2017的冠军，同时也部分办理了之条件到的小Batch-Size演习的问题。

首先，根据我们的统计，在演习过程之中，正负样本比例比小Batch-Size更优，这也意味着梯度的打算能更好地拟合数据分布。
下图展示了两张正样本比例相差较大的结果，由于大Batch-Size能够同时打算这两种极度情形的梯度，使得模型参数更新更加平稳。

其次，我们通过多机BN的实现，实现了大Batch-Size下物体检测算法的性能提升。
在已有的ImageNet Classification任务中，人们研究大Batch-Size的目的是为了防止掉点；然而在物体检测任务之中，我们却惊奇地创造，大Batch-Size可以直接带来性能提升，这和已有的履历并不符合。
另一方面，通过上图的逐Epoch精度曲线，我们还创造256-batch和16-batch在同等Epoch下的精度并不能重合，乃至还有较大的间隔，这也和ImageNet Classification已有的研究结果相违背。
一个潜在的成分是物体检测的多loss打算扰乱了中间结果的检测精度，但详细研究这个征象还须要跟多的实验，这已经超出了本文的范畴。

第三点，也是我们做MegDet算法的初衷，即加快演习速率。
如图所示，基于ResNet-50网络，在16-batch的设置下， 演习一个模型须要33个小时；当我们增加Batch-Size到64的时候，11个小时就足够完成演习；末了，在256-batch的设定下，仅须要4个小时就可以顺利完成演习。
这使得我们在相同的打算力下，可以深度优先地搜索吗模型参数，而非广度优先地并行搜索模型参数，大大降落了试错韶光。

总结一些物体检测的比赛结果。

和论文中不同，我们利用了一个较好的根本网络，让我们一开始的Baseline就达到了43.0 mmAP。
然后，我们利用了MegDet中提到的所有技巧，模型的结果为45.0 mmAP。
紧接着，我们加入了Semantic Semgnetation的监督loss，以及下文将要提到的Context Module，检测结果涨到了47.0 mmAP。
此时，我们再加入了Multi-Scale演习和测试的技巧，达到了50.5 mmAP。
这个结果是我们最好的单模型结果。
末了，我们ensemble了四个基于不同根本网络演习的模型，虽然别的三个模型的结果都比50.5要差，但多个模型领悟能够有效补充不同模型之间的不敷，末了我们的点数是52.8 mmAP。

这是我们利用47.0 mmAP的模型出的检测结果图。
虽然比我们终极比赛提交的52.8的模型要弱，但在这种中等难度的场景下，已经能够很有效地检测出拥挤的物体和较远处的小物体。
这也意味着，在不考虑打算量的情形下，现有的算法已经能够很好地检测出常见物体，达到了实用需求。

先容一下Instance Segmentation上的履历。

Instance Segmentation现有的实现流程大致如下：首先用一个Detection的模型，比如我们之前的MegDet，给出一个待选框；通过这个框在特色图上扣取一块区域，并做一些Context处理；末了，通过一个精心设计的Mask来打算末了的loss。
Instance Segmentation最主要的便是如图所示的三个模块，这也是我们本次比赛着力探索的部分。

第一个部分是Pooling，也便是扣取特色图的过程。
最原始的RoIPooling比较暴力。
如左图所示，中间较小的赤色虚线框是MegDet给出的ROI，由于浮点数的影响，这个框并不能完备对齐到绿色的特色图格点上。
现有的打算逻辑是把赤色的虚线框拉伸到外围赤色虚线框，然后打算框中部分特色格点。
最近，Mask-RCNN的提出将这个“硬”过程软化成了插值流程，即打算格点附近四个点的均匀结果。
而我们提出的Precise RoI Pooling讲这个过程做了进一步细化，即利用一个积分的过程代替插值过程，使得我们可以更好地扣取ROI对应的特色图。

第二部分，是Context抽取部分，我们在COCO比赛中也利用了这个技巧来改进Detection的结果。
如图所示，在第x层，我们扣去了一个14x14的ROI，同时我们在更小的特色图x+1上也扣取了相同尺寸的ROI，并通过两者的和作为一个初始ROI。
在更大的特色图x-1上，我们扣取了更大的28x28区域，作为额外的Context，赞助分割。
值得一提的是，我们在每个特色图上都增加了右上角所示的large kernel模块，这个模块已被证明在Semantic Segmentation中拥有非常好的效果，在Instance Segmentation中它也同样有效。

第三部分，也是末了一部分，我们精心设计了Mask的天生。
在第二部扣取整合了Context之后，实际的ROI对应的GroundTruth已经发生了一定的坐标偏移，如图中赤色小三角所示。
在这种偏移下，我们不能直接用绿色格点对应的GroundTruth来打算loss（即蓝色格点）。
此时，我们的做法是把ROI Feature重新插值到蓝色格点处，以此来精确打算Instance Segmentation的Loss。

通过实践上述三种技巧，外加一些在COCO Detection中利用的技巧，我们取得了COCO Instance Segmentation第二，PLACES Instance Segmnetation第一的成绩。

图中的柱状图展示了我们在相同根本下，增加不同模块导致的模型精度增加。
可以创造，诸如Large Batch、MultiScale、Context和Ensemble的技巧是通用的，而其余两种方法则是Instance Segmnetation独享的。
值得一提的是，我们在COCO Instance Segmentation中和第一名相差只有0.3，由于韶光和资源的限定，我们只做了ensemble两个模型。
如果可以ensemble四个模型，那么我们很有希望取得更优的结果。

这张图片展示了我们比赛中的单模型结果。
可以创造，针对分割中较为困难的苗条杆状物体，我们已经能够做得比较好，基本知足了实用需求。
但同Detection任务比较，Instance Segmentation还有较多的发展空间。

末了，我们总结一下这次比赛带来的履历。

第一，我们实现了天下上第一个大Batch detctor：MegDet。
在一些列任务中，我们创造MegDet是有效的演习技巧。
第二，在做Segmentation任务重，像素点的对齐操作是一个巨大的难点，无论是扣取ROI Feature还是打算loss。
末了，演习速率非常主要，这也是我们公开MegDet方法的缘故原由。
一旦实现了MegDet，物体检测及其干系领域的发展会变得非常迅速，更好的算法可以被提出和验证。

一则招人硬广：

希望加入旷视科技一起登上CV顶峰的同学可以投简历至yugang@megvii.com，长期招聘算法演习生。
演习精良者，更有跳过口试阶段，入职Megvii研究院的机会。

处理误检有什么好办法吗？

如果是处理两类的物检问题，你实际上可以在后端再接一个比较小的分类器，来把误检的框给去掉。
但就我们的履历来说，如果是做一个多类物体检测算法，特殊是像COCO比赛这类的物体检测器，你很难有一个较好的小分类器。
最好的方法还是提升模型的性子，比如说我们会在Rol pooling出来之后，我们会加比较多的一些打算量上去，以及加一些演习的技巧，动态地让模型自身去把误检的问题给弄掉。

Batch size大，GPU也多，韶光肯定减少，这怎么能证明是算法带来的收益呢？

实际上我们没有说这个是算法带来的收益，我们说的是Batch size大，带来的不只是实验的减少，而且还是性能的一个提升。
这个是算法本身带来的一个收益，相称于也是这个算法，可能它本身就须要再一个比较大的Batch size下，才能事情的比较好。

针对小物体有什么好的办理方法?

实践上针对小物体好的办理方法不多，小问题的办理方法不多的缘故原由在于：1) 小物体的图已经比较糊了，人们自己也很难分清。
第二个是小物体常常会涌现一种像素偏移的情形，特殊是在做Pooling的时候。
大物体偏离两个像素，基本没有影响，但小物体偏移两个像素可能已经飞出了框外。
现有的办理逻辑是用比较浅层的特色图去定向检测小物体，例如FPN。
其余一种方法是强行增大图片尺寸，使小物体的像素点尽可能的多。
在比赛中，我们两种方法都有用，并且都验证涨点。

人脸识别中，什么策略是故意义的研究路线？

就我个人来说，我认为只要能在限定性条件下涨点的策略都是故意义的研究路线，但如何来实现限定性条件下能涨点，就得详细看你们就做这个模型的一个需求。
由于如果是打比赛的话，那当然是什么涨点什么有用；但在做手机端模型的时候，某些花费巨大的方法可能就并不适用。
详细如何研究，如何取舍，还须要和业务场景相结合。

SGD外其他方法试过吗？

我们试过一些其他方法，但是我们创造彷佛都和SGD差不多。
在多机演习场景下，SGD会更加方便实现。

在量子位"大众年夜众号界面（QbitAI）回答“171212”，即可得到完全版PPT和视频回放链接。

— 完 —

诚挚招聘

量子位正在招募编辑/，事情地点在北京中关村落。
期待有才华、有激情亲切的同学加入我们！
干系细节，请在量子位"大众年夜众号(QbitAI)对话界面，回答“招聘”两个字。

量子位 QbitAI 头条号签约作者

'ᴗ' 追踪AI技能和产品新动态