为什么不仔细读一下在膜拜大神呢?
Mask RCNN 是基于Kaiming 之前的工作 FPN (Feature Pyramid Network) 很形象地说就是用FPN产生的检测结果, 后面加了一个分割的网络.
文章中用到了 Top-Down + Bottom-Up 最近很流行的多层网络, 因为最开始Faster-RCNN只是在最后一层上面检测, 很容易丢掉小目标物体, 并且对细节遮挡也很不敏感. 最近的趋势就是结合多层 特征, 答主孔涛就很早发现了这个insight, 做出了HyperNet 并中了CVPR roal!!!
Top-Down + Bottom-Up 结构比HyperNet更进一步, 干脆不简单地拼合多层特征了, 再做一层"反卷积(把图片增大的卷积, 和卷积没本质区别)" 把高层特征带到低层次去, 这样低层次既有细节又有语义. 这样的做法进一步提高了coco上的性能 大约5个点吧. 和FPN一起出来的还有Google一个工作 Top-Down Modulation for Object Detection.
Kaiming的另外一个发现是用 class-wise 的 binary loss 比以往多分类的softmax with entropy loss更有用, 很小的改进就提升了几个点.
btw 另外大家现在都不在 VOC上做了, 主要目标转到了coco, 有更多的小物体, 更挑战, 更多的数据 (14万) 标注.
这项工作不足之处也很多, FPN最大的问题就是就是它的最好地方, 巨大搜索空间, 原来Faster RCNN 只有上千个anchors(初始化区域), FPN是数十万级别! 用python单单生成这些候选区域都要0.05s, cython加速也只做到0.01s.
这个工作只是开始, 肯定不是终点. 不过弯道超车的确极难. 前面的Google FB MSRA 都有上千GPU 上TB的ImageNet 众多实习生和数位大神 ...
在尝试实现 Mask RCNN (in progress), 有兴趣的可以关注一下 CharlesShang/FastMaskRCNN
