自从SSD、RetinaNet之后，多尺度特征金字塔（FPN）一直是单阶段目标检测的必备组件，直接去掉FPN会显著降低性能。但从实用角度FPN有个很大的缺点，就是大分辨率特征图的尺寸过大，占用大量内存的同时拖慢的整体的执行速度，对片上缓存有限的专用推理芯片尤为不利。该工作中，智源青年科学家张祥雨团队通过拆解，发现FPN之所以有效，其主要原因并不是先前很多工作认为的多尺度特征融合，而是对大、中、小目标的“分而治之”策略。换句话说，就是单尺度的特征从信息角度完全够用了，只是需要用一种更有利于学习的decoder将各种不同尺度的物体解码出来。基于这个观察，团队重新设计了解码器和label assign规则，成功实现了在不使用FPN的情况下达到相同甚至更高的性能。
（图片来源:学者提供）
