Structured Knowledge Distillation for Semantic Segmentation

https://arxiv.org/pdf/1903.04197.pdf?

arxiv.org

１、论文出发点

　　在深度学习走向应用的过程中，不可避免的要考虑到效率问题，复杂网路虽然效果好，但效率低，反之轻型网路效率高，但精度差。所以现在冒出来了这样一种思路：利用复杂网路所学知识去指导轻型网路，使得轻型网路不仅可以有好的效率，还可以达到大型网路的精度。此篇论文就是这样的一篇文章。ＣＶＰＲ２０１９有好几篇这样的文章（例如下面这篇）。值得注意的两篇一作都来自阿德莱德大学。

Knowledge Adaptation for Efficient Semantic Segmentation

https://arxiv.org/pdf/1903.04688.pdf?

arxiv.org

２、论文怎么做的

　　在此篇论文语义背景下，所谓知识提取：就是从大型网路中提取学到的好的知识用于指导紧凑型网路的训练。所以知识提取相关的文章都会涉及到一个teacher网路，一个student网路。所以知识提取的核心思想归结为：学生所学，一切向老师看齐。

　　那么这篇论文中作者是怎样使得学生向老师看齐的。

　　１、首先，像素分类看齐。

　　　将重型网路像素级分类作为软标签（为方便理解：one-hot label为硬标签），训练紧凑型像素级分类，使得紧凑型网路分类输出与重型网路看齐。

　２、其次，像素特征对相似性看齐。　

学生网路输出的像素特征，相邻（邻居关系可以自定义）像素特征的相似性，与老师网路输出相似性看齐。　　　

　　３、　全场景看齐　　

　　　　　将语义分割输出看成一副彩色图像，使得学生网路输出与教师网路输出看齐。此处文中用到了对抗生成网路，教师网路输出看成真实图片，学生网路输出看成伪造图片。

　　当然，除了上述看齐损失，肯定不能少了本身的分割损失。

推荐阅读：