Unsupervised Re-Id by Soft Multilabel Learning
简介:
这是一篇19年CVPR的跨域无监督Re-ID论文,在Market1501和DukeMTMC-reID上分别达到了67.7%和67.1%的rank-1精度,算是一篇将准确度刷得比较高的论文了,在这篇论文中主要是偏重了loss函数的设计而非网路结构,所以理解起来还是有一定难度的,下面就来一探它的奥秘。
主要工作:
- 在对无标注的目标域数据打伪标签时不适用onehot这样的硬值,而是将目标域无标签人物身份表示为与一组额外数据集中已知标签人物的相似度(软多标签),这篇论文将额外数据集(类似源域的概念)的有标签行人叫做参考人物
- 利用外观特征与软多标签之间的一致性进行困难负样本挖掘
- 因为行人重识别的一个setting是跨摄像头匹配,所以引入了约束来保持软多标签在不同视角相机下保持一致性
- 引入参考代理学习来将每一个代理人在联合嵌入中表示为一个参考代理
方法:
下面就来看看作者是怎么来实现他说的这几点
1.问题定义
我们有目标数据集 ,还有一个辅助数据集 ,这里的 代表每一个人物图片, 是对应的标签, 是辅助数据集的大小。注意这里的目标域数据集和辅助数据集的人物是完全不重叠的。
2.软多标签
软多标签其实就是学习一个映射函数 ,对于所有的参考人物有 ,所有维度的总和加起来等于1.同时在软多标签的指导下,我们还希望学习到一个有区分力的嵌入 ,同时要求 。作者还引入了一个参考代理的概念即 。(这个会放到后面说,暂时可以就认为它是辅助数据集中一个参考人(这个人有多张图片)的特征表达),同时有 .( 是图片张数, 是行人个数)。
因为对于软多标签y来说,它的所有维度之和为1,所以可以使用如下定义:
这里的 就是参考代理了。
3.困难负样本挖掘
困难负样本挖掘对于学习到有区分力的特征是很有效的。在无标注的目标域上面因为缺少ID所以困难负样本的判断成了一个问题。作者做了一个这样的假设:如果一对样本 拥有很高的特征相似度 ,那么我们就认为这是一对相似样本,如果相似样本的其他特性也相似,那么它很可能是一个正样本,反之就是一个负样本。这里就把软多标签当作是其他特性。接著提出如下的相似度定义,使用的是逐元素的交运算,最后可以简化成使用 距离进行表示。
其实这里的物理意义相当于每个代理人在进行投票,对这一对图像是否属于同一个人进行表决。作者做了如下的公式化:
上式中的 是一个代表比例的参数,对于未标注的目标域来说将有 个图像对,我们认为其中 个是有著最高的特征相似度的,同理有 个是有著最高的软标签相似度的。这里的 就是 的位置处对应的阈值了。多标签引导的有区分力嵌入学习 就被定义为:
其中: