Unsupervised Person Re-identification by Soft Multilabel Learning

1.2019年CVPR的oral，中山大学郑伟诗教授计算机视觉小组联合腾讯优图。论文链接： arxiv.org/pdf/1903.0632源码链接：github.com/KovenYu/MAR2.背景

解决的问题：在无监督中，缺少成对的标签图片；Re-ID是跨摄像头下的匹配，针对不同的视角相机，无监督问题缺少成对的标签图片。无监督是解决跨域的一个突破方向。因为使用有监督的学习再迁移到其他域上效果很差，因此用无监督/半监督/弱监督来解决跨域问题的性能。

现有的研究：给无标签的目标域数据打伪标签，但是伪标签不适合onehot这种硬性指标，可能打的伪标签不正确反而影响性能，并且伪标签学习只关注了视觉特征的相似性，没有参考其他的辅助信息。3.本文的解决思路引入辅助数据集挖掘无标签样本的潜在标签信息，将目标域无标签人物身份表示为一组额外数据集中已知标签人物的相似度，这个相似度是多维的，故称为软多标签；已知标签的辅助数据集(类似源域)的人称为参考人物；利用外观特征与软多标签之间的一致性(来自同一个人的两个无标签图片应该有相近的软多标签)进行困难负样本挖掘；Re-ID是跨摄像头的问题，故引入约束来保持软多标签在不同的视角相机下的一致性；引入参考代理学习来将每一个代理人在联合嵌入中表示为一个参考代理。利用学习到的Soft Multilabel Learning挖掘无标签的图片的潜在标签信息，提出multilabel reference learning(MAR)，包括soft multilabel-guided hard negative mining, cross-view consistent soft multilabel learning, reference agent learning，相互协作来挖掘潜在的标签信息。4.本文方法详细介绍

soft multilabel-guided hard negative mining软多标签指导的困难样本的挖掘：
  • 视觉特征：主干网路最后一层的卷积特征；比较特征：软多标签。
  • 基于软多标签的困难样本挖掘是利用软多标签来区分视觉特征上相似但实际不是一个人，即比较特征相近则为正样本，比较特征不相近则可能为负样本。
  • 视觉相似性度量是计算两个卷积特征的余弦相似度；
  • 比较特征相似是定义了一个软多标签协议，用协议高低来代表相似性高低。采用的是逐元素的∩运算，最后可以简化为L1距离(所以用1减去距离，距离近相似度大)，其中的物理意义是每个代理对这对图片是否属于同一个人进行投票。（k代表y的第k个元素，y(k)的计算方式）

  • 对于N个无标签图像，一共可以产生M=N(N-1)/2个无标签图像对，设置超参数p=0.005为视觉相似概率，然后选择pM个图像对来计算比较特征用来挖掘困难负样本，所以设置S=pM-th的余弦值(内积)。之后计算pM个图像对的软多标签协议，设置一个阈值T（如何取，有的说是pM位置对应的软多标签协议），大于其阈值的为正样本，反之为困难负样本。
  • 损失函数：这里的P和N是动态变化的，应该使用每一轮更新后的特征嵌入来重新构造，基于这个问题作者也使用Mbatch代替M。Lmdl是困难样本挖掘的损失，这个损失有什么物理意义？

cross-view consistent soft multilabel learning跨视角一致的软多标签学习：
  • 因为人物重识别需要识别不同摄像机下的行人，因此需要在不同的摄像机下有一致的软多标签，即分配的软多标签与摄像机视角无关。
  • P(y)是数据集x的软多标签分布，Pv(y)是第v个摄像头的软多标签分布，然后计算距离。因为作者发现软多标签分布大致符合正态分布，因此采用2-Wasserstein distance多为度量标准。

Reference agent learning参考代理学习：

  • 参考代理即可以相互区分又可以表示所有对应图片。Zk是辅助数据集的第k个图片，Wk是标签。
  • 参考代理学习的第一个目的就是使代理学习到一个混合的特征表示，另一个隐含作用就是使软多标签学习函数有效，希望软标签能够与真实的标签Wk=[0,?,0,1,0,?,0]足够接近，因此这一块是有监督的学习，保证了软多标签学习函数的有效性。
  • 为了提高软多标签函数在目标域上的有效性，提出了joint embedding learning for reference comparability联合嵌入学习以供参考可比性，做法就是作者使用挖掘跨域的困难负样本来修正跨域分布不对齐，针对每个ai，找出与它接近的无标注人物f(x)，他们之间不管外观多相近，都需要有很强的特征区分度。
  • 最终的参考代理学习损失函数：

模型的训练和测试：训练时将这三个损失进行加权求和；

测试时用检索图片和库中图片计算余弦相似度排序。

5.实验结果

训练时batch_size=368，其中一半是无标签数据集另一半是辅助数据集，各占183。

MSMT17数据集作为辅助数据集。

6.参考笔记：

cnblogs.com/Thinker-pcw

推荐阅读：

相关文章