Press "Enter" to skip to content

TMM|车辆重识别的一些实践

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

这篇文章是我们在CVPR2020 智慧城市AICity比赛中 得到冠军的基础,发表于 IEEE Trans. on Multimedia。拓展了我们在CVPR 2019 workshop中的工作。我们在比赛中领先第二名大约6个点。同时在VeRi-776上也达到了83.41% mAP(就是顺便测的resnet baseline,没有调参,没有rerank,没有PCB,就很高了)。

 

这篇文章的一些经验 也延续到了,今年我们和 百度视觉技术部 合作夺冠的方法中。

下面就来介绍一下我们的工作,可能比较工程化一点,也有一些我们的试错。感谢大家。

 

作者:Zhedong Zheng,Tao Ruan ,Yunchao Wei ,Yi Yang ,Tao Mei

 

论文: https:// arxiv.org/abs/2004.0630 5

 

比赛代码: https:// github.com/layumi/AICIt y-reID-2020

 

 

深度学习模型的基础就是data-driven,所以我们首先先关注了数据。我们发现大多数数据集都是长尾的,而且数据量不是很均衡。如下图a,我们统计了几个数据集,每类样本的个数,发现多数车辆类别少于10张训练图像。就导致了整体intra-class 类内的变化有限。

 

所以对于AICity 19年的比赛(AICity 2020比赛方则提供了生成数据),我们就采集了额外3个数据集来辅助训练。其实并没有解决intra-class的问题,而是加多了inter-class类间变化,使模型学的更好。

如图b,我们混合了额外3个数据集来帮助训练。我们也统计了其他的数据集信息如下:

模型学习:

 

有了数据以后,接下来就是模型学习。我们采用了一个很简单的方案。其实就是我们2017年就开源的baseline ( https:// github.com/layumi/Perso n_reID_baseline_pytorch )中的方案。

而本篇文章 观测到 引入额外数据集会带来一些bias,所以我们采用了domain adaptation中两阶段训练。先在所有训练集上训练,然后再针对目标环境finetune。

 

我们分析了一下原理,其实就类似virtual class。有第一阶段的训练本质上,辅助了我们加大inter-class类间的距离,如下图的W3,所以我们第二阶段再finetune的时候就容易了。

 

对于学术的数据集(VeRI 和 VehicleID),在报结果的时候,为了公平,我们没有用后处理,

 

而对于比赛,有很多细节,我们也尝试了很多后处理 来提高结果,最常用的包括 reranking, multi-scale ,还有model ensemble。整体流程如下图:

而我们在2020比赛中又针对 AICity数据集做了一些优化,比如组织者还提供了track的信息(哪几张图是一辆车在某个摄像头下的tracklist)所以我们还进一步做了优化。加入了一些group的概念。2020 年比赛的报告在 https:// github.com/layumi/AICIt y-reID-2020/blob/master/paper.pdf

实验结果:

 

在VeRi-776 和 VehicleID上,我们没有用任何后处理, 就取得了比较高的结果。

我们还测试了不同的backbone 和 input size。

不同的后处理方式:

最后我们还可视化了学到的特征,集中在比较有鉴别力的区域:比如车头灯 和 轮胎上。


其他资源:

– 我也做了一些车辆重识别论文/数据集的收集: https:// github.com/layumi/Vehic le_reID-Collection 欢迎大家关注,把新的paper issue上来。

百度视觉技术部的重识别paddlepaddle 库 https:// github.com/PaddlePaddle /Research/tree/master/CV/PaddleReid

 

京东AI组 也提供了很棒的汇总车辆reid,做了很多这方面的工作: https:// github.com/JDAI-CV/VeRi dataset 提供了VeRi-776 数据集的排行榜

 

还有北大的工作有很多,我这边简要提供几个链接,方便大家顺藤摸瓜。 https:// github.com/PKU-IMRE/VER I-Wild https:// pkuml.org/resources/pku -vehicleid.html

 

最后感谢大家看完~欢迎关注分享点赞~也可以check我的一些其他文章

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注