Press "Enter" to skip to content

相得益彰!提升模型闭集分类精度即可提升开集检测的准确率(ICLR 2022 oral)

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

本篇分享 ICLR 2022 oral 论文 『Open-Set Recognition: a Good Closed-Set Classifier is All You Need?』 ,证明了开集识别任务中模型的闭集和开集性能之间的强相关性。

 

 

 

论文链接:https://arxiv.org/abs/2110.06207

 

项目链接: https://github.com/sgvaze/osr_closed_set_all_you_need

 

      01        

 

摘要

 

本文是 ICLR 2022 的一篇开集检测(OSR)文章(oral),探讨了闭集分类器性能与开集检测性能间的高度相关性,并且提出只需要提升类内分类器的精度,即可提升开集检测的精度。并在标准OSR基准以及大规模ImageNet评估上进一步展示了这一特性。

 

 

如上图所示,通过微调Baseline模型,提升其闭集准确率,可使其在OSR检测上达到SOTA性能。

 

主要贡献:

 

 

提出一种新的开集检测思路,只需提升模型的闭集分类准确率即可提升其在开集检测上的精度。

 

提出并验证了开集检测与闭集检测之间的高度相关性(正相关)。

 

在公开数据集上进行了验证,并且取得了sota性能。

 

 

      02        

 

方法

 

2.1.闭集与开集检查关系验证

 

 

如上所示,作者选取了两个模型(Baseline:MSP,近期Sota:ARPL)以及五个公开数据集(MNIST、SVHN、CIFAR10、CIFAR50、TinyImageNet)来验证闭集分类精度与开集检测精度间的关系,可以看出,开集检测精度与闭集分类精度大致呈线性关系。随着模型在闭集检测上的精度提升,其在开集检测上的精度也提升。

 

 

2.2.GOOD CLOSED-SET CLASSIFIER:

 

作者基于MSP模型以及TinyImageNet数据集做了分组实验,通过微调参数(如更长的训练、更好的数据增强、标签平滑等),使得MSP在TinyImageNet的闭集分类器上精度逐步提升,同时测得各模型的开集检测精度。

 

 

由上图可看出,随着MSP在闭集上的精度提升,其对应的开集检测AUROC指标也逐步提升。

 

      03        

 

实验

 

在5个公开数据集上进行了测试

 

实验效果

 

 

如上表所示,基于Baseline模型MSP进行闭集训练优化,使其在开集检测上的性能与Sota(ARPL+CS)性能接近。

 

SEMANTIC SHIFT BENCHMARK

 

此外,作者还提出了一个新的OSR Benchmark,基于到训练集的语义距离,引入大规模的类别转移评估方法。具体来说,为闭集指定原始的 ImageNet-1K 类,并从 ImageNet-21K-P 中选择开集类。

 

根据开集数据与闭集数据的相似程度来划分难度,将数据分为了:easy、medium、hard三类。

 

 

      04        

 

结论

 

证明了开集识别任务中模型的闭集和开集性能之间的强相关性。利用这一发现,我们已经证明:可以使用测试时的最大logit得分(MLS)来提升闭集分类器与现有最先进的方法竞争或优于现有最先进方法。此外,本文还提出了一个新的“语义转移基准”,将语义转移与其他低级分布转移隔离开来。

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。