Press "Enter" to skip to content

使用PyTorch实现目标检测新范式DETR(基于transformer)

 

【导读】 DETR ( DE tection TR ansformer)的PyTorch训练代码和预训练模型。 我们用Transformer 代替了整个复杂的手工物体检测管道,并用ResNet-50匹配了Faster R-CNN,使用一半的计算能力(FLOP)和相同数量的参数在COCO上获得了  42 AP   。 在PyTorch的50行中进行推断。

DETR

这是什幺

 

与传统的计算机视觉技术不同,DETR将目标检测作为一个直接的集合预测问题来处理。它由一个基于集合的全局损失和一个Transformer encoder-decoder 结构组成,该全局损失通过二分匹配强制进行唯一预测。给定固定的学习对象查询集,则DETR会考虑对象与全局图像上下文之间的关系,以直接并行并行输出最终的预测集。由于这种并行性,DETR非常快速和高效。

 

关于代码

 

我们认为,物体检测不应该比分类更困难,并且不应要求使用复杂的库来进行训练和推理。DETR的实现和试验非常简单,我们提供了一个[独立Colab笔记本]( https://colab.research.google.com/github/facebook research/detr/blob/colab/notebooks/detr_demo.ipynb )演示如何使用DETR进行推断,这仅需几行PyTorch代码。训练代码遵循这个想法–它不是一个库,而是一个带有标准训练循环的main.py导入模型和条件定义。

 

有关详细信息,请参见Nicolas Carion, Francisco Massa,Gabriel Synnaeve,Nicolas Usunier,Alexander Kirillov, 和Sergey Zagoruyko.的End-to-End Object Detection with Transformers( https://ai.facebook.com/research/publications/end-to-end-object-detection-with-transformers )

 

我们提供基准 DETR 和 DETR-DC5 模型,并计划在将来包括更多模型。AP 是使用Torcscript transformer,在COCO 2017 val5k上计算得出的,并且推理时间超过了前100幅val5k COCO图像。

 

 

namebackbonescheduleinf_timebox APurlsize
0DETRR505000.03642.0download159Mb
1DETR-DC5R505000.08343.3download159Mb
2DETRR1015000.05043.5download232Mb
3DETR-DC5R1015000.09744.9download232Mb

 

COCO val5k数据集的评估结果可以在这里gist( https://gist.github.com/szagoruyko/9c9ebb8455610958f7deaa27845d7918 )找到.

 

COCO全景val5k模型:

 

 

namebackbonebox APsegm APPQurlsize
0DETRR5038.831.143.4download165Mb
1DETR-DC5R5040.231.944.6download165Mb
2DETRR10140.13345.1download237Mb

 

这些模型也可通过torch hub找到,以用预训练的权重加载DETR R50,只需执行以下操作:

 

model = torch.hub.load('facebookresearch/detr', 'detr_resnet50', pretrained=True)

 

用法

 

DETR中没有多余的已编译组件,并且程序包依赖项很小,因此代码使用非常简单。我们提供如何通过conda安装依赖项的说明,因此该代码非常易于使用。我们提供了有关如何通过conda安装依赖项的说明。首先,在本地克隆存储库:

 

git clone https://github.com/facebookresearch/detr.git

 

然后安装 PyTorch 1.5+ 和 torchvision 0.6+:

 

conda install -c pytorch pytorch torchvision

 

安装 pycocotools (用于 COCO 的评估) 和 scipy (用于训练):

 

conda install cython scipy
pip install -U 'git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI'

 

这有助于训练和评估检测模型。

 

(可选)与panoptic一起使用,安装panopticapi:

 

pip install git+https://github.com/cocodataset/panopticapi.git

 

数据准备

 

从 http://cocodataset.org 下载并提取带有标注的COCO 2017训练和验证图像,我们希望目录结构如下:

 

path/to/coco/
  annotations/  # 标注json文件
  train2017/    # 训练集图片
  val2017/      # 验证集图片

 

训练

 

在8个GPU的单个节点上训练基准 DETR 300个 epoch,运行:

 

python -m torch.distributed.launch --nproc_per_node=8 --use_env main.py --coco_path /path/to/coco

 

一个epoch需要28分钟,因此在一台装有8个V100卡的机器上,300个epoch的训练大约需要6天。为了简化对我们实验结果的复现,我们提供了150个epoch schedule(在一台机器上训练3天)的 结果和训练日志( https://gist.github.com/szagoruyko/b4c3b2c3627294fc369b899987385a3f ),结果达到了39.5 / 60.3 AP / AP50。

 

我们使用AdamW训练DETR,将transformer中的学习率设置为backbone中的1e-4和1e-5。使用水平翻转,缩放图片来进行图片增强。图像被重新缩放为具有最小800和最大1333的大小。对transformer进行了dropout为0.1的训练,对整个模型进行了0.1的梯度裁剪。

 

评估

 

在COCO val5k数据集上使用单个GPU来评估DETR R50:

 

python main.py --batch_size 2 --no_aux_loss --eval --resume https://dl.fbaipublicfiles.com/detr/detr-r50-e632da11.pth --coco_path /path/to/coco

 

在gist上,我们提供所有DETR检测模型的结果 。

 

请注意,数量根据每个GPU的批处理大小(batch size)(图像数量)而有所不同。非DC5模型的批处理大小为2,而DC5的批处理大小为1,因此,如果每个GPU不止对1个图像进行评估,那幺DC5模型的AP会显着下降。

 

模型训练

 

可以通过Slurm和submitit( https://github.com/facebookincubator/submitit )来进行分布式训练:

 

pip install submitit

 

在4个节点上训练基本模型DETR-6-6,300个epoch:

 

python run_with_submitit.py --timeout 3000 --coco_path /path/to/coco

 

许可证

 

DETR是在Apache2.0许可下发布的。请查看LICENSE( https://github.com/facebookresearch/detr/blob/master/LICENSE )文件来获得更多信息。

 

帮助

 

我们非常欢迎您的请求!请查看:

 

CONTRIBUTING.md

 

( https://github.com/facebookresearch/detr/blob/master/.github/CONTRIBUTING.md )

 

CODE_OF_CONDUCT.md

 

( https://github.com/facebookresearch/detr/blob/master/.github/CODE_OF_CONDUCT.md )

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注