Press "Enter" to skip to content

CV大神何恺明最新一作:视觉预训练新范式MAE!下一个CV大模型要来?

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

 

新智元报道

 

编辑:David、桃子

 

【新智元导读】CV大神何恺明又出力作!团队提出MAE模型,将NLP领域大获成功的自监督预训练模式用在了计算机视觉任务上,效果拔群,在NLP和CV两大领域间架起了一座更简便的桥梁。

 

CV大神何恺明又出力作!

 

这次,何大神让BERT式预训练在CV上也能训的很好。

 

论文「Masked Autoencoders Are Scalable Vision Learners」证明了 masked autoencoders(MAE) 是一种可扩展的计算机视觉自监督学习方法。

 

目前,该论文已于11月11日提交在arxiv上。

 

 

论文地址:https://arxiv.org/abs/2111.06377

 

论文成果简介

 

此文最大的贡献,可能是在NLP和CV两大领域之间架起了一座更简便的桥梁。

 

此前,大名鼎鼎的GPT和BERT已经将大型自然语言处理(NLP)模型的性能提升到了一个新的高度。

 

直观点讲,就是事先遮住一些文本片段,让AI模型通过自监督学习,通过海量语料库的预训练,逐步掌握上下文语境,把这些被遮住的片段,用尽可能合乎逻辑的方式填回去。

 

这和我们做「完形填空」的方式有些类似。经过海量数据的学习和训练,AI模型慢慢学会了自己生成自然文本。目前,随着GPT及其后续改进模型的不断进步,生成的自然文本几乎可以乱真。

 

现在,何恺明的这篇文章把NLP领域已被证明极其有效的方式,用在了计算机视觉(CV)领域,而且模型更简单。

 

一起先来看下效果:

 

遮住95%的像素后,仍能还原出物体的轮廓,这居然还能work!

 

 

本文提出了一种掩膜自编码器 (MAE)架构,可以作为计算机视觉的可扩展自监督学习器使用,而且效果拔群。

 

实现方法很简单:先将输入图像的随机部分予以屏蔽(Mask),再重建丢失的像素。

 

MAE模型结构与实现

 

本文提出的MAE架构如下:

 

 

在预训练期间,大比例的随机的图像块子集(如 75%)被屏蔽掉。编码器用于可见patch的小子集。在编码器之后引入掩码标记,并且完整的编码块和掩码标记集由一个小型解码器处理,该解码器以像素为单位重建原始图像。

 

预训练后,解码器被丢弃,编码器应用于未损坏的图像以生成识别任务的表示。

 

 

MAE 是一种简单的自编码方法,可以在给定部分观察的情况下重建原始信号。由编码器将观察到的信号映射到潜在表示,再由解码器从潜在表示重建原始信号。

 

与经典的自动编码器不同,MAE采用非对称设计,允许编码器仅对部分观察信号(无掩码标记)进行操作,并采用轻量级解码器从潜在表示和掩码标记中重建完整信号。

 

掩膜

 

将图像划分为规则的非重叠patch。对patch的子集进行采样并屏蔽剩余patch。我们的采样策略很简单:均匀分布,简单称为“随机抽样”。

 

 

MAE 编码器

 

编码器仅适用于可见的、未屏蔽的patch。编码器通过添加位置嵌入的线性投影嵌入patch,然后通过一系列 Transformer 块处理结果集。编码器只对整个集合的一小部分(如 25%)进行操作。

 

被屏蔽的patch会被移除;不使用掩码令牌。这样可以节约计算资源,使用一小部分计算和内存来训练非常大的编码器。

 

MAE解码器

 

解码器的输入是完整的令牌集。每个掩码标记代表一个共享的、学习过的向量,表示存在要预测的缺失patch。

 

解码器仅在预训练期间用于执行图像重建任务。因此,它的设计可以独立于编码器。实验中使用的解码器更加轻量级。通过这种非对称设计,显着减少了预训练时间。

 

图像目标的重建

 

MAE 通过预测每个掩码块的像素值来重建输入图像。

 

解码器输出中的每个元素都是一个表示补丁的像素值向量。解码器的最后一层是线性投影,其输出通道的数量等于补丁中像素值的数量。解码器的输出被重新整形以形成重建的图像。

 

MAE 预训练实施效率高,实现方式简单,而且不需要任何专门的稀疏操作。

 

 

从上图可以看出,随着输入图像被遮住的比例升高,MAE的性能迅速上升,在75%左右达到最佳效果。

 

性能惊艳:ImageNet-1K最高87.8%

 

与当前SOTA自监督预训练方法相比,对于 ViT-B 的表现结果都很接近。对于 ViT-L不同方法的结果就存在很大差距,这表明更大模型的挑战是减少过度拟合。

 

再看最后一列,仅使用ImageNet-1K数据时,ViT-Huge模型的最高精确度为87.8%,这明显超过了所有在ImageNet-21K 预训练的ViT变种模型。

 

作者总结道,与 BEiT方法相比,MAE更准确、更简单、更高效。

 

 

网友:respect

 

「现在是2021年11月12日中午,恺明刚放出来几个小时,就预定了CVPR2022 best paper candidate(这里说的是best paper candidate,不是best paper)」

 

这篇文章推翻了之前视觉自监督领域的统领范式(NLP里面确实用的比较多,但是CV里面用的并不多),提出了简单本质有效的自监督方法: 基于mask和autoencoder的恢复方法。

 

 

「大致看了一遍,做的很solid,在iGPT和BEiT的基础上,化繁为简,找出了最关键的点,能够让BERT式预训练在CV上也能训到很好!未来可以预见能比肩GPT3的CV大模型不远矣。」

 

 

「只想说,凯明大佬cv封神!!!膜拜大佬,求今年cvpr中签。」

 

 

作者介绍

 

何恺明,本科就读于清华大学,博士毕业于香港中文大学多媒体实验室。

 

 

2011年加入微软亚洲研究院(MSRA)工作,主要研究计算机视觉和深度学习。2016年,加入Facebook AI Research(FAIR)担任研究科学家。

 

2020年1月11日,荣登AI全球最具影响力学者榜单。

 

参考资料:

 

https://arxiv.org/abs/2111.06377

 

https://www.zhihu.com/question/498364155/answers/updated

 

https://www.zhihu.com/question/498364155/answer/2219622610

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注