Press "Enter" to skip to content

MIT有个做披萨的GAN,登上了CVPR:加香肠、去橄榄、再烤熟,分层才是王道

有只会做披萨的GAN,登上了 CVPR 2019 。

 

它的工作,并不是生成一张披萨的照片那幺简单。

 

你看,AI可以给披萨铺上 帕帕罗尼肠 :

 

 

服服帖帖,朴素的芝士披萨,也能变成帕帕罗尼披萨了。

 

如果有素食的小伙伴,AI可以把帕帕罗尼肠拿走,露出底下的芝士来:

 

 

仿佛肉被熊孩子挑光了一样。

 

另外,在下不喜橄榄,也可以让AI帮忙把橄榄拣出去:

 

 

既然是“ 做披萨 ”的AI,只会加料减料并不够,还要把披萨烤熟:

 

 

完成。

 

这只AI就叫 PizzaGAN 。为它训练厨艺的,是来自MIT和卡塔尔计算研究所的5位爸爸。

 

他们说,算法其实并不是一只GAN,而是许多GAN层层叠叠而生。

 

并且,修炼过程中PizzaGAN吃下了 2.8G 的真实披萨数据集,以及 1.8G 的合成披萨数据集。

 

 

两个数据集现在已经 开放下载 了,团队说算法也快要开源了。

 

在那之前,我们先来看看AI是怎样做披萨的:

 

井然有序

 

AI按照食客的要求生产披萨,首先要认识各种配料。

 

分类、分割都只用了 弱监督 :通过AMT众包获得了标注数据,在图像层面 (Image Level) 标出有哪些配料就可以。但为了准确,每张图由5个人标注,最后采纳多数人的看法。

 

数据有了,要怎幺用呢?

 

一层叠一层

 

就像开头提到的那样,PizzaGAN不是一只GAN,而是模块化的:

 

每种配料都有两个算子(Operator) ,一个用来加料,一个用来减料。 每个算子都是一只GAN 。

 

比如,这是加帕帕罗尼肠用的GAN:

 

 

它的生成器和普通GAN不同,不会生出一张全新图像,而是在输入图像的基础上,生成一层加帕帕罗尼肠的新外观 (称作 A+ ) 。

 

还生成一个Mask (称作 M+ ) ,用来把新外观叠加到原图上,它会显示出哪些像素和原图不同。

 

有了 A+ 和 M+ ,就可以给芝士披萨,铺上一层帕帕罗尼肠了。

 

去掉帕帕罗尼也是同理:

 

 

GAN要生成一层新的外观 ( A- ) ,显示出去掉食材的部分本来的样子。

 

也生成一个Mask ( M- ) ,来指示原图里的哪些像素,在新图上会发生变化。

 

有了 M- ,就可以把 A- 这层新外观叠加到帕帕罗尼披萨上,得到一张芝士披萨。

 

罗勒,蘑菇,菠萝粒…..不想要的配料,全部可以去掉:

 

 

除此之外, 注意一下,比起加料模块,减料模块拥有更重要的使命 :

 

它们可以把输入的一张披萨, 拆解成很多层 ,每层一种料,然后就可以按需加减了。

 

 

那幺问题来了,是不是只要知道有哪些料,按随性的 顺序 来拆解就行?

 

琵琶半遮面

 

不不不,AI可以从 遮挡关系 上,判断出哪种料是先加的,哪种是后加的。

 

举个栗子,这里有一红一绿两个圆,红上绿下。

 

 

如果,先去掉红色、再去掉绿色,那幺去掉红色的时候,绿色的圆会被AI补充完整。

 

反过来,先去掉绿色、再去掉红色的话,绿色的圆就补不齐了。

 

这样说来,先去掉红色比较合适。那幺AI是怎样判断的呢?

 

 

根据Mask来看,先去红色再去绿色, 两个Mask之间会有交集 ,反过来就完全没有交集了。

 

交集更多,就是更合理的顺序,AI便是这样推测减料的先后。

 

而最先去掉的料在最上层,也就是最后加的料。所以,把减料的顺序翻过来,就是加料顺序了。

 

撒好配料之后,放进烤箱:

 

一回熟二回生

 

最后一步,团队手动标注了932个真披萨,一部分是烤熟的,一部分还没烤。

 

这些数据用来训练AI,把生饼变成熟饼:比如面饼变得金黄,下层的番茄酱在上层的配料之间透出更迷人的红。

 

 

△ 开头出现过了,复习一下

 

只不过, 芝士会融化 这个知识点,对GAN来说可能还是有些困难了。

 

另外,由生到熟的过程,对人间的食物来说并不可逆。但AI能把已经烤熟的披萨,变回刚刚撒完配料的样子:

 

 

神奇的是,芝士仿佛从融化的状态,变回了一粒一粒的芝士碎。

 

这样一来,把忘了加的配料撒上,还可以重烤一次。

 

真是一只随和的AI。

 

得天独厚

 

MIT的一位少年,把自家的成果发上了推特。

 

楼下便有观众,对研究人员的脑回路表示服气:

 

看到论文题目,还以为只是提出 分层 (Layering) 的概念,没想到居然真在“做披萨”。

 

 

少年也开心地回复了观众:

 

没错,就是提了 分层 的概念,可披萨刚好是分层加料的,所以是完美的搭配哟。

 

 

那幺问题来了,论文题目叫什幺呢?

 

 

果然不是一篇正常的CVPR。

 

论文传送门:

 

https://arxiv.org/abs/1906.02839

 

项目主页,有Demo:

 

http://pizzagan.csail.mit.edu/

 

— 完 —

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注