Press "Enter" to skip to content

多模态新王登基!OpenAI发布DALL·E 2,生成图像“指哪打哪”

 

新智元报道

 

编辑:LRS

 

【新智元导读】大艺术家重磅升级!最近OpenAI发布升级版DALL·E 2,不仅分辨率提升了4倍,准确率更高,业务也更广了:除了生成图像,还能二次创作!

 

2021年1月,OpenAI放了一个大招:DALL-E模型,让自然语言和图像成功牵手,输入一段不管多离谱的文本,都能生成图片!

 

比如经典的「牛油果形状的扶手椅」,还有新奇生物「一个长颈鹿乌龟」。

 

 

 

当时看着已经够神奇了吧?

 

时隔一年,OpenAI结合另一个多模态模型CLIP,发布了第二个版本DALL·E 2!

 

和上一代相比,DALL·E 2更神奇,简直就是直接从二次元简笔画走向超高清大图:分辨率提升四倍,从256×256提升到了1024 x 1024,并且生成图像的准确率也更高!

 

比如以「用克洛德·莫奈风格画一幅狐狸在日出时坐在田野里」为题目,一眼就能看出二者的差距。(a painting of a fox sitting in a field at sunrise in the style of Claude Monet)

 

 

DALL·E 2的生成的范围也更广,比如写实主义的宇航员骑马(An astronaut + riding a horse + in a photorealistic style),安排!在山上、外太空、草地等等,各种场景一应俱全。

 

 

也可以用铅绘风格画出来(An astronaut + riding a horse + as a pencil drawing)

 

 

还有用针织羊毛做的、长得像妖怪的一碗汤!(A bowl of soup + that looks like a monster + knitted out of wool)

 

 

Dall·E 2还可以从自然语言的标题中对现有图像进行编辑,并且在添加和删除元素时还会考虑阴影、反射和纹理。

 

比如在画里加一条小狗,毫无违和感。

 

 

还可以给定一幅画作为题目,让Dall·E 2再自己重新创作一幅图。

 

 

除了官方的例子外,也有网友晒出了自己试玩Dall·E 2生成的图像,比如玩滑板的熊猫靓仔。

 

 

申请链接:https://labs.openai.com/waitlist

 

目前Dall·E 2还处于研究状态,还没有正式对外提供API,但以OpenAI一贯对自己的严标准、高道德要求,肯定也少不了在模型开发和部署上的限制来防止模型被滥用。

 

尽管Dall·E 2能绘制所有你可以想象到的内容,但OpenAI还是在功能上对模型进行了限制,主要有三点:

 

1. 阻止生成有害内容

 

OpenAI 通过从训练数据中删除暴力、仇恨或少儿不宜的图像,限制了Dall·E 2产生这类内容的能力,最小化了Dall·E 2对这些概念的认知。并且还使用一些技术手段防止生成人脸的超写实照片,尤其是一些公众人物。

 

 

2. 防止滥用

 

内容政策中规定,不允许用户生成暴力、成人或政治内容。如果过滤器识别到可能违反策略的文本提示词或图像上传,系统将不会返回生成图像。系统中还有自动化和人工监测系统防止滥用。

 

3. 基于学习的分阶段部署

 

OpenAI一直与外部专家合作,并对一定数量的可信赖用户开放预览Dall·E 2的权限,这些用户可以帮助开发人员了解技术的能力和限制。开发团队计划通过学习,迭代地改善安全系统,随着时间的推移邀请更多人参与预览。

 

艺术大师是怎样炼成的?

 

DALL·E 2和一代同样基于CLIP建立,不过OpenAI 研究科学家 Prafulla Dhariwal 说,「DALL·E 1 只是从语言中提取了 GPT-3 的方法并将其应用于生成图像:将图像压缩成一系列单词,并且学会了预测接下来会发生什幺。」

 

 

论文地址:https://cdn.openai.com/papers/dall-e-2.pdf

 

训练数据由一个数据对(x, y)组成,其中x是图像,y是相应的图像标题。给定一张图像x,z_i和z_t为对应的CLIP图像向量和文本向量。

 

像CLIP这样的对比模型(Contrastive models)已经被证明可以学习到非常鲁邦的图像表征,能够捕捉到语义和风格。

 

 

为了利用这些表征进行图像生成,研究人员提出了一个两阶段的模型:一个给定文本标题生成CLIP 图像嵌入的先验,以及基于条件图像嵌入生成图像的解码器。

 

先验P(z_i | y)为生成在标题y条件下的CLIP图像向量。

 

解码器P(x |z_i, y)为在CLIP图像向量z_i和标题y的条件下的生成图像x.

 

解码器能够根据CLIP图像向量来反转图像,而先验则可以让模型学习到一个图像向量本身的生成模型。将这两个部分叠加起来,可以得到一个生成模型P(x|y)

 

 

因为这个过程是通过颠倒CLIP图像编码器来生成图像,所以新模型的图像生成stack也称为unCLIP.

 

在unCLIP的整体架构中,虚线上方描述的是CLIP的训练过程。通过这个过程,模型学习可以学习到一个文本和图像的联合表示空间。虚线下面则描述了文本到图像的生成过程:CLIP的文本嵌入首先被送入一个自回归或扩散(diffusion)先验,以产生一个图像向量。然后这个向量被用来作为扩散解码器的条件,可以产生一个最终的生成图像。注意,在训练先验和解码器的过程中,CLIP模型的参数都是冻结的。

 

 

新的解码器模型还有一个与众不同的功能,那就是可以直接可视化CLIP图像编码器所看到的东西来探索CLIP的潜空间!

 

比如用CLIP对一幅图像进行编码,然后用扩散解码器对其图像向量进行解码,就能得到图像的变化,这些变化就可以告诉我们哪些信息在CLIP图像向量中被捕获(在不同的样本中被保留),哪些信息丢失掉了(在不同的样本中存在变化)。

 

 

有了这个思路作为指导,就可以在CLIP向量之间进行插值来混合两个图像之间的信息,比如在夜空和狗这两张图片之间存在一个连续变化的向量空间。

 

 

这个功能也提供可以预防字体攻击(typographic attacks),比如在一些图片中,文字是覆盖在物体前面的,这就会导致CLIP模型更倾向于预测文字描述的物体,而不是图像中描绘的物体。例如写着iPod的苹果,就会导致一些苹果也被错误分类到iPod里了。

 

 

在新模型里,可以发现解码器仍然以高概率生成苹果的图片,并且尽管这个标题的相对预测概率非常高,但该模型从未产生iPod的图片。另一种可能性是探测CLIP潜空间本身的结构。

 

研究人员还尝试采取了少数源图像的CLIP图像向量,并用逐渐增加的PCA维度来重建,然后用解码器和固定种子上的DDIM来可视化重建的图像嵌入,也使得我们能够看到不同维度所编码的语义信息。

 

 

可以观察到,早期的PCA维度保留了粗粒度的语义信息,如场景中的物体类型,而后期的PCA维度则编码了更细粒度的细节,如物体的形状和具体形式。例如,在第一个场景中,早期的维度似乎编码了有食物、容器等,而后续的维度则编码了西红柿、瓶子等更具体的事物。

 

在MS-COCO上的数据集比较中,使用FID在MS-COCO的验证集上作为评估指标已经是一个标准做法。

 

unCLIP与GLIDE、DALL-E一样,没有直接在MS-COCO训练集上进行训练,但仍然可以在MS-COCO验证集上的zero-shot取得一定的泛化性能。

 

实验结果可以发现,与其他zero-shot模型相比,unCLIP在用扩散先验取样时达到了新的最优的FID结果,即10.39。

 

 

在MS-COCO的几个标题上将unCLIP与最近的各种文本条件图像生成模型进行了直观的比较后可以发现,与其他方法一样,unCLIP生成的现实场景都符合文本提示。

 

 

总的来说,DALL-E 2的生成图像表征能够明显提高图像的多样性,在逼真度和标题相似性方面的差距也最小。

 

文中提出的以图像表征为条件的解码器还可以让图像产生变化,保留其语义和风格的同时,改变图像表征中不存在的非必要的细节。

 

在对自回归和扩散模型的对比实验后,可以发现扩散模型在计算上更有效率,并能产生更高质量的样本。

 

参考资料:

 

https://openai.com/dall-e-2/

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注