Press "Enter" to skip to content

新AI时代序幕已拉开 不信请看这十四大例

时间过得比我们预想的要快,并且摩尔定律依然在发挥着作用。但是,仍然有很多事情要做。在接下来的文章中,我希望能够 列出2019年(部分发生在2018年)机器学习(ML)和深度学习(DL)领域的重大事件。 这些大部分都是基于神经网络的模型,给我留下了深刻的印象。

 

 

图1:BigGAN生成的时钟图像

 

伊恩·古德费罗(Ian Goodfellow)曾发布推文,完美地展示了深度学习领域取得的成就:在短短4年半时间里,生成性对抗网络(GAN)技术在面部生成领域取得的重大进展。即使这与特定的主题有关,GAN取得的进步也很好地表明了已经发生的事情,以及即将发生的事情。一幅画胜过千言万语。我有一种感觉,2019年的进步比几年前迅猛得多。

 

1

 

BigGan

 

BigGan扩展了生成性对抗性网络(GAN),允许用户在巨大的可视数据库上进行训练,并生成新的可视图像。 该系统的核心是两个神经网络,即生成器和鉴别器。生成器创建新的视觉效果,并试图说服鉴别器它是真实的图像。而鉴别器将生成的图像与其“经验”对照,并将其作为“未通过”发送回生成器。这种反复的相互作用会始终持续下去,直到双方达成某种“共识”。尝试使用这款BigGAN功能,用户可以使用分类条件采样并创建例如山谷之类的图像:

 

 

图2:BigGAN生成的山谷图像

 

如你所见, BigGa n仍然属于弱人工智能(Weak AI)。 该网络不知道时钟是什幺,它们只是知道,这个东西会是什幺样子:“圆形”,“有字符和箭头”。我认为AI解释世界的尝试与柏拉图的形式与思维理论有明显的相似之处:在柏拉图看来,思维或形式是物质事物的元物理本质。物质的东西不是原作,而只是思维或形式的仿制品。

 

2

 

BigGAN蜕变

 

我们可以更进一步, BigGAN不仅仅能生成带标签的图像,我们还可以使用它和插值函数来合并和变形东西。 在BigGAN的情况下,生成的图像A转换为生成图像B是可能的,尽管它们在语义上是不同的。使用这些设置,你可以把约克夏犬变成航天飞机,这种方法开启了前所未有的可能性,甚至超越了人类的想象。你甚至可以制作出渐变性更强的画面,并将它们组合成动画素材。

 

 

图3:狗狗变成了航天飞机

 

3

 

风格转换

 

StyleGAN允许另一种类型的图像修改—— 风格转换,即图像A的风格被转移到图像B中。 目前有各种各样基于深度学习的免费和付费应用程序,可以把你的图像转换成世界艺术大师的艺术作品。我用各种艺术家的风格转换了我的用户图片,得到了令人信服的结果。

 

 

有人可能很熟悉风格转换功能,因为Towards Data Science提供了许多关于这个主题的很棒的文章。艺术家基尼·科根(Gene Cogan)将风格转移运用到迪斯尼的《爱丽丝梦游仙境》(茶会场景)中,并将17个着名的艺术作品的风格转移到动画中。最近,StyleGAN2进入人们的视线,其图像质量得到了提高。此外, 新的图像修改方式也成为可能。 例如,StyleGAN投影,与任何可能的图像中的目标图像对齐。

 

4

 

风格转换的创意运用: 绘画的深度协调性

 

 

有些艺术家和开发者使用风格转换功能来进行创造性的图像处理。这个想法非常简单:1)以目标图像B为例;2)将其风格转换为要构建到B中元素;3)结合与享受。该方法允许的艺术用途,例如用于数字图像拼贴中的风格转移。 基尼·科根(Gene Cogan)在自拍照中使用风格转换功能,将自己植入到世界艺术史中。

 

5

 

Comixify,将视频转换为故事板

 

 

华沙科技大学的研究人员都对人工智能和漫画艺术着迷,为此他们把自己的热情结合到一个惊人的项目中。1)该模型 利用智能视频摘要对视频进行分析 ;2)视频 片段中的场景由 深度学习定义的、最具美学影响的 帧分隔 ;3)对图像的 特定风格化进行了风格转换 ;4) 选定 的帧被放入故事板或漫画布局 中。

 

我是塔尔科夫斯基(Tarkovsky)电影的超级粉丝,所以我很想看看这部超级版《潜行者》会发生什幺。结果令人震惊,特别是如果你知道并且喜欢这部电影,你会发现画面的选择是多幺令人惊讶。它实际上描绘了《潜行者》的核心思想,却没有破坏电影。

 

6

 

CycleGAN,无输入输出对的图像到图像转换

 

 

当BigGAN在预先训练的基础上生成新图像,StyleGAN在两个图像之间传输样式时, CycleGAN使用单个图像将其样式或特征转换成不同的东西。 实际上,这是一个不配对的图像到图像转换,使用的是周期一致的对抗网络。1) 图像由GAN进行分析(包括模式和目标检测);2)应用预先训练好的特征修改;3)与“1”中的图像相同,“2”实现了新的视觉效果。

 

CycleGAN在不引用其他图像的情况下更改图像的样式和视觉特征。它不仅可以把一个预先训练好的艺术家风格转化成一张照片,也可以将一幅画修改成逼真的照片,使用预先训练的分割特征知识。你甚至可以在“马与斑马”之间进行转换。对我来说最重要的是, 深度学习使图像的可修改性达到了一个新的高度,适合艺术用途。 但危险同样存在,比如滥用情况。

 

7

 

StyleGAN训练绘画

 

 

_C0D32_在reddit上训练StyleGAN使用kaggle提供的24k艺术数据集。通过他修改的代码,产生了各种风格的新艺术作品。也就是说, StyleGAN用预先训练过的艺术风格尝试创作原创艺术品。 有趣的是:即使你用这个模型得到了无数独特的艺术品,但只要有一些艺术史的知识,你就可以猜到,哪些风格、艺术运动甚至艺术家在新的图像中闪耀着光芒。

 

8

 

pic2pix: 图像到图像转换

 

Pix2pix是由菲利普·伊索拉(Phillip Isola)等人开发的,并在2017年迅速走红。 由条件对抗网络完成的图像转换,允许将人造涂鸦呈现为照片级的图像。

 

这肯定 不只是有趣的草图转换 :通过预定义的设置,用户可以将航拍照片转换为地图,将日光照片转换为夜景照片等。条件对抗网络检测模式并将其转换为所需的主题(你必须定义目标图像任务)。网络针对特定的标记图像数据集进行训练。

 

英伟达通过GauGan将这种方法提高到了另一个水平,这是他们在AI Playground进行的实验之一。你可以使用分段驱动草图:每种颜色都应用于特定的对象或材质。转换后生成新图像具有类似CycleGAN的功能,可在各种视觉功能之间切换。

 

 

9

 

pix2pix、face2face、DeepFake以及Ctrl+Shift+Face

 

深度学习的世界充满了实验。人们跳出思维束缚,这是深度学习最鼓舞人心的地方,也是通用人工智能最鼓舞人心的地方。吉恩·科根(Gene Cogan)用动态的Pix2pix进行了实验:在这种情况下,来源不是草图,而是网络摄像头(他的脸),目标是根据特朗普的照片进行训练。

 

这些实验启发了研究人员,开发face2face程序。 face2face是个模仿德国总理面部表情的Pix2Pix演示程序。 1)face2face模型了解面部特征/地标;2)扫描面部特征的摄像头输入;3)它最终把这些输入变成了另一张脸。

 

后真相时代的另一个前沿已经到来, 现在我们不仅可以修改图像,还可以修改移动的图像。 就像流行即时通讯应用上的AR应用程序一样,人工智能以完美的方式解释视频片段并对其进行修改。像Ctrl+Shift+Face这样的艺术家将这种方法完善到了令人难以置信的水平:他在face2face帮助下转换了邪教电影中演员的顽皮面孔。

 

这种实现在以下方面具有多种可能性:电影制作人可以在试镜前与演员进行实验。他们还可以本地化电影,以便更好地同步各种语言,就像Synthesia对大卫·贝克汉姆(David Beckham)所做的那样。

 

现在想象一下使用AI驱动的语言翻译和语音合成进行国际视频会议的这些可能性。艺术家们可以创作出颠覆性和超现实主义的“Being John Malkovich”之类的杰作。

 

逝去的人也可以复活。最好的例子是歌手Hibari Misora,他在一年一度的日本新年电视活动NHK Kōhaku Uta Gassen上表演了新歌,即使她30年前就去世了。在AI的帮助下重建视觉,用Voaloid模拟语音。

 

但深度换脸(DeepFake)的新途径是开放的。还记得ZAO吗,这是一款深度换脸搞笑应用程序:可以将普通人的脸换到名人身上,比如莱昂纳多·迪卡普里奥(Leonardo DiCaprio)。

 

10

 

三维肯·伯恩斯效应

 

这款由西蒙·尼古拉斯(Simon Nikolaus)开发的模型 可以将单幅图像转换为跟踪镜头。 该模型识别背景,模拟深度,用内容敏感的修复来填充缺失的区域,添加新的角度。简而言之, 只需一张图像,你就可以生成空间3D视频片段。

 

11

 

ArtBreeder: 不限量 生成艺术品

 

乔尔·西蒙(Joel Simon)将BigGAN和其他模型应用到用户友好的Web应用程序ArtBreeder中。 你有许多不同的可能性来创建和修改面孔、风景、通用图像等。 Artbreder同时在一个生动的社区中成长和发展,在这个社区中,用户和开发者正在进行持续的对话。

 

 

12

 

DeOldify,黑白照片的脱旧彩色化

 

DeOldify是由詹森·安蒂科(Jason Antic)创建并发布的。 这个项目的任务是对旧图像和胶片进行彩色化和修复。 DeOldify使用通过两个神经网络生成器和鉴别器之间的迭代交互作用(就像ArtBreeder中的那样),生成性对抗性网络。

 

但与上个模型不同的是,DeOldify中的图像不会以其形式修改或生成。GAN的力量带来了颜色,生成器将颜料应用到它训练过的识别对象上,而鉴别器则试图批评颜色的选择。当然,这些颜色不会重复原来的调色板。但它使历史照片充满活力,使它们与我们的时代格格不入。

 

13

 

由AI提供动力的VR

 

AI驱动的VR是可能的。实际上,这是英伟达一年前发布的新闻,而且非常有前景。在这里,城市和视觉都是在谷歌街景上训练的,所以 VR城市体验是通过深度学习模型重建的。

 

为了进行培训,研究团队在装有cuDNN加速PyTorch深度学习框架的DGX-1上使用了NVIDIA Tesla V100 GPU,以及来自Cityscapes和Apolloscapes数据集的数千个视频。你可以想象这种方法的所有潜力:“从头开 始”逼真的城市模拟,帮助城市发展,交通管理和物流,重塑视频游戏前景。

 

14

 

Runway ML

 

Runway是个终极应用程序,它 使用各种ML/DL模型来满足不同的需求。 它可以翻译Image2Text,在图像之后生成文本(使用GPT-2),检测照片和视频片段中的对象,还可以将各种模型组合成连锁反应,而且是免费的。

 

 

额外奖励

 

AI的冬天(希望)终于过去了。技术在快速进步,我们紧密联系,思想交流前所未有地活跃。而AI复兴最大的好处就是:深度学习与机器学习的普及和民主化。

 

如今,不仅Python使用者和NVIDIA GPU拥有者可以享受到无限的可能性:每个人都可以做到这一点。作家,艺术家,其他非技术领域的人可以使用Colab/Jupyter笔记本,用户友好的应用程序,如ArtBreadder和RunwayML等。

 

选自:towardsdatascience 作者:Vlad Alex

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注