Press "Enter" to skip to content

从头训练一个神经网络!教它学会莫奈风格作画!

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

:bulb: 作者: 韩信子 @ ShowMeAI
:blue_book:深度学习实战系列: www.showmeai.tech/tutorials/4…
:blue_book:PyTorch 实战系列: www.showmeai.tech/tutorials/4…
:blue_book:本文地址: www.showmeai.tech/article-det…
:loudspeaker: 声明:版权所有,转载请联系平台与作者并注明出处
:loudspeaker: 收藏ShowMeAI查看更多精彩内容

 

如今 AI 艺术创作能力越来越强大,在艺术作画上表现也异常惊人,大家在ShowMeAI的文章 :blue_book: AI绘画 | 使用Hugging Face发布的diffuser模型快速绘画 和 :blue_book: AI绘画 | 使用Disco Diffusion基于文本约束绘画 了解新技术进展和 AI 作画效果展示,其中 OpenAI 的 DALL-E 2 和 Google 的 ImageGen 等项目基于文本提示作画的结果和真实艺术家的成品难辨真假。

 

但上述效果好的大厂项目通常是付费而非开源的,即使有少数开源项目,也远远超出了本地电脑的计算能力(至少对于那些电脑没有 GPU 的宝宝来说)。 本篇我们用不同于 diffuser 模型的另外一种方法:GAN(生成对抗网络)来完成AI作画。

 

本篇内容中ShowMeAI将带大家来使用 GAN 生成对抗网络完成莫奈风格作画。

 

 

:bulb: GAN简介

 

我们本篇使用到的技术是GAN,中文名是『 生成对抗网络 』,它由两个部分组成:

 

生成器:『生成器』负责生成所需的内容(在当前场景下是图像),未经训练的生成器随机生成的效果类似噪声,但随着训练过程推进,生成器会产出越来越逼真的结果,直至『判别器』无法分辨真实图像与AI绘制的图像。

 

判别器:『判别器』负责监督生成器学习,它将真实图像与生成器生成的图像进行比较,检测和分辨真假。随着训练过程推进,它越来越有分辨能力,并督促生成器不断优化。

 

下图是一个简易的 GAN 示意图:

 

 

自2014年第一个 GAN 被研究者提出,经过多年它已经有非常长足的进步,产生越来越好的结果。在本教程中,ShowMeAI将基于 Pytorch 基础上的一个 GAN 工具库 torchgan 完成一个 DCGAN 并应用于莫奈风格的图像绘制任务上。

 

 

:bulb: 数据集&数据处理

 

本篇使用到的数据集来源于着名大师莫奈的画作,我们基于这些优秀的画作,让神经网络学习和尝试产生类似的内容。法国画家 :blue_book: 克劳德·莫奈 生活在 19 世纪,他的画作可以在 :blue_book: www.wikiart.org/en/claude-m… 获取。

 

 

因为希望模型学习到的信息更充分,我们还扩充使用了很多类似大师风格的图像,更大的数据量可以使训练过程更容易。我们人类有很多背景知识先验知识,例如天空是蓝色的,树木是绿色的,但从神经网络的角度来看,任何图像都只是一个 RGB 数组,更多的数据可以帮助它们掌握这些基本规律。

 

 

关于数据处理与神经网络的详细原理知识,大家可以查看ShowMeAI制作的深度学习系列教程和对应文章

 

深度学习教程:吴恩达专项课程 · 全套笔记解读

 

深度学习教程 | 深度学习的实用层面

 

深度学习与计算机视觉教程:斯坦福CS231n · 全套笔记解读

 

深度学习与CV教程(7) | 神经网络训练技巧 (下)

 

不过,即使采用了外观相似的图像,数据量依旧有点小。我们将使『 数据增强 』技术——它通过对图像的变换来构建新的图像达到数据扩增的效果。

 

我们创建一个自定义 Dataset 类,借助于 pytorch 的 transforms 功能,可以轻松完成数据扩增中的各种变换:

 

import torch.nn as nn
import torch.utils.data as data
import torchvision.datasets as dsets
import torchvision.transforms as transforms
import torchvision.utils as vutils
from PIL import Image
import globimg_size = 256
class ImagesDataset(data.Dataset):
    def __init__(self, images_path: str):
        self.files = glob.glob(images_path)
        self.images = [None] * self.__len__()
    def __len__(self):
        return 1000
    def __getitem__(self, index):
        if self.images[index] is None:
            self.images[index] = self.generate_image()
        return self.images[index]
    def generate_image(self):
        index = random.randint(0, len(self.files) - 1)
        img = Image.open(self.files[index]).convert('RGB')
        transform = transforms.Compose(
           [transforms.Resize(img_size + img_size//2),                                                   
            transforms.RandomCrop(img_size),
            transforms.RandomHorizontalFlip(),
            transforms.ToTensor()])
        resized = transform(img)
        return resized, index

 

上面的代码中,我们将所有图像调整为稍大的尺寸,然后应用随机裁剪和翻转构建新的输出图像。 对于莫奈的画,只使用了水平翻转和裁剪比较稳妥,但对于现代艺术样本,垂直翻转或随机旋转可能也是适用的。

 

我们随机取一点数据集,做可视化和验证有效性:

 

import torchvision.utils as vutils
import matplotlib.pyplot as plt
def show_images(batch):
    plt.figure(figsize=(12, 12))
    plt.axis("off")
    plt.title("Training Images")
    plt.imshow(np.transpose(vutils.make_grid(batch, padding=2, 
                            normalize=True).cpu(), (1, 2, 0)))
    plt.show()dataset = ImagesDataset(images_path="Paintings/Monet/*.png")
dataloader = data.DataLoader(dataset, batch_size=batch_size,  
                             shuffle=True)
batch = next(iter(dataloader))
show_images(batch[0][:64])

 

运行代码后,我们可以看到如下结果:

 

 

莫奈创作了大约 2500 幅画作,当然完整的画作集中可能会包含不同的内容物,大家看可以稍作筛选。

 

:bulb: 构建神经网络

 

我们准备好数据集后,下一步就开始创建神经网络模型了。我们基于 :blue_book: torchgan 工具库,构建 GAN 并不复杂:

 

import torch
from torchgan.models import *
from torchgan.losses import *
dcgan_network = {
    "generator": {
        "name": DCGANGenerator,
        "args": {
            "encoding_dims": 100,
            "step_channels": 40,
            "out_channels": 3,
            "out_size": img_size,
            "nonlinearity": nn.LeakyReLU(0.3),
            "last_nonlinearity": nn.Tanh()
        },
        "optimizer": {"name": Adam, 
                      "args": {"lr": 0.0005, "betas": (0.5, 0.999)}}
    },
    "discriminator": {
        "name": DCGANDiscriminator,
        "args": {
            "in_channels": 3,
            "in_size": img_size,
            "step_channels": 40,
            "nonlinearity": nn.LeakyReLU(0.3),
            "last_nonlinearity": nn.LeakyReLU(0.2)
        },
        "optimizer": {"name": Adam, 
                      "args": {"lr": 0.0006, "betas": (0.5, 0.999)}}
    }
}
lsgan_losses = [LeastSquaresGeneratorLoss(),
                LeastSquaresDiscriminatorLoss()]

 

我们通过配置的方式,通过字典对网络结构和参数进行了设置。我们这里定义的DCGAN模型包含一个生成器 DCGANGenerator 和一个判别器 DCGANDiscriminator 。

 

下一步我们训练网络:

 

# 使用GPU或者CPU
if torch.cuda.is_available():
    device = torch.device("cuda:0")
    torch.backends.cudnn.deterministic = True
else:
    device = torch.device("cpu")batch_size = 64
# 迭代轮次
epochs = 2000
# 训练器
trainer = Trainer(dcgan_network, lsgan_losses, 
                  sample_size=batch_size, epochs=epochs,
                  device=device,
                  recon="./torchgan_images",
                  checkpoints="./torchgan_model/gan2",
                  log_dir="./torchgan_logs",
                  retain_checkpoints=2)
# 训练
trainer(dataloader)
trainer.complete()

 

上述代码中涉及的参数都可以调整,每一轮训练后会在 torchgan_images 文件夹中生成图像样本,训练得到的模型保存在 torchgan_model 文件夹中(模型文件不小,对于 256×256 的小尺寸图像,它的大小约为 440M Bytes),但我们仅在磁盘上保留最后 2 个模型 checkpoint。

 

训练过程中的中间数据日志记录在 torchgan_logs 文件夹下,我们可以通过 TensorBoard 工具实时查看训练中间状态,只需要运行 tensorboard -logdir torchgan_logs 命令即可,运行后我们可以在浏览器界面的 http://localhost:6006 URL中查看中间训练过程,如下图所示:

 

 

:bulb: 训练与优化

 

GAN的训练过程是比较缓慢的,大家可能需要一些耐心。 GeForce RTX 3060 显卡 GPU + Ryzen 9 CPU 的设备上,对尺寸为 256×256 的图像数据集进行 2000 次训练大约需要 4 小时。

 

整个训练过程中,可以看到神经网络逐步生成越来越好的图像,我们把不同阶段的生产效果做成动图,如下所示:

 

 

有兴趣大家可以试着调整一下输入参数,也可以采集和提供更多的训练图片,效果可能会更好。

 

:bulb: 总结

 

对比之前 ShowMeAI 提到过的 diffuser 模型,我们这里使用 :blue_book: DALL-E Mini 的在线版本 也生成了莫奈画作的图像,如下所示:

 

 

我们的DCGAN代码生成的结果分辨率会弱一点:

 

 

DALL-E Mini 的模型结构做过调整,且在数百万张图像进行过训练,比我们几个小时训练完的小模型效果好是正常的。大家如果采集更多的数据,尝试不同模型参数,结果可能会更好,快来一起试一试吧。

 

参考资料

:blue_book: AI绘画 | 使用Hugging Face发布的diffuser模型快速绘画 : www.showmeai.tech/article-det…
:blue_book: AI绘画 | 使用Disco Diffusion基于文本约束绘画 : www.showmeai.tech/article-det…
:blue_book: 克劳德·莫奈 : en.wikipedia.org/wiki/Claude…
:blue_book: Claude Monet 画作 : www.wikiart.org/en/claude-m…
:blue_book: 深度学习教程:吴恩达专项课程 · 全套笔记解读 : www.showmeai.tech/tutorials/3…
:blue_book: 深度学习教程 | 深度学习的实用层面 : www.showmeai.tech/article-det…
:blue_book: 深度学习与计算机视觉教程:斯坦福CS231n · 全套笔记解读 : www.showmeai.tech/tutorials/3…
:blue_book: 深度学习与CV教程(7) | 神经网络训练技巧 (下) : www.showmeai.tech/article-det…
:blue_book: torchgan : github.com/torchgan/to…
:blue_book: DALL-E Mini 的在线版本 : huggingface.co/spaces/dall…

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。