Press "Enter" to skip to content

登顶Github趋势榜,非监督GAN算法U-GAT-IT大幅改进图像转换效果

近日,GAN的大家族又出一位重量级新成员U-GAT-IT,图像转换效果提升明显,原作者开源代码这两天登顶Github趋势榜,引起极大关注。

 

U-GAT-IT算法源自论文U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation:

 

 

作者来自韩国NCSOFT公司与波音韩国工程技术中心。

 

论文主要贡献:

 

1. 提出了一种新的无监督图像到图像转换方法,它具有新的注意力模块和新的归一化函数AdaLIN。

 

2. 提出的注意力模块通过基于辅助分类器获得的注意力图,区分源域和目标域,帮助模型知道在何处进行密集转换。

 

3. AdaLIN函数帮助我们的注意力引导模型灵活地控制形状和纹理的变化量,而无需修改模型架构或超参数。

 

U-GAT-IT,是无监督的GAN,训练时不需要成对图像, 由两套GAN系统循环图像转换组成 。

 

一套GAN系统,将图像从源域到目标域转换。

 

另一套GAN系统,将图像从目标域向源域转换。

 

故其有两套生成器和判别器。

 

为了让系统在生成和判别时更具针对性对特定区域进行转换和鉴别,作者加入 CAM( 意即类激活图模块)。 它能找出对于判断一张图的真假最重要的区域,这样生成器和判别器就可对此区域更具针对性生成和判别。

 

作者使用的生成器:

 

 

作者使用的判别器:

 

 

另外作者发明了 AdaLIN 归一化方法,其作用为在归一化时,在 Instance Normalization (IN ) 和Layer Normalization(LN)两种归一化方法之间动态自适应选择,不局限于常用的IN。

 

作者称, AdaLIN 可以使得系统 灵活控制形状与质地的变化 。

 

实验结果

 

作者首先研究了添加注意力模块CAM给系统带来的影响,下图为几幅图像转换的视觉效果比较:

 

 

(a)为原图像,(b)为生成器的注意力图,(c)(d)为鉴别器的局部和全局注意力图,(e)为使用CAM后的图像转换结果,(f)为不实用CAM的结果。

 

可见,该文提出的CAM模块极大提升了转换图像的视觉效果。

 

数值量化比较结果如下:

 

 

可见使用CAM与AdaIN,均使得算法效果提升。

 

作者在多个数据集上进行转换,并进行了用户主观感受的调查研究:

 

 

共有135位参与者对使用图中 5 种算法转换的结果进行了打分,U-GAT-IT可谓是取得了 压倒性的优势 !

 

作者在几大数据集上对正向和逆向图像转换都进行了比较,数值结果如下:

 

 

U-GAT-IT在大多数情况下都是最好的!

 

总之,U-GAT-IT是目前无监督图像转换的新标杆!

 

多说一句,

 

图像转换有什幺用?

 

除了“自拍变漫画”、“猫变狗”、“狗变猫”、“实景变素描”这些偏娱乐性的应用,图像转换也可以用来做“正经事”。

 

CV君曾经跟大家分享了一篇无监督GAN用于医学图像数据增广的文章:

 

数据不够,用GAN来凑!

 

大大丰富了医学影像分割的数据,有效提升了分割质量。

 

现在可以使用 U-GAT-IT来一波神笔马良的操作了~

 

论文地址:

 

https://arxiv.org/pdf/1907.10830.pdf

 

TensorFlow版代码:

 

https://github.com/taki0112/UGATIT

 

PyTorch版代码:

 

https://github.com/znxlwm/UGATIT-pytorch

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注