Press "Enter" to skip to content

生成对抗网络(GAN)的统计推断

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

 

©PaperWeekly 原创 · 作者 | 尹娟

 

学校 |  北京理工大学博士生

 

研究方向 |  随机过程、复杂网络单位

 

 

引言

 

该论文从统计学的角度去研究生成性对抗网络。GAN 在当前是一种非常流行的深度学习模型,它分别由一个生成器和一个判别器组成,目标是去解决一个特定的极小极大值问题。这个极小极大问题通常有许多解,该论文的重点是去分析 GAN 的优化解在统计学上的性质。

 

作者主要解决了生成器和判别器网络参数的两个关键性问题: 一致性估计和置信集。 对 GAN 理论感兴趣的可以找出该论文的讲解研读一番。

 

 

论文标题:

 

Statistical inference for generative adversarial networks

 

论文链接:

 

https://arxiv.org/abs/2104.10601

 

 

GAN形式

 

为了对 GAN 相关性质进行严格的理论分析,需要对其相关的数学符号给予定义。考虑一个样本数据向量 ,其中 是欧式空间中的一个子集 且分布未知。噪声向量 服从一个给定的分布(通常是多维均匀分布或者是多维高斯分布) 。生成器 将噪声向量 合称为样本数据 。判别器 的作用是对样本数据的真伪进行判断。作者从技术角度总结了以下的假设。

 

假设1: GAN

 

(a) 假设样本数据向量和噪声向量是分别服从和且独立同分布;

 

(b) 参数集是一个非空紧集;

 

(c) 生成器函数,判别器函数,对抗损失函数可以被定义为:

 

其中对所有的参数都是可测量和连续的。

 

这一假设包含了对原始 GAN 框架的一些最低要求,假设 (a) 中的独立同分布是 GAN 设置中的标准。假设 (b) 中允许参数空间是紧凑的。假设 (c) 是最小连续性假设,需要注意的是将具有与 X 相同的分布。

 

假设2:Smooth GAN

 

如果 GAN 的假设成立,在参数上对所有的是连续可微的,参数的平方可积导数有限:

 

 

则有:

 

作者重新整理了关于 GAN 的极小极大值问题的数学公式:

 

其中对所有固定的是凸函数,对所有固定的是凹函数。经典的冯·诺依曼极大极小定理意味着:

 

 

与此相反 通常是非凸和非凹的。在 GAN 应用中,感兴趣的对象不是问题的最优值而是最优的解决方案:

 

生成器中的参数可以将随机噪声合成样本数据。令为 GAN 极小极大化的最优解的集合,则有最大函数:

 

 

当点是 GAN 的最优解时则满足:

 

 

因此 GAN 最优解的集合可以被表示为:

 

等效的,当且仅当:

 

这启发了作者重新定义 GAN 的损失函数:

 

已知函数对所有的是非负的,并且当且仅当。所以,GAN 最优解的集合可以被重新写成为:

 

样本 GAN 的问题的公式写成如下形式:

 

 

类似的有如下形式的定义:

 

 

则样本 GAN 的最优解的集合为:

 

要知道找到的集合是一件非常有挑战的事情,现有的一些算法只是搜索近似解而不是求解 GAN 的精确解,给定一个任意小的非负常数,样本 GAN 的近似解满足:

 

点近似地解决了内部最大化问题和外部最小化问题,是这个最大化和最小化问题的松弛度。进行更一般的推广,令为一系列的任意小的非负随机变量,并且有(表示的是依概率收敛)。

 

 

以上的不等式可以表示为:

 

根据之前样本 GAN 标准函数的定义则有:

 

当时,可以得到一个精确解集的一个特例。

 

 

一致性估计

 

在 GAN 中距离的度量是非常有必要的。常用到的距离是欧几里得距离的一个常用推广豪斯多夫距离,对于某些欧氏空间的任意两个非空有界子集和,和的豪斯多夫距离表示为:

 

 

其中表示的是点到集合的最短距离。豪斯多夫距离是从一个集合中的任意点到另一个集合中最近的相邻点的最大距离。豪斯多夫距离是一种非空紧集族的度量,并且对于集合当且仅当。

 

在该论文中作者要证明的一致性结果本质上是豪斯多夫一致性即。该证明需要证明以下两个条件成立:

 

 

前一个条件保证和相差不大,后一个条件保证可以覆盖。

 

假设3:豪斯多夫距离依概率收敛

 

(a)其中关于连续;

 

(b) 当时,则成立。

 

假设4:收敛速度

 

(a)是一系列的非负随机变量并有;

 

(b)是一系列的正随机变量并有,。

 

定理1:一致性条件

 

(a) 如果假设3 (a) 和假设4 (a)  成立,则有:

 

 

(b) 如果假设3 (b) 和假设4 (b) 成立,则有:

 

 

定理1的 (a) 部分给出了单侧豪斯多夫一致性条件;在 (b) 部分的更强条件下,给出了期望的豪斯多夫一致性结果。在不知道多个解的情况下,定理 1 告诉我们 GAN 设置的结果是一个一致性结果,单侧一致性结果可以覆盖精确解,而双侧的情况下则需要选择更严格的松弛序列。

 

 

置信集

 

的置信集是以预定概率覆盖整个的随机集。设表示期望的覆盖概率,其中。作者的目标是构造置信集:

 

其中这里 指的是固定的 的概率测度。在传统的点识别设置中, 由单个点 组成,形成置信集的传统途径是考虑 附近的某个函数的泰勒近似;作者考虑的置信集基于标准函数 的适当的下轮廓集。如果已知 分布的 分位数 ,可以形成满足:

 

置信集。在适当的条件下,可以证明当时,对于保持随机有界,对于发散到无穷远。

 

GAN 问题有多个解,置信集 中子采样大小 使得当 时, 和 。那幺置信集 满足:

 

 

定理 2 表明,在处连续时,置信集的渐近覆盖概率至少为。一般来说,极限分布相当复杂,验证的连续性需要一些更具体的假设。

 

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注