Press "Enter" to skip to content

ICML 2022 | 训练方法大统一,清华&字节等揭秘非自回归文本生成模型学习挑战

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

本文将介绍清华&字节跳动 AI Lab NLP 等在 ICML 2022 上发表的并行生成模型学习理论。该理论指出, 条件总相关 (Conditional Total Correlation) 是数据分布的一个重要属性,其大小将严重影响并行生成模型的学习难度 。同时,该研究发现,现有的大部分模型都等价于优化同一目标 MPLE,其本质在减小数据集中的条件总相关,因此提升了模型性能。该理论将现有模型统一到同一框架下,标志着对并行模型理解的进一步深入,引导了未来的并行模型设计。

作 者单位:

 

1 The CoAI group, Tsinghua University

2 Institute for AI Industry Research, Tsinghua University

 

论文链接:

 

https://arxiv.org/abs/2206.05975

 

 

图1:并行(非自回归)生成模型中的典型方法

 

近年来,并行文本生成模型(非自回归模型)的飞速发展引发了学界的广泛关注。与传统自回归模型相比,并行生成模型能够显着减少生成解码时的延迟,在最近的工作中取得了相近甚至更好的生成质量。

 

与自回归模型不同,直接使用最大似然估计 (Maximum Likelihood Estimation, MLE) 优化并行模型会生成不流畅的句子。目前虽然已有较多工作从不同的角度缓解了该问题,但仍缺少统一的理论解释。

 

本文将介绍一篇来自 ICML 2022 的论文。该论文从统一视角揭示了并行生成模型的学习奥秘,其中包含两个要点:

 

并行模型学习中的挑战主要来自于数据集的本身特性。 数据集的条件总相关 (Conditional Total Correlation) 越高,并行模型学习会损失更多的信息,生成性能也会越差。

 

已有模型的成功实质上具有同样的深层原因。 这些模型通过构造新的目标分布来减少数据集中的条件总相关,因此减少了学习中的信息损失

 

一、背景:自回归模型和并行模型的训练目标

 

传统自回归文本生成模型,例如自回归 Transformer (Autoregressive Transformer, AT),通过逐词预测的方式分解整句话的生成概率。在该分解下,我们通常使用最大化似然估计 (Maximum Likelihood Estimation) 训练AT模型。

 

 

近年来,并行生成模型因其高效的解码过程获得了大量关注。非自回归 Transformer (Non-Autoregressive Transformer, NAT) 尝试在解码过程中同时、独立地预测每一个词。在该假设下,最大似然估计的训练目标如下图所示。

 

 

实验表明,仅仅优化并行模型的似然函数并不一定能带来性能的提升,下面一个例子可以说明这一点。

 

例子:似然概率与生成质量的背离

 

 

图2:使用传统 MLE 和其他优化方法 (GLAT+KD) 训练 NAT 模型的轨迹(二维平面投影)。以上数据在WMT14 En-De 机器翻译数据集获得。

 

上图的例子分别选用了 MLE 和另一种 NAT 训练方法 (GLAT+KD, [2]),从同一 Checkpoint 开始训练。结果显示, MLE 训练可以提升模型的似然概率 (Likelihood),但最终却降低了生成质量 (BLEU);GLAT+KD 的结果恰好相反 。这说明,传统的最大似然估计在 NAT 训练中并不奏效。

 

二、挑战从何而来:数据集的条件总相关 (Conditional Total Correlation)

 

该工作指出,NAT 模型在 MLE 优化下的生成质量与数据集本身的特性具有较大的联系。在介绍具体概念之前,我们先观察一个直观的例子。

 

直观理解:为何MLE无法提升生成质量

 

 

图3:(a) 目标数据分布。 分别代表句子中的两个词。左侧使用了连续分布,可以类比为表格中的离散分布。(b) 使用 MLE 训练的 NAT 模型。注意 NAT 需要满足独立预测性质,因此 。

 

上图展示了给定目标分布 (a) 下,NAT模型 (b) 的拟合情况。可以看到,NAT虽然 可以完美地拟合数据的边际分布 (marginal distribution) ,但丢失了词间的关联信息 ,因此生成不正常的词语搭配(例如 “no course” 或 “of problem”)。

 

理论解释:条件总相关导致信息丢失

 

在上一个例子中,我们看到使用 MLE 训练的 NAT 模型将丢失一部分信息。那具体来说,这部分丢失信息和什幺有关,又是否能被减轻呢?该工作证明了以下定理:

 

定理1:给定数据集 ,NAT模型的信息损失可以表示为 ,其最小值不低于数据集的条件总相关 。

 

其中, 条件总相关 是数据分布的一种属性[5],其物理含义为: 已知时,目标序列 中每个词之间的关联信息大小。当数据分布确定后,该属性值也已经确定。

 

该定理有两点推论:

 

1. 通过 MLE 训练的 NAT 模型,其信息损失恰好为数据的条件总相关 。

 

2. 任何 NAT 模型,若数据分布已确定,无论使用何种训练手段,其信息损失将不少于条件总相关 。

 

上述推论表明, 数据集的条件总相关为 NAT 训练中的最大障碍 ,它使得传统的 MLE 训练失效,同时也无法通过简单的方法来减少学习中的信息损失。

 

 

图4:文章选取了多个数据集展示条件总相关 和生成质量的关系。 为 MLE 训练下 AT 与 NAT 的生成质量差距。总体来说,数据集的条件总相关越小,NAT 的生成质量越好。

 

三、并行模型学习的统一视角

 

上一节的推论表明,NAT 模型学习时的信息损失由数据分布完全确定,仅仅调整训练方法将无法减少该信息损失。那幺已有的 NAT 模型是如何取得更好的生成质量呢?

 

通过观察 NAT 中现有的训练方法,该工作发现:大部分 NAT 的训练方法均 构造了一个新的分布用于减少数据集中的条件总相关 ,并取代了原始数据分布优化模型 。其中,被构造的新分布被称为 代理分布 。

 

代理分布 Proxy Distribution

 

 

图5:NAT典型训练方法中构造代理分布的示意图

 

如上图, NAT的典型训练方法通过两类手段构造了代理分布:

 

修改输出目标 。例如:知识蒸馏 (KD) 使用自回归模型的输出来替代原始数据集的目标。

 

增强输入 。例如:CMLM 引入被 Mask 过的目标作为提示,输入给解码器。

 

除图中所示的方法外,文章还分析了其他的一些方法与构造代理分布的关系,包括:隐变量模型、迭代式模型、预测长度倍增模型 (CTC与DA-Transformer) 等。

 

统一学习框架 :Maximum Proxy-Likelihood Estimation

 

基于以上分析,该工作提出了统一的学习框架—— 最大代理似然估计 (Maximum Proxy-Likelihood Estimation,MPLE) 。该框架的训练目标可以简单写为:

 

 

该目标分为两项:

 

修改的 MLE 目标。 第一项在原始 MLE 的目标基础上,将真实数据替换为了代理分布 ,以优化 NAT 模型 在 上的似然函数。

 

与真实数据偏差。 第二项约束了代理分布 与真实数据 分布间的差距。

 

该工作进一步通过变分理论的推导,得到了以上 MPLE 训练目标的可计算形式,此处不再赘述。

 

实验验证:MPLE 减少信息损失

 

 

图6:各方法的信息损失与原数据集条件总相关 (Conditional TC) 的大小比较。

 

为了验证代理分布 能够减少 NAT 模型学习时的信息损失,上图比较了各个方法的信息损失与原数据条件总相关的大小。可以发现,除了不修改数据集 (Raw) 外,其他优化方法均能有效的减少训练时丢失的信息,进而提升模型的生成性能。

 

除以上验证外,该工作还给出了更多的分析结果:

 

优化目标与质量的相关性。 与 MLE 不同,实验证明 MPLE 的目标函数与模型生成质量有较强的相关性 (Pearson相关系数 |r|>0.95)。

 

提高现有方法可解释性。 MPLE 解释了各方法中的超参选择,即很多已有方法引入的超参均在平衡 MPLE 中的两项损失:代理分布的条件总相关,以及距离真实数据数据的偏差。

 

指导新训练方法的设计。 基于 MPLE,该工作提出了知识蒸馏的变种,通过直接优化 MPLE 的训练目标,提高了生成质量 (+0.7 BLEU) 。

 

四、总结

 

该工作详细讨论了并行模型学习中存在的问题,并指出其主要挑战来自于数据集的条件总相关 (Conditional Total Correlation)。该工作进一步提出了统一视角 MPLE,来解释已有的模型训练方式,即构造代理分布来降低学习中的信息损失。实验表明,该视角能够很好地解释目前的各类现象,并能引导新训练方法的设计。

 

并行生成模型作为文本生成的新范式,近年来获得了越来越多的关注。本文介绍的工作揭示了其学习过程中的重要挑战,并将大量已有工作纳入了统一框架。并行生成的下一步应该走向哪里?希望本文能给大家带来一些思考。

 

参考文献

 

[1] Gu, J., Bradbury, J., Xiong, C., Li, V. O. K., and Socher, R. Non-autoregressive neural machine translation. ICLR 2018.

 

[2] Qian, L., Zhou, H., Bao, Y., Wang, M., Qiu, L., Zhang, W., Yu, Y., and Li, L. Glancing transformer for non-autoregressive neural machine translation. ACL 2021.

 

[3] Qian, L., Zhou, Y., Zheng, Z., Zhu, Y., Lin, Z., Feng, J., Cheng, S., Li, L., Wang, M., and Zhou, H. The volctrans GLAT system: Non-autoregressive translation meets WMT21.

 

[4] Huang, F., Zhou, H., Liu, Y., Li, H., and Huang, M. Directed acyclic transformer for non-autoregressive machine translation. ICML 2022.

 

[5] Watanabe, M. S. Information theoretical analysis of multivariate correlation. IBM J. Res. Dev., 4(1):66–82, 1960

 

 

作者:黄斐

Illustration  b y Marina Green   from icon s8

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。