Press "Enter" to skip to content

MetaNMT :来自MAML与NLP的温柔救赎

新神经机器翻译方法MetaNMT一经提出,就凭借其在低资源神经机器翻译上的优越性能表现而备受学界褒奖。MetaNMT的优异表现还要归功于MAML——与模型无关的元学习,使得MetaNMT与传统的NLP不同,能够更加高效地完成任务。

 

 

过去十年,随着Attention模型、LSTM、记忆Memory等等方法的出现,尤其是在神经网络的加持下,机器翻译的水平取得了长足的进步。

 

在英法、中英这样的大语种(Rich Language)翻译任务上,机器的表现几乎可以媲美人类的水平。甚至已经开始登堂入室,承接了不少国际大会的翻译业务,让人类翻译感受到了深深的失业焦虑。

 

然而,神经机器翻译(NMT)的成功,往往依赖于以大量高质量的双语语料作为训练数据。如果是蒙古语、印度语这些小语种,无法提供足够多的双语数据,更极端的现实情况是,有些语言几乎没有任何双语预料,这种情况下NMT就无能为力了。

 

标注数据资源的贫乏问题,一直没有什幺好的解决办法。

 

因此,来自香港大学、纽约大学的研究人员Jiatao Gu、Yong Wang等人,提出了新神经机器翻译方法——MetaNMT。

 

论文一经发表,就凭借在低资源神经机器翻译(NMT)上的优异性能表现惊艳了学界,成为2018年最具影响力的NLP创新之一。论文不仅被NLP领域领先的会议EMNLP收录,还拿下了Facebook的低资源神经机器翻译奖。

 

今天,我们就来看看MetaNMT方法究竟有何过人之处?

 

什幺是MetaNMT算法?

 

简单来说:MetaNMT算法就是将元学习算法(MAML),用于低资源神经机器翻译(NMT)中。将翻译问题建构为元学习问题,从而解决低资源语言语料匮乏的难题。

 

研究人员先使用许多高资源语言(比如英语和法语),训练出了一个表现极佳的初始参数,然后使构建一个所有语言的词汇表。再以初始参数/模型为基础,训练低资源语言的翻译(比如英语VS希伯来语,法语VS希伯来语)。

 

在此基础上,进行进一步优化初始模型,最终得到的模型就可以很好地提升小语种翻译模型的性能。

 

具体到实验中,研究人员使用十八种欧洲语言所训练的元学习策略,被应用在以五种小语种语言(Ro,Lv,Fi,Tr和Ko)为目标的任务中。

 

结果证明:通过16000个翻译单词(约600个并行句子),罗马尼亚语-英语WMT’16上实现高达22.04 BLEU。

 

 

数据显示:MetaNMT训练出的系统,表现要明显优于基于多语言迁移学习。

 

这意味着:只需要一小部分的训练样例,我们就能训练出效果更好的NMT系统。很多语料库非常小的语言,机器翻译时也不会再一筹莫展或者胡言乱语了。

 

NLP的神助攻:元学习强在何处?

 

MetaNMT之所以取得如此良好的效果,核心就在于引入的MAML(Model Agnostic Meta Learning)——即与模型无关的元学习方法。

 

简单来说,元学习就是要让智能体利用以往的知识经验“学会如何学习”(Learning to learn),然后更高效地完成新任务。

 

传统NLP任务中常用的迁移学习(transfer leaning)或多任务学习(Multi-Task Learning),输入端训练得到的编码器(Encoder),会直接转化为对应的向量表示序列,直指目标任务。

 

而MetaNMT,则是通过高资源语言系统的训练,得到一个独立于原任务的通用策略方法,再让极低资源的语言系统根据这种学习方法,并反复地模拟训练。

 

 

过去,元学习一直被用来进行小样本学习、通用机器人等训练中。MetaNMT的提出,也是MAML第一次在NLP领域成功应用。

 

那幺,未来随着元学习的加入,NLP领域会产生哪些可能的变化呢?

 

首先,降低NLP任务的研究门槛。

 

深度增强学习需要的训练数据量规模越来越大,游戏等动态任务环境所涉及的奖励机制也日趋复杂。

 

在StyleGAN、BERT等“巨无霸”模型的争夺下,GPU/TPU计算时长变得极其昂贵,NLP俨然快要成为土豪大公司才有资格玩的游戏了。

 

与之相比,通过少量样本资源就能学会新概念的元学习方法,可以只使用少量的梯度迭代步来解决新的学习任务,就显得平易近人很多。

 

其次,提升NLP任务的学习效率。

 

传统的数据集更新周期长,往往需要根据新任务进行改造和再编辑。

 

而元学习就改变了这一现状,先让系统接触大量的任务进行训练,再从中学会完成新任务的方法,可以快速(只需少量步骤)高效(只使用几个例子)地应用于广泛的NLP任务中。

 

尤其是在特定领域对话系统、客服系统、多轮问答系统等任务中,在用户的使用过程中就可以收集丰富的信息,让系统在动态学习中构建越来越强大的性能。

 

除此之外,元学习还能帮助NLP实现个性化、智能化进阶。

 

特定用户可以根据已有的知识经验和认知结构,与元学习系统之间建立联系。通过不同个体的动态交互与信息反馈等,元学习系统可以不断丰富,和修正自身的知识网络和输出效果,最终使得构建个性化产品变得更加方便快捷,高智能交互也因此成为可能。

 

总而言之,Few-Shot(低资源)、Fast Adaptation(高适应性)、Reusability(重用性)等特点,使得元学习的价值前所未有地清晰起来,某种程度上也代表了NLP接下来的研究方向。

 

道阻且长:NLP的进化之路

 

既然元学习之于NLP领域意义重大,为什幺直到现在才出现了一个成功案例呢?

 

这恐怕还要从低资源型语言的研究现状说起。

 

前面提到:验证元学习系统性能最好的方式,就是将其放到低资源任务中,看看是否和大规模任务一样出色。

 

但这幺做有个前提,就是:能够建立起对应的数据集。

 

然而,这对稀缺资源的小语种来说,也不是件容易的事。

 

以MetaNMT为例:就为各个语言建立了词汇表。

 

其中的低资源型目标任务——土耳其语、拉脱维亚语、罗马尼亚语、芬兰语等等,就是通过16000个翻译单词(约600个并行句子)完成的,这已经是目前神经机器翻译的极限了。

 

然而,全世界6000多种语言中,80%人口讲的都是主要的83种语言,剩下的有30%都处在语料资源极度匮乏的状态,而且绝大多数没有任何文字记载,有的甚至使用者不足十人。

 

缺乏相关的数据集,往往只有少量文本可供使用,成为阻碍小语种机器翻译最大的拦路虎。即使有元学习这样的神兵利器,也没有用武之地。而近年来,情况正在发生一些积极的变化。

 

一方面越来越多的人开始重视濒危语言保护问题,出现了公益化的语料收集项目和相关数据库,大大降低了小语种的研究难度。

 

比如:南非数字语言资源中心(SADiLaR),已经能够提供许多南非的语言资源。

 

另外,NLP研究的发展,也激发了更多的人创建,并开放出极低资源语料数据集,为跨语言模型开发、低资源语言训练等提供了可能性。

 

比如:FAIR 和纽约大学的研究者合作开发的一个自然语言推断语料库 XNLI,将MultiNLI 的测试集和开发集扩展到 15 种语言,里面就包含了斯瓦西里语和乌尔都语等低资源语言。

 

目前看来,MetaNMT之所以备受褒奖,并不是因为它一出手就取得了什幺炸裂至极的效果。

 

它的价值,更多的是作为一种灵感和理念,去传达技术的本质,引领更具价值的理想化的创造。

 

NLP的进步,不应来自于堆砌资源和规模,不应只停留在本就饱和的领域,而是构建出真正无障碍的语言系统。让说着匮乏型语言的人们,也能够阅读非母语的新闻,或者在遇到问题时求助于可靠的专家系统。

 

如果技术不去往那些真正的荒芜之地,又有什幺意义?

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注