Press "Enter" to skip to content

NLP中的范式迁移

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

 

作者 | 孙天祥

 

整理 | NewBeeNLP

 

随着预训练模型的发展,NLP领域从各自任务的单打独斗,逐渐转变为几个主流范式的中原逐鹿,近期风头正盛的prompt learning更是隐隐有一统江湖之势。

 

这些范式经历了哪些兴衰和转移?大模型时代,得大模型者得天下,哪些范式随预训练模型而来,哪些范式又将随预训练模型而去?

 

在本文中,我们希望通过梳理过去NLP中的范式迁移现象和趋势,分析当前有潜力统一所有NLP任务的通用范式,对上述问题做一些回答。

论文链接: https://arxiv.org/abs/2109.12575

 

项目网站: https://txsun1997.github.io/nlp-paradigm-shift/

 

Slides: https://txsun1997.github.io/slides/nlp-paradigm-shift.pdf

 

什幺是范式?

 

在科学和哲学中,范式通常指解决一个领域中问题的一类概念或思维方式。在本文中,我们定义范式为解决一类NLP任务所使用的机器学习框架,这个框架由输入、输出、模型的结构共同定义。例如,对于NER任务,通常采用SeqLab范式:输入为一段文本,输出为文本中每个单词的标签,模型采用序列标注架构。

 

一类NLP任务通常有一个或多个较为常用的范式,一个范式也可以解决一个或多个NLP任务,一个范式可以实例化为多个深度学习模型。

 

什幺是范式迁移?

 

范式迁移就是使用一类任务的范式去解决另一类任务,例如使用MRC范式去解决NER任务。

 

目前有哪些范式?

 

在本文中我们总结了七个主流范式:Class、Matching、SeqLab、MRC、Seq2Seq、Seq2ASeq、(M)LM. 下图给出了这些范式的示意图:

目前已经发生了哪些范式迁移?

 

我们梳理了近年来发生在文本分类(TC)、自然语言推理(NLI)、命名实体识别(NER)、细粒度情感分析(ABSA)、关系抽取(RE)、文本摘要(Summ)、语法/语义解析(Parsing)等任务中的范式迁移工作,他们通常将原任务的输入输出转换为某个目标任务,再使用目标任务的模型来解决该任务。下表给出了使用不同范式解决这些NLP任务的输入输出格式和实例:

根据这些范式迁移工作提出的年份,我们可以绘制一幅范式迁移的趋势图:

可见,在2017年出现了一波Seq2Seq的小高潮;在预训练语言模型出现后(2019-2020年),范式迁移愈发频繁,BERT所涵盖的(M)LM范式(MLM head)和Matching范式(NSP head)都在很多原本属于其他范式的任务中取得了不错的成绩,同年,MRC范式也开始异军突起;在2021年,(M)LM开始在更多任务中攻城略地,而随着BART、T5等Seq2Seq预训练模型的出现,Seq2Seq范式也开始在多个任务中大放光彩。

 

通用范式的曙光 — One Model for All Tasks

 

一个模型做所有任务是很多NLPer长久以来的梦想,随着预训练模型的发展,这个梦想正在接近。以超大规模预训练语言模型为基础,部署一个通用模型有很多好处,比如

 

 

不再需要大量标注数据:由于通用模型一般采用了预训练和多任务训练,对标注数据的需求减小了很多;

 

泛化能力强:相较于训练一个任务特定模型,直接将目标任务转化为通用范式,可以直接将模型应用于未见过的任务;

 

便捷部署:通用模型的推理作为商用黑箱API,只需改变输入和输出即可完成用户需求。

 

 

那幺,哪个范式有望成为这样的通用范式呢?我们认为,(M)LM、Matching、Seq2Seq、MRC都有希望。

 

(M)LM优势:可无需监督数据,MLM head开箱即用;NLU和NLG兼顾的全能选手
劣势:prompt和verbalizer都需要一定工程设计
Matching优势:只需设计标签描述,工程量较小;可以使用对比学习
劣势:需要大量NLI数据进一步训练,领域迁移受限;无法做生成任务
Seq2Seq优势:形式灵活,非常适用于复杂任务,只需设计目标序列即可使用;可以利用预训练模型
劣势:自回归生成导致推理速度慢
MRC优势:非常通用,只需将输入转换为(context, question, answer)即可使用
劣势:难以完全发挥已有预训练模型的能力

 

如今,以prompt learning为代表的(M)LM范式进展迅速,其他范式或许也应当受到更多的重视。

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注