Press "Enter" to skip to content

自然语言处理能做什幺

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

今天,我们仍然只关注一个问题: 自然语言处理能做什幺?

 

推荐一个网站:https://nlpprogress.com/ 。网站收录了几乎所有的 NLP 研究分支,并且跟踪 NLP 在这些任务上的进展(SOTA,state-of-the-art)。网站更新比较及时,至少,当前我们能在部分榜单上看到 XLNET。(北京时间:20190724)

 

 

自然语言处理是当前人工智能领域最重要(也是最难的)的研究方向之一,是计算机如何处理和分析自然语言的科学。 实际上,自然语言处理不是一个单独的研究领域,它拥有众多研究分支,从文本输入到图像、音频输入,从词法到语法,再到语义,不同分支之间的差异,可能比 NLP 和其他深度学习方法的差异还大。

 

简言之,自然语言处理,就是让计算机 ”理解“ 自然语言的研究。关于自然语言处理的研究分支的划分,在阅读大量材料之后,仍然没有找到一个标准和完美的分类方式。这是因为许多 NLP 研究分支,会使用到其他研究分支的技术和方法,层层嵌套,互有重叠。本文尽可能从应用的角度切入,介绍自然语言处理的重要研究分支(我们更多叫自然语言处理任务,NLP Tasks)。

 

(Language Model)

 

语言模型根据前文预测下一个字词(word)是什幺。下图就是 N-gram 语言模型的示意图,模型根据前几个词的输入,预测下一个词。

 

 

语言模型无疑是自然语言处理中最重要的研究分支。语言模型是一项基准任务,可帮助我们衡量我们理解自然语言的进度。并且,语言模型是很多其他自然语言任务的组成部分,尤其是涉及生成文本或估计文本概率的任务。

 

实际上我们每天都在使用语言模型。例如,输入法工具会根据你之前输入的内容,自动生成下一个字词或者短语,方便我们的输入。又如,我们使用搜索引擎时,搜索引擎会自动生成常用搜索项。

 

 

此外,语言模型可以在手写字符识别,语音识别,语法纠错,甚至自动摘要等多个自然语言处理任务中。我们会在后文涉及部分任务的介绍~

 

语音识别( Speech Recognition)

 

以我们天天使用的 IPhone 为例,不论是打字时候的语音输入功能,还是强大的智能助理 SIRI,当我们使用语音和机器进行交互时,背后就有语音识别算法的支持。从语音输入,到手机上识别出来的文字,语音识别完成了从语音数据到文本数据的转换。

 

 

语音作为人类最为重要的交流方式,是很多 产品重要的一环,极大关乎用户体验。例如,开车需要导航的时候,我会更倾向于使用百度地图而不是高德地图(百度看到此条请点赞赏,支持点广告费~),因为驾驶员可以仅用语言与导航进行交互,从而完全解放双手,保证行车安全。高德地图则需要点击一下语音输入的按键(2019年04月 9.02.0 版本已加入 “你好小德” 语音助手功能)。(圆回来了,高德也可以点赞赏~)

 

机器翻译(Machine Translation)

 

机器翻译我们这些英语没学好的人的福音【笑脸】。我们将一段特定语言(例如英语)的文字输入,输出我们期望的语言(例如中文),输入输出在语义上保持一致。

 

 

很久很久以前,机器翻译是一整套算法的集合。例如1954年,第一个机器翻译系统 “Brain”,将俄语翻译为英语。历史好的同学可能已经发现了,那时正值冷战时期,是冷战促成了机器翻译系统的发展【笑脸】。翻译系统首先保存了一份俄语到英语的字典,然后语言模型将翻译好的字词梳理成更合理的语句。

 

如今,机器翻译基本使用端到端的训练模型,采用 Encoder 和 Decoder 的组合,直接训练整个神经网络模型。我们甚至可以很轻松的识别多种语言(Multi-Language)的输入。

 

自动问答/对话(Question Answering/ Dialogue)

 

虽然这里将两个任务放在了一起,自动问答与对话在技术要求上差别很大。一般来说,自动问答有明确的答案,自动对话更多需要人工评估。

 

阅读理解就是典型的自动问答问题,计算机在阅读一段文字之后,回答一些与文字相关的问题。下图是 BERT 模型在 SQuAD 2.0 数据集上的一个问题可视化结果。SQuAD 是自动问答领域重要的评估数据集。

 

 

自动对话则相对复杂,需要计算机能够在对话中表现出人的反应。在这个研究领域,又有很多细分支,有人在研究如何让计算机对说话人的行为进行分类(Dialogue act classification),有人尝试跟踪对话的状态(Dialogue state tracking),也有人在做生成式的对话机器人(Generative-based Chatbot),能够根据对话生成引人入胜的回应。

 

情绪分析//自然语言推理(Sentiment analysis/ Text Classification/ NLI)

 

情绪分析是当前应用较广的自然语言处理技术。通常,我们将情绪分析当做一个文本分类问题,对文本的情绪进行定性判断。IMDB 评论(IMDB Reviews)是比较常用的数据集之一,拥有 5w 条用户评论及评分,任务需要根据用户评论判断用户情绪是正向的还是负面的,数据集已事先根据用户评分将评论分为正向(Positive)和负面(Negtive)两类。

 

 

文本分类问题的范围更大一些,将句子或者文档分配到特定的类别,通常我们将文本划分到特定的主题类别。AG‘s news 是比较常用的文本分类数据集,要求根据新闻标题和简介判断新闻的类别。

 

自然语言推理(Natural Language Inference,简称 NLI)是自然语言理解一个重要组成,是检验语义理解的重要评价方式,且研究成果具有高迁移性。自然语言推理判断两个句子(前提句 Premise 和假设句 Hypothesis)在语义上是否存在推理蕴含关系。这也是一个分类任务,任务需要最终给出三分类(Entailment,Contradiction,Neutral)中的一个。Entailment 表示句子存在推理蕴含关系,Contradiction 表示句子存在推理矛盾关系,Neutral 表示两者皆否。

 

信息检索(Information Retrieval)

 

搜索引擎就是信息检索很好的例子。信息检索任务需要根据输入的信息,返回与之相关的资源,例如网页、论文、图片等等。我们在图算法中介绍的 TF-IDF 算法,就是一个典型的信息检索评分算法。

 

关于信息检索,推荐一本书《Introduction to Information Retrieval》

 

(https://nlp.stanford.edu/IR-book/information-retrieval-book.html )

 

,作者 Chris Manning。你也可以在这里找到在线课程。

 

(https://web.stanford.edu/class/cs276/ )

 

信息抽取(Information Extraction)

 

我们在前面的博文中介绍过知识图谱(Knowledge Graph),可以说,是信息抽取技术催生了基于互联网信息的大型知识图谱。

 

 

信息抽取任务从大量的网页信息中识别出实体(Entities)和它们之间的关系(Relations),获得这些 fact 之后,还要进行实体和关系的消歧与合并。所以,信息抽取是一系列的任务的集合,包括命名实体识别(Named Entity Recognition),词性标注(Part-Of-Speech tagging),指代消解(Coreference Resolution),关系抽取(Relationship Extraction),时间抽取(Event Extraction)等等。

 

生成类任务(Generation)

 

这个名字你可能会很陌生,然而生成类算法离我们并不遥远。自动摘要(Automatic Summarization)是一个典型的任务,根据输入的一段文字,生成一段相对简短的摘要。

 

 

此外,其他文本生成类任务例如生成歌曲、诗歌,例如根据图片自动生成描述文字(image caption),例如对输入文本进行风格改写等等。对了,语言模型也是生成类任务的一部分。

 

句法规则相关(Tagging/ Chunking/ Syntax/ Parsing)

 

句法规则是语言学较为关注的任务,也是很多其他任务的组成部分。句法规则关注如何把字词和短语组合成句子的规则。上小节提到的词性标注(POS tagging)就是典型的例子。

 

 

文本分块(chunking,一般也叫浅语法,Shallow syntax)关注文本的句法结构。

 

Constituency parsing,从句子中抽取分析树:

 

 

Dependency parsing 分析句子中的依赖关系:

 

 

Be First to Comment

发表评论

邮箱地址不会被公开。 必填项已用*标注