Press "Enter" to skip to content

Deep Learning for Human Language Processing_Intro

HLP研究的内容

 

Human Language Processing研究的内容根据输入输出的不同,可以分为如下6种

 

 

从左到右,从上到下依次是

ASR(Speech2Text)
TTS(Text2Speech)
Voice Conversion(Speech2Speech)
Translation、Chat-Bot、Summarization、QA(Text2Text)
Speaker Recognition(Speech2Class)
Sentiment Analysis(Text2Class)

Speech2Text

 

语音转文字最典型的应用就是语音识别(Speech Reconition),也叫做Automatic Speech Recognition,简称ASR。早期的语音识别,往往采用基于HMM模型的算法,加上声学模型(Acoustic Model),语言模型(Language Model)和 词典(Lexicon)。虽然经过多年的研究,效果不错,但是算法流程复杂,模型很大,难以适应目前物联网发展中嵌入式AI对语音识别性能的要求

 

 

随着深度学习的发展以及轻量网络模型的推陈出新,现在的ASR往往是采用Seq2Seq方法,训练一个模型直接end-to-end得到最终结果。流程简单,效果逐年提升,而且模型可以做得很小,使得能够放置到手机、智能家居或者是物联网设备中

 

 

世界上的语言有5000多种,每种语言都可以拿来做语音识别。 因此按照语言的不同,又可以分为中文语音识别(Chinese ASR)、英文语音识别(English ASR)、西班牙语识别(Spanish ASR)等等。这些语言的差异,在于组成语句的颗粒不一样:比如中文由4000+个汉字组成,汉字是组成句子的最小单位。英文的最小单位为26个英文字母,字母组成单词,单词组合成句子。当然,我们也可以做一个通用的语音识别系统,即输入任何一句话,他都要能输出对应的文本,这就是通用语音识别(General ASR)所追求的目标,不过目前看来,要实现这个目标,还为时尚早

 

Text2Speech

 

文字转语音最常见的应用就是语音合成(Text-to-Speech Synthesis)。这样的应用在生活中比比皆是。一个能够和人类互动的robot,既要能够听懂人类说的话(ASR), 也要能够说出人类能够听得懂的话(TTS)。 中间Text到Text处理的过程就是自然语言处理(NLP)

 

现在做语音合成,也是采用Seq2Seq模型,和语音识别在模型的选择上并没有本质的不同,依然是深度学习end-to-end硬train一发,就完事了

 

 

Speech2Speech

 

该类任务有以下3种典型的应用场景

Speech Denosing:语音去噪。将语音中的噪声部分去除,保留比较干净的信息
Speech Separation:典型的场景如嘈杂的环境中有多人同时说话,通过语音分离,将每个人说的话,分别提取出来

Voice Conversion:声音转换,例如柯南的变声器

Speech2Class

 

输入一段语音信号,输出一个类别。该类任务有以下三种典型的应用

Speaker Recognition:语音识别,即依据你说话的声音来判断是不是同一个人,或者是哪一个人。类似于Face Recognition,主要用在门禁、身份认证等领域
Keyword Spotting:关键词检测,通常用在工业控制或者智能家居中;需要检测出语音中是否含有预先定义的几个关键词,如智能音响需要能够检测出turn on/turn off/volumn up/volumn down等少数几个关键词
WakeUp words detect:一种特殊的Keyword Spotting的情形, 只需要判断语句中是否含有预先定义的唤醒词, 如“hey Siri”,”Alexa”, “OK Google”

 

Text2Text

 

这类任务就是NLP主要研究的领域,应用的方向非常之多。输出的内容含义不同,就可以实现不同的功能

 

 

可以看到,这类任务的应用包括自动翻译、文本摘要、聊天机器人、阅读理解、智能问答等等,甚至可以做语法剖析、词性标注; 虽然任务种类很多,但要说到模型选择,依然是那个你最熟悉的Seq2Seq Model

 

Text2Class

 

这类任务的应用也非常广泛,举例如下

垃圾邮件分类
情感分析
文章主题分类

各类任务之间有什幺联系?

 

可以看到,任务之间有相互对应的关系,比如Text2Speech和Speech2Text就是一对互相关联的任务。当Word2Vec诞生之后,以及各种各样Pre-trained Model的出现,使得Text和Speech在表达形式上达成了统一,都可以看作是二维matrix. 因此,抛开信号在客观世界中的表现形式,所有的任务其实都是Matrix2Matrix之间的转化,都可以采用Seq2Seq的supervised model来处理

 

另外,对于输入为Text的三类任务,Pretrained-Model使得输入的处理变得规范统一,BERT家族的兴旺正是对于Word2Vec思想发扬光大,追求更好的单词向量表示的明证

 

 

而对于输出为Text的两类任务,在词语输出的顺序上研究人员存在分歧,这也导致出现了两类方法,Autogressive和Non-autoregressive。比方说下面的例子,非自回归会觉得应该先生成这个句子最重要的部分,也就是”dream”这个单词,然后模型会考虑谁是”dream”的主体,因此会生成”I”,之后模型会考虑”I”和”dream”之间的关系是什幺,因此会生成”have”,最后模型考虑我有几个梦想?因此就会输出”a”

 

 

HLP领域还有哪些值得研究的课题

 

Unsupervised Learning

 

实际应用中,采用监督学习的方法,收集已经标注好的数据往往是非常困难的,因此是否可以从中进行学习是一个非常有价值的研究方向

 

 

以Voice Conversion为例:假如采用监督学习的思路,用Seq2Seq模型来进行处理,我们需要获取SpeakA和SpeakB 关于同一个text的speech,但实际上我们难以获取到这样的输入对。我们能采集到的是Speak A的语音集合和Speak B的语音集合, 这两个集合之间并没有一对一的对应关系

 

Few Shot Learning / One Shot Learning

 

同样以Voice Conversion为例,如果我们在实际生活中,只能获取到Speaker A或者是Speaker B很少的语音信息,甚至只有一条语音记录,那又该如何处理

 

Adversarial Attack

 

Adversarial Attack在图像领域非常常见,最有名的就是GAN网络。而在HLP中,语音、文字也是可以做到的,举例来说:我们可以设计一个Discriminator判断一段声音是否是机器合成的

 

 

系统鲁棒性的追求,与欺诈的对抗是一个永不过时、永不停歇的课题

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注