[转]感知自然语言理解(NLU)

AI即人工智能是一个令人着迷的领域,尤其是基于对话式AI系统的智能音箱的兴起,使人工智能直接走进了我们的家庭。

 

 

自然语言是人类的智慧,自然语言处理(NLP)是AI中最为困难的问题之一,而自然语言理解(NLU)也变成了一个主要的问题,充满了魅力和挑战。一介程序员,没有能力去做相关的研究,但是认知其中的一些基本概念,对于开发具体NLP/NLU相关的应用实现,尤其是对话式智能系统上的应用,还是非常有帮助的。那NLP 和 NLU 有啥区别和联系呢?以下理解并不准确,仅限于认知。

 

 

NLU与NLP

 

先看维基百科对NLP的解释:

 

Natural language processing (NLP) is a subfield of computer science, 
information engineering, and artificial intelligence concerned with 
the interactions between computers and human (natural) languages,

 

in particular how to program computers to process a nd analyze large amounts of natural language data.

 

 

 

Challenges in natural language processing frequently involve speech

 

recognition, natural language understanding, and natural language generation.

 

自然语言处理是一门研究人与人交际中,以及人与计算机交际中的语言问题的学科。NLP的目标是希望通过图灵测试,包括了语音、形态、语法、语义以及语用等方面,也要解决人类语言中的因果、逻辑和推理的问题。

 

在宗成庆老师的《统计自然语言处理》中,把NLP分为以下十六个方向,其中机器翻译、信息检索和问答系统的应用更广泛。。那幺NLP是啥呢?

 

Natural-language understanding (NLU) or natural-language interpretation (NLI)

 

is a subtopic of natural-language processing in artificial intelligence that deals with machine reading comprehension.


NLU is the post-processing of text, after the use of NLP algorithms (identifying parts-of-speech, etc.),

 

that utilizes context from recognition devices (Automatic Speech Recognition [ASR], vision recognition,

 

last conversation, misrecognized words from ASR, personalized profiles, microphone proximity etc.),

 

in all of its forms, to discern meaning of fragmented and run-on sentences to execute an intent from typically voice commands.

 

简单的说, NLU是NLP的一个子集,因此在 老码农眼中的简明AI 中的那张图是错误的,应该是包含的关系。

 

 

NLU的一个主要功能是“execute an intent ”即提取意图。什幺是意图呢?

 

意图表达

 

Intent意图如何理解呢?在我们开发Android 应用的时候,离不开Intent,尽管和NLU中的意图不太一样,但还是对意图的理解有帮助的。

 

在Android参考文档中,Intent主要是解决Android应用的各项组件之间的通讯,对Intent的定义是执行某操作的一个抽象描述。在NLU中,意图代表用户想要达到的目的,就是在语言表达中所体现出的“用户想干什幺”,解决的是人与人,人与机器之间的通讯问题。意图是由什幺组成的呢?在Android Intent中由Action,data 和一些属性组成,在NLU中,意图可以由槽位来表达,槽位就是意图的参数信息。槽位是指从句子中抽取出的特定概念,槽位填充为了让用户意图转化为用户明确的指令而补全信息的过程。

 

 

举个例子,比如我对一个对话式智能设备说“今天天气怎幺样”,意图是什幺呢?意图就是“查询天气”。那这个意图是由哪些槽位表达呢?有一个槽位是确定确定,就是时间槽位——“今天”。

 

那幺,机器有了这个槽位和意图是否就可以应答了呢?现实中,各地的天气是不一样的,那幺描述这个意图要增加一个槽位——地点。 如果对话式智能设备问我“那个城市的天气?”我回答“北京”,这大概就是槽位填充的过程。

 

 

俗话说,“一句话有十种说法”,同一个意图有着不同的表达方式。问天气的话,我还可以说“给我查查今天的天气”,“我想知道今天天气”,“天气怎幺样”等等,如果统计一下,这些问天气的常常用句子,就是所谓的常用表达。

 

学以致用,我们了解了意图,槽位和常用表达,能做点什幺呢?从零开始搭建一个对话系统,demo还可以,真的成为人们所使用的服务的话,恐怕显得有点高不可攀。感谢这个时代,对话式AI操作系统来了( 感知人工智能操作系统 ),例如DuerOS,咱们在可以在上面研发并搭建自己的服务,这就是所谓的“技能”。

 

 

技能

 

什幺是技能? 技能就是智能设备的一个能力,或者说一种服务。既然有AI操作系统,为啥还要开发技能呢? 这和有了windows 还要开发 office 类似, 不同的软件满足不同的需要。技能作为对话式AI操作系统的具体应用,同样是为了不同用户多种多样的个性化需求。

 

有了对话式AI系统,在技术,技能的开发和一个web应用的开发没有太大的区别,只不过遵循对话式AI系统提供的接口协议即可。以DuerOS为例,示意如下:

 

 

其中涉及的语音识别,自然语言生成及TTS播报,意图识别等等全部由对话式AI系统完成,我们只专注于具体的服务即可。

 

既然DuerOS已经提供了大量的服务和海量的资源,我们在上面开发技能还有什幺必要幺? 在MacOS上已经有了Messager/Facetime之类的应用,并不影响微信应用的研发和普及,这个道理是类似的。我们更了解用户的使用场景和需求,也更清楚具体是业务逻辑,可以让我们聚焦在擅长的领域。

 

在DuerOS上开发技能

 

在DuerOS开发语音技能是一个相对轻松的事,在技能开放平台(DBP,DuerOS Bot Platfrom,https://dueros.baidu.com/dbp)上可以方便地完成应用的开发,测试和发布。DBP具备Java/Javascript/PHP/Python/Go的SDK,形成了一个开发框架。同时,通过DBP平台上的可视化界面,可以为用户提供个性化的服务。

 

DuerOS还提供了大量的系统意图,极大了节约了开发成本,下图是部分系统意图:

 

 

词典在意图识别中具有很重要的地位,一般是某一领域词汇的集合,DuerOS根据词典去解析相应的槽位信息,发送给技能应用处理。 我们可以在DBP自定义字典,更可以直接使用系统词典。

 

 

如果没有固定的词典与槽位关联的话,还可以将常用表达中需要识别的内容标注为通配槽位,那幺DuerOS会将这些请求的内容发送给技能应用。

 

即便是对于某个技能而言,常用表达也仅仅是“常用表达”,难以穷举用户的各种请求,那幺遇到用户的特殊问题,咱们开发的技能是否就不能正常应答了呢?不会的,这正是DuerOS的强大所在,这涉及到很多NLU/NLP的技术,其中一种就是泛化。对于特定领域的问答,DBP 平台还提供了数据训练的能力,无需关注机器学习的算法,只需要提供一些语句的资料即可。

 

感知自然语言理解,可以从开发小技能开始,5分钟即可创建一个小技能,信不信由你!

 

参考资料

 

宗成庆,《统计自然语言处理(第2版)》,清华大学出版社,2013

 

http://www.cs.bham.ac.uk/~pjh/sem1a5/pt1/pt1_history.html

 

https://dueros.baidu.com/dbp

发表评论

电子邮件地址不会被公开。 必填项已用*标注