Press "Enter" to skip to content

基于双模检测的通话录音质检解决方案

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

导读: 本文针对客服通话录音质检场景,提出了一套智能质检解决方案,可对通话内容中标准话术、红线词和相似语义话术进行检测,通过双模检测模型同时提升了检测算法的准确性和泛化性。

 

 

一、背景

 

很多企业拥有中大型电销或客服中心,每天与客户产生成千上万次沟通。沟通的质量,决定了企业的收入或客户满意度。企业监督业务人员的沟通质量和执行力的过程,被称为质检。市面上有很多面向销售和客服人员的语音质检系统、文本质检系统,绝大部分产品实际使用的是基于“关键词+正则表达式”的机器质检系统。这种方法的主要优点是部署和上手使用都比较快,主要缺点是存在非常严重的漏检和错检情况。就像一个漏孔很大的筛子一样,难以满足企业对质检的需求越来越精细、对质检效率要求越来越高的发展趋势。

 

二、目标

 

针对以上难题,本文提出了一套基于双模检测的通话录音质检解决方案,结合规则与模型算法,对客服的通话录音中的关键话术、红线词进行自动化监控,既要保证检测的高精度和对业务新增检测任务的快速响应,又能检测出客服通过不同方式来表达的标准话术。对教育场景下的扩科、续报、满意度回访等意图进行监控,促使客服完成特定意图的沟通,从而提升服务满意度(NPS)、扩科率和人均科次等业务指标。

 

三、前期准备

 

3.1  相似语义库构建

 

作为相似语义检测的语料基础,我们需要根据业务方提供的质检语义信息构建相似语义库。例如业务方提供了一条“扩科任务”的标准话术:“孩子其他的学科怎幺样?”,可以看出,句子中的关键部分为“其他学科怎幺样”,所以我们需要针对这个句子构建相似语义句。构建的步骤首先我们使用HANLP库对句子进行分词得到“其他”、“学科”、“怎幺样”,接着,使用Synonym工具对每个词计算同义词,如下图所示。

 

 

最后,将所有的同义词进行全排列,即可得到相似语义句,如下图所示。针对所有业务方提供的标准话术进行以上操作即构建出相似语义库。

 

 

3.2  分句模型

 

在进行双模检测之前我们先需要对句子进行分句处理,因为从大量的实际例子可以看出,ASR返回的文本并不能保证句子断句的准确性,经常将多个句子合并成一句,这样的话会对后面句法分析带来较大干扰。所以,我们基于BERT以序列标注为目标训练了一个分句模型。值得注意的是对于分句这种任务,使用focal loss可以较好的应对label分布不均衡的问题。分句示意图和模型训练过程如下图所示。

 

 

 

3.3  语义分类模型

 

针对当前业务方提供的所有语义标签(学习内容分析、确认信息、提及其他科目、自我介绍、规则解读、满意度回访、课堂反馈、问题确认、入学适应情况、考试情况、学校学习进度、铺垫下学期知识难度及升学压力、学习建议、询问月考、询问其他考试、课程规划、分析学科关联性、给其他科目学习资料、优惠、其他等),基于roberta训练一个多分类模型,相对于相似语义规则模型,端到端模型省去了相似语义库的构建过程并具有更高的泛化性。模型的训练过程分为经典的further pretrain 和 fine tune两部分,测试集预测结果如下图所示,p r f1宏平均为0.93 0.87 0.89。

 

 

四、检测

 

 

第一步,我们对ASR结果进行分句处理,得到最细粒度的通话录音文本。

 

第二步,规则检测。首先,基于当前检测任务,使用相似语义库中对应的相似语义句与待检测句进行匹配,命中的待检测句子作为候选句。仅仅命中了相似语义库中的相似句并不能说明待检测句复合了检测任务,例如,相似语义句为“其他学科怎幺样?”,但如果待检测句子为“语文学科的话如果有一些其他的问题您也跟我具体说一下怎幺样。”,显然待检测句表达的并不是相似语义句的意思。所以,接下来我们需要进行依存句法分析。由于依存句法分析结果是一个有向图结构,所以我们规定如果图中的相似语义关键词存在连通或有共同父节点的关系,则表示这两个词是存在依存句法关系的。如下图所示。

 

 

 

如果相似语义句中的词在待检测句中均存在依存关系则判定待检测句命中检测规则。

 

第三步,模型检测。将待检测句输入到语义分类模型中,进行更高泛化性的语义分类任务。

 

最后,将规则检测结果和模型检测结果进行融合。为了最大程度的对相似语义句进行召回,我们规定当且仅当规则检测和模型检测均未检出的时候才认为未命中,否则将所有的检出结果一并存入到结果库内。

 

五、结果展示

 

我们将结果数据库内的检测数据展示到可视化平台并提供一些统计数据,供质检员和业务老师使用,如下图所示。

 

 

 

六、流程图

 

 

七、总结

 

本文中,我们提出了一套基于双模检测的通话录音质检解决方案,能够满足业务老师对于检测平台检测精度高、对新增检测任务响应快、检测泛化能力强的要求。

 

八、参考文献

 

1.《智能质检白皮书》——循环智能

 

2.《RoBERTa:A Robustly Optimized BERT Pretraining Approach》

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。