李飞飞新论文「AI医生」诊断抑郁症,准确率超过80%,可移植到手机端

在全世界范围内,有超过3亿人患有抑郁症。其中的60%的人都没有接受任何治疗。

 

我们时有听到名人患抑郁症甚至严重到自杀的消息,却不知周围一些普通人身在病中不知病。

 

面对这一病症,AI能做些什幺?

 

 

曾经说过“AI没有国界,AI的福祉亦无边界”的李飞飞老师这次要为那些怀疑自己患抑郁症的人创造福祉了,这次她和团队瞄准了AI诊断抑郁症这个方向:

 

结合语音识别、计算机视觉和自然语言处理技术,通过表情和语言诊断一个人是否患了抑郁症。

 

目前,这项研究初见成效,诊断抑郁症的机器学习模型目前precision达到83.3%,recall达到82.6%。

 

并且,这个模型可以部署到手机上,让更多人能方便的诊断抑郁症,不再受困于“没钱”、“没时间”、“别人知道我去查抑郁症会怎幺议论我”的阻挠之中。

 

另外,这项研究成果还入选了 NIPS NeurIPS 2018医疗健康机器学习(ML4H)Workshop。

 

下面,量子位为大家详细介绍李飞飞这篇新作品的具体内容。

 

为什幺用表情和语言能诊断抑郁症?

 

因为医生就是这幺干的。

 

 

在目前的抑郁症诊断过程中,医生需要和患者面对面聊天,来判断对方是否患病。

 

需要医生来观察的要素包括:

 

对方是否语调单一,完全不抑扬顿挫;

 

说话音量是否比较低;

 

讲话时手势是不是比正常人少;

 

是不是总爱低头向下看;

 

……

 

另外,还需要通过患者健康问卷(PHQ, Patient Health Questionnaire)来调查来了解更详细的信息。

 

用AI来诊断抑郁症,就相当于用机器学习模型来代替那个和患者对话的医生,把患者在医生面前的表现变成数据,输入机器学习模型中。

 

因此,李飞飞团队采用的方案是先模型中输入3D面部关键点视频、患者说话的音频和转成文字的访谈录音三种数据,分别对应下图中的abc三行。

 

 

之后,输出PHQ评分或抑郁症分类标签,就能得出此人是否患了抑郁症。

 

训练模型全过程

 

训练这个模型用到的是DAIC-WOZ数据集,包括142名患者的PHQ评分和189次临床访谈、总共50小时的数据。

 

整个模型由两个部分组成。

 

第一个部分叫句子级嵌入(Sentence-Level Embeddings)。

 

以往的嵌入方式都是嵌入一个音节或单词,只能捕捉几百毫秒的时间。李飞飞团队用的是整个句子多模态嵌入,可以实现捕捉更长时间的声音、视觉和语言元素。

 

下图就是多模态句子级嵌入的示例:

 

 

第二个部分叫因果卷积网络(C-CNN, Causal Convolutional Networks)。

 

之所以用因果卷积网络,是因为抑郁症患者说话慢。

 

相比普通人,抑郁症患者说话的时候会在不同的字词之间停顿更长时间,因此整个句子的音视频也就比较长。处理这种长句子的时候,因果卷积网络要比RNN强。

 

效果如何

 

我们来看一下实验结果。

 

 

其中,A是指输入数据为音频,V是指输入数据为视频,L是指输入数据为文本。

 

对比前人的实验结果,李飞飞的这项新研究数据上相对较高。不过,与前人不同的是,这项新研究并不依赖一些预先做好的访谈记录,所以来的背景资料更少。并且,这项新研究无需特征工程,可以直接用输入原始数据。

 

这张实验结果表格对比了使用不同嵌入方式的结果。其中,前两行是手工嵌入,第3~6行是预训练嵌入,最后两行是我们用到的句子级嵌入,输入的是log-mel光谱图、3D面部关键点视频和Word2Vecs的序列。 论文传送门

作者:郭一璞

发表评论

电子邮件地址不会被公开。 必填项已用*标注