李飞飞新论文「AI医生」诊断抑郁症 准确率超过80%（可移植到手机端）

在全世界范围内，有超过3亿人患有抑郁症。其中的60%的人都没有接受任何治疗。

我们时有听到名人患抑郁症甚至严重到自杀的消息，却不知周围一些普通人身在病中不知病。

面对这一病症，AI能做些什么？

曾经说过“AI没有国界，AI的福祉亦无边界”的李飞飞老师这次要为那些怀疑自己患抑郁症的人创造福祉了，这次她和团队瞄准了AI诊断抑郁症这个方向：

结合 语音识别 、 计算机视觉 和 自然语言处理 技术，通过表情和语言 诊断一个人是否患了抑郁症 。

目前，这项研究初见成效，诊断抑郁症的机器学习模型目前precision达到 83.3% ，recall达到 82.6% 。

并且，这个模型可以部署到手机上，让更多人能方便的诊断抑郁症，不再受困于“没钱”、“没时间”、“别人知道我去查抑郁症会怎么议论我”的阻挠之中。

另外，这项研究成果还入选了 NIPS NeurIPS 2018医疗健康机器学习（ML4H）Workshop。

下面，量子位为大家详细介绍李飞飞这篇新作品的具体内容。

为什么用表情和语言能诊断抑郁症？

因为医生就是这么干的。

在目前的抑郁症诊断过程中，医生需要和患者面对面聊天，来判断对方是否患病。

需要医生来观察的要素包括：

对方是否语调单一，完全不抑扬顿挫；

说话音量是否比较低；

讲话时手势是不是比正常人少；

是不是总爱低头向下看；

……

另外，还需要通过 患者健康问卷 （PHQ, Patient Health Questionnaire）来调查来了解更详细的信息。

用AI来诊断抑郁症，就相当于用机器学习模型来代替那个和患者对话的医生，把患者在医生面前的表现变成数据，输入机器学习模型中。

因此，李飞飞团队采用的方案是先模型中输入 3D面部关键点视频 、 患者说话的音频 和 转成文字的访谈录音 三种数据，分别对应下图中的abc三行。

之后，输出PHQ评分或抑郁症分类标签，就能得出此人是否患了抑郁症。

训练模型全过程

训练这个模型用到的是 DAIC-WOZ数据集 ，包括142名患者的PHQ评分和189次临床访谈、总共50小时的数据。

整个模型由两个部分组成。

第一个部分叫 句子级嵌入 （Sentence-Level Embeddings）。

以往的嵌入方式都是嵌入一个音节或单词，只能捕捉几百毫秒的时间。李飞飞团队用的是整个句子多模态嵌入，可以实现捕捉更长时间的声音、视觉和语言元素。

下图就是多模态句子级嵌入的示例：

第二个部分叫 因果卷积网络 （C-CNN, Causal Convolutional Networks）。

之所以用因果卷积网络，是因为抑郁症患者说话慢。

相比普通人，抑郁症患者说话的时候会在不同的字词之间停顿更长时间，因此整个句子的音视频也就比较长。处理这种长句子的时候，因果卷积网络要比RNN强。

效果如何

我们来看一下实验结果。

其中，A是指输入数据为音频，V是指输入数据为视频，L是指输入数据为文本。

对比前人的实验结果，李飞飞的这项新研究数据上相对较高。不过，与前人不同的是，这项新研究并不依赖一些预先做好的访谈记录，所以来的背景资料更少。并且，这项新研究无需特征工程，可以直接用输入原始数据。

这张实验结果表格对比了使用不同嵌入方式的结果。其中，前两行是手工嵌入，第3~6行是预训练嵌入，最后两行是我们用到的句子级嵌入，输入的是log-mel光谱图、3D面部关键点视频和Word2Vecs的序列。