Press "Enter" to skip to content

脑电情绪识别:脑功能连接网络与局部激活信息结合

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

作者丨张玮玮

学校丨东北大学硕士生

研究方向丨 情绪识别

 

 

引言

 

论文动机

 

情绪状态的转变通常会激活脑电功率谱的变化。近年来的研究发现,不同的情绪状态造成的脑电图波谱的差异在脑电 α 频带比较明显,并可以在大脑前部区域捕捉到。另外,情感反应也与不同大脑区域之间的波谱变化有关,因此,不同脑区脑电图波谱的变化能够预测受试者不同的情绪状态。

 

如前所述,激活模式可以捕捉被试在感受不同情绪时大脑各个区域之间的功率差异,而不同大脑区域之间的连接模式则可以表现大脑进行情感处理时的信息交互过程。目前,利用这两种补偿信息的模式融合进行情绪识别的研究工作比较少。

 

论文工作

 

本文将大脑不同区域的信息网络传播模式和脑内激活差异融合起来,以提高情绪识别的能力。 方法:构建具有相位锁定值的情绪相关脑网络,采用多特征融合方法将补偿激活信息与连接信息相结合进行情绪识别。

 

论文方法

 

 

▲  图1. 情绪识别过程

 

激活模式

 

激活模式主要反映被试者在不同情绪状态下的能量差异。 作者主要研究了功率谱密度(PSD),微分熵(DE),DASM,RASM,ASM,DCAU 这六个能量特征分布在不同情绪下的表现,如图 2 所示。 其中,从图中可以看到 beta 和 gamma 频段产生了显着差异。

 

 

 

▲  图2. 不同情绪下脑电激活模式

 

连接模式

 

由于不同脑区之间的同步活动并不是单纯的线性关系,在本文中,作者提出了相位锁定(PLV)的方法来捕捉非线性相位同步,统计测量两个脑区的相位同步。PLV 的定义如下:

 

 

为了构建脑功能网络图,本文将 32 个电极作为网络节点,利用图论的知识,提取了四种脑电网络图特征(EEG based network patterns, ENP)。

 

聚类指数量化了一个节点的最近邻之间存在的连接数与最大可能连接数的比例,节点i的聚类指数在中定义为:

 

 

SP-Length 表示从一个节点到另一个节点必须遍历的最小边数。

 

 

其中:

 

 

G-Efficient 度量信息在整个网络中传播的程度,是任意两个节点之间最小路径长度的调和平均值的倒数。

 

 

L-Efficient 通过观察其子网络的良好连接来衡量网络的区域专业化能力。

 

 

 

 

▲  图3. 不同情绪下的脑功能网络图

 

模式融合

 

激活模式捕捉对情绪作出反应的局部活动,而连接模式挖掘相关脑区之间的相互作用。将这两种模式融合的难点主要是这两种特征类型中存在的冗余信息可能会意外地影响识别效果。在本工作中,将 F-score 和分类器依赖结构相结合来实现特征选择,如图 1,这样既保证了所选特征子集的分辨能力,又节省了计算量。

 

第 i 个特征的 F-score 定义为:

 

 

F(i) 越大,说明对应特征的鉴别能力越强。对所有 F-score 值的降序排序,本文应用支持向量机(SVM)和图正则化极值学习机(GELM)的模型,并采用 10 倍交叉验证方案来选择基于训练集的广义特征。特征选择的步骤如下:

 

1. 计算训练集中所有特征的 F-score 值,并按降序排序,定义为 F,并将一个特性子集Fsel初始化为空。将最佳分类结果定义为 MaxR,并将其设置为 0。将最优特性索引初始化为空。

 

2. 从 f 中选择 f 得分最高的特征向量,将选择的向量加入到 Fsel 中。

 

3. Fsel 进行 10 倍交叉验证,估计平均分类精度 μ。

 

4. 重复步骤 2 到 4 直到遍历完毕。

 

 

▲  图4. 特征选择过程

 

最大化识别器的上述损失函数,特征提取过程会产生域不变的特征,从而消减情绪识别中的域差异。

 

结果

 

为了评估本文方法的性能,本文在三个基准的基于多模态的情绪数据库上进行了实验,即 MAHNOB-HCI、DEAP 和 SEED。从本质上说,多模态信息方法的性能改进是由于利用了从激活模式和连接模式中获得的补偿信息。

 

实验结果如图 5 所示,多模态方法相对于单模态方法有助于提高识别性能。除了提高融合策略的性能外,还需要注意影响情绪识别的另外两个方面,一是在不同的数据集上观察到不同的准确性,SEED 数据集表现最好。另一点是,由于不同的设计目的,不同的特征选择方法可能会导致最佳特征子集的差异。

 

 

 

 

 

▲  图5. 实验结果

 

结论

 

在这项工作中,作者提出将脑网络拓扑结构和基于脑电图数据的功率谱激活模式结合起来进行情绪识别。该方法不仅捕捉了局部的情绪反应活动,而且挖掘了相关脑区之间的相互作用。

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注