3.情绪分类VREED

论文名称 EEG-based emotion recognition in an immersive virtual reality environment: From local activity to brain network features
期刊 Biomedical Signal Processing and Control 5.076/Q2
方法 在本文中，我们开发了一种新的情绪EEG数据集——虚拟现实(VR)情绪EEG数据集(VREED)，该数据集以3D VR视频为实验用的素材;提出了新数据集中消极/积极情绪分类性能的基线。
结论 综合theta (4-8 Hz)、alpha (8-13 Hz)、beta (13-30 Hz)和gamma (30-49 Hz)相对功率特征，平均精度最高，为73.77%±2.01%。此外，通过Spearman相关分析和特征选择，我们发现枕叶和额叶区域在情绪加工中比其他区域发挥更关键的作用。
评价 3D虚拟现实(VR)会对基于EEG信号的情绪分类实验带来新的突破

当前研究存在的问题

:::: col ::: warning 现存的数据集使用非沉浸式二维(2D)视频或图像作为MIPs。2D显示缺乏临场感和深度信息，2D显示所引起的情感和感觉与三维(3D)现实世界不同; ::: ::: warning 考虑到2D和3D呈现在EEG动态方面的已知差异，基于2D显示的实验研究可能与现实应用存在差距。 ::: ::: tip 所以有必要开发3D虚拟现实(VR) MIPs，使研究人员能够在受控实验室中模拟现实世界的条件。 ::: ::::

主要工作

  • 以3D VR视频为MIPs，开发了一个公开的情绪脑电图数据集。据我们所知，这是第一个公开的高密度(59个EEG通道)情绪EEG数据集，使用3D VR视频作为MIPs;
  • 系统比较了新数据集中各种EEG特征的情绪识别性能，为后续研究提供基准性能。

这个新的VR情绪脑电图数据集将公开，我们鼓励其他研究人员在VREED上评估他们的情绪分类方法

实验数据

被试者

25名参与者(15名男性，10名女性;平均年龄22.92岁，标准差1.38岁)，毕业于上海大学。所有参与者均报告无精神病史，视力正常或矫正至正常。所有参与者在实验前均签署知情同意书，实验结束后均获得相应报酬。该实验得到了上海市临床研究伦理委员会的批准，并遵循了《赫尔辛基宣言》的原则。

刺激源

上海电影学院制作了60个3D VR视频，使用诺基亚OZo相机在上海地标(东方明珠、外滩等)、街景和学校主题派对拍摄。每个视频长4秒，采用H.264格式编码，分辨率为4096 × 2048和30帧/秒帧率。我们进一步将这些视频分为积极、中性和消极三类(图1根据效价[43]，每个类别分别有20个视频来引出积极、中性和消极情绪。 Img

情绪诱导

使用HTC Vive VR头盔呈现所有VR视频。情绪诱导的具体方案如图所示:

  • 将60个VR视频片段分为两组，一组包含20个积极视频和10个中性视频，另一组包含20个消极视频和10个中性视频。考虑到VR具有较强的沉浸感，我们没有将消极和积极的视频混合在一组，以减少不同情绪之间的干扰。对于每个参与者，两个视频组是随机显示的，每个组内的视频片段也是随机显示的。
  • 实验前给予参与者3分钟的放松时间，每个视频前给予3秒的注视交叉暗示(以这3秒的脑电为基线)，每组后给予参与者3秒的休息时间冷静下来。
  • 每个视频结束后，参与者被要求对视频诱导的情绪效价进行评分。
  • 两组视频片段播放两次。因此，每位参与者有60 * 2 = 120次EEG试验。 Img

实验数据记录与预处理

在参与者观看VR视频时，使用64通道无线EEG设备(Neuracle Technology, Changzhou, China)以1000 Hz采样率收集EEG记录，并将阻抗保持在5 kΩ以下。根据扩展的国际10-20系统(10-10系统)，从64个电极中选择59个数据电极，分别位于5个大脑区域(枕部、顶叶、额叶、右颞叶和左颞叶)。

使用EEGLab工具箱对采集到的所有EEG记录进行离线预处理，包括去除伪影和工频干扰、基线调整、剔除不良试验等。25名参与者中有6人由于数据质量差而被排除在数据集之外，有效参与者为19人(男性13人，女性6人;平均年龄22.84岁，标准差1.50岁)。

  • 只有VREED数据集使用VR作为MIPs;
  • VREED使用了密度更高的EEG电极，更有利于获得大脑电场的全方位空间细节。 Img

主要工作

数据处理

以往的研究表明，在基于eeg的情感分类中，特征提取是最关键的阶段之一，因为不同的特征提取方法会对分类效果产生显著影响。特征提取的主要目的是找到最紧凑、信息量最大的EEG数据表示，将EEG映射到情绪状态。我们首先将预处理后的脑电图数据分解为4个子频段，即:

  • theta (4 - 8hz)
  • alpha (8 - 13hz)
  • beta (13 - 30hz)
  • gamma (30 - 49hz)

然后从每个子频段提取脑功能网络的频谱功率和拓扑特性作为分类特征。脑电频谱功率可用于表征局部脑激活。在本研究中，我们估计每个子频段的相对功率和半球间功率指数作为分类特征。

非参数谱估计计算相对功率

相对功率表示各子频功率对总功率的相对贡献，相对于绝对功率，可以减小受试者之间的差异。非参数谱估计(Welch, multitaper等)和参数谱估计(modified covariance, Burg等)都被广泛应用于脑电图功率估计。本文采用Welch方法，相对功率的计算方法如下:

  • 使用Welch平均周期图算法估计功率谱密度(PSD)。给定时间序列x, Welch的方法首先将序列x划分为L个数据段，每个数据段包含K个数据样本，然后对每个数据段进行周期图并平均(这里K = 500，即0.5(窗口大小)和1000(采样率)的乘积，重叠50%)。 对于第m段xm(n)，其周期图定义为: \(PSD _m(f)=\left.\frac{1}{K} \sum_{n=0}^{K-1} x_m(n) w(n) e^{-j 2 \pi f n}\right|^2\) 其中w(n)为减小谱泄漏效应的窗口函数，j为虚数单位。那么功率谱密度的Welch估计如下: \(\mathrm{PSD}=\frac{1}{L} \sum_{i=0}^{L-1} \operatorname{PSD}_i(f)\)

  • 用辛普森法则计算某一特定子频段对应的PSD曲线下面积作为绝对幂。

  • 按公式估算每次试验各频段的相对频带功率: \(R P\left(f_l, f_h\right)=\frac{P(\text { Selecting range })}{P(\text { Total range }(4 \sim 49 H z))}\)

   
$RP(⋅)$ 为相对功率
$P(⋅)$ 为步骤b中得到的绝对功率

不对称现象

已有研究报道了情绪处理中脑电功率的半球间不对称现象。在本研究中，提取半球间功率指数作为分类特征。

不对称指数可以用相对幂除法或减法计算，称为有理不对称(RASM)和微分不对称(DASM)特征，如下所示。 \(R A S M=R P( left ) / R P( right )\) \(D A S M=R P( left )-R P( right )\)

特征选择

在本研究中，使用Python包scikit-learn实现的随机森林分类器进行特征选择，该分类器可以计算基于杂质的特征重要性。具体来说，在创建随机森林模型时计算每个特征的基尼重要性(或平均减少杂质)。一个特征在单一树中的基尼重要性是通过加上该特征带来的基尼指数降低(从父母到孩子)来计算的。在随机森林中，一个特征的基尼重要性被定义为所有树木的平均基尼重要性。基尼系数重要度越高的特征在分类中越重要。 Img

特征分类

我们将每次脑电图试验作为一个分类样本，利用脑电图功率和脑网络特征进行两类情绪分类(只有消极和积极样本)。采用支持向量机(SVM)分类器评估情绪状态与脑电图之间的关系。

  • 首先，我们将每个参与者的样本分为70%的训练集和30%的测试集，保持每个类别在训练集和测试集中的百分比与原始数据集大致相同。

  • 然后，将所有受试者的训练集合并为最终的训练集，训练SVM分类器。

  • 最后，将所有参与者的测试集组合为最终测试集，以评估分类器的性能。分类精度作为主要性能指标。此外，为了降低由于数据集随机划分造成的分类性能的随机性，分类过程重复10次，并计算平均分类性能。

结果

本文开发了一个新的情绪脑电图数据集，据我们所知，这是第一个以3D VR视频为MIPs的高密度情绪脑电图数据集。行为数据的排列检验结果证实了VR可以有效诱发其他文献中提到的特定情绪。

此外，我们在新数据集中进行了基于功率和网络特征的负价和正价分类。的组合特征，得到了最高的准确率，为73.77%±2.01%

分类精度

Img

不同情绪能量分布

显示了在消极、中性和积极情绪状态的试验中平均相对力量的拓拓图。研究表明，在同一频段内，三种情绪状态下的能量分布是相似的。 Img