4.情绪分类D-RNN

| || | ——– | ——– | | $论文名称$ | Deep BiLSTM neural network model for emotion detection using cross-dataset approach | | $作者$ | Vaishali M. Joshi | | $机构$ | Electronics Engineering, Bharati Vidyapeeth (Deemed to be University) College of Engineering | | $期刊$ | Biomedical Signal Processing and Control 5.076/Q2 | | $类别$ | 情绪分类 | | $方法$ | 利用PSD、Hjorth参数、DE和LF-DE等特征，对基于双向长短期记忆(BiLSTM)网络的多层感知器(MLP)、支持向量机(SVM)、k-近邻(k-NN)和深度RNNs模型进行训练。 | | $结论$ | 当使用DEAP数据集训练模型并使用SEED数据集测试模型时，识别精度提高了8.2%，当模型是SEED数据集训练和DEAP数据集测试时，与之前的结果相比，识别精度提高了1.5%。 | | $评价$ |跨数据集的训练方式比较新颖| —

解决的问题

::: warning 问题很少有研究使用跨数据集方法，实际上，使用更多被试生成数据库是困难的，因为它是昂贵的和耗时的。许多基于脑电图的应用需要一个庞大的数据库进行分析。 ::: ::: tip 方案将来自研究界的现有高质量数据结合起来进行这种分析，它将更有价值，因为这些数据是在不同种类的机器上创建的，而且研究对象来自不同的国家、年龄组和文化。 :::

创新点

提出D-RNN模型作为特征分类的依据
训练时采用数据集到数据集的数据划分
主要工作
本文采用基于双向长短期记忆(BiLSTM)的深度循环神经网络(D-RNN)构建情感分类网络模型。我们创建了专注于深层双向长短期记忆循环神经网络的架构。
EEG数据使用各种组合进行训练和测试:
- IDEA→DEAP
- IDEA→SEED
- SEED→IDEA
- SEED→DEAP
- DEAP→IDEA
- DEAP→SEED

(符号P→Q表示数据库P提供训练数据，数据库Q提供测试数据)。

实验与数据集

|数据集名称|描述| |-|-| |DEAP|该数据库包含32人(16名女性和16名男性)观看40个不同的一分钟音乐视频的脑电图记录。图2描述了应用价价唤醒二维情绪模型描述各种情绪的情况。空间模型上的价唤醒额定值为1 ~ 9。DEAP数据库是利用BioSemi Active II设备开发的，具有40个通道和512 Hz采样率。脑电图占40个通道中的32个，其余为外周通道。在预处理之前，将捕获信号的采样率降低到128 Hz。然后经过一个4-45Hz的带通滤波器。| |SEED|上海交通大学情感脑电图数据集"(SEED)数据库由上海交通大学类脑计算与机器智能(BCMI)实验室创建。用15人(7男8女)的脑电图记录建立数据库。在实验过程中，受试者观看了引发积极、消极和中性情绪的视频片段。每个视频片段持续3到4分钟。每个参与者看了15个片段。研究人员用五段视频来引出积极、消极和中性的感觉。在每段视频结束后，参与者有45秒的时间发表评论，然后休息15秒。EEG数据使用62通道ESI NeuroScan系统在1000 Hz下采集，然后将采样降至200(符合国际电极放置规范10-20个电极)。使用0.3-50 Hz范围内的带通滤波来创建预处理数据库。每隔一周，每个人都参加了所有三个实验。| |IDEA|脑电图数据来自14人，其中8人是男性，6人是女性。所有参与者都很健康，从未被诊断出患有精神疾病。这项实验仅限于视力正常或矫正正常的人。研究对象为本科生，平均年龄20岁，标准差1.58。视听片段被用来引出积极和消极的情绪。为了唤起痛苦的情绪，他们使用了心算。在不同的日子里，记录积极和消极的感觉，以验证没有因挥之不去的感觉而出现错误。每个参与者的记录时长为40分钟，并分为8个阶段，每个阶段持续5分钟。每个阶段结束后，休息一分钟以确认相关情绪正在产生。采样率为256hz，符合国际电极布置标准10-20个电极。实验共使用32个电极，其中24个电极记录EEG，其余8个电极记录肌电图(EMG)和心电图(ECG)。|

数据预处理

生理伪影，如频率超过30 Hz的肌电图，大约1.2 Hz的心率，以及低于4 Hz的眼电(EOG)伪影，都是在记录脑电图时形成的。
根据地理位置的不同，电源线干扰恒定在50或60 Hz，而眼睛伪影的一部分，如眨眼、眼动、心脏干扰等，大多在4 Hz以下占主导地位，肌肉产生的伪影在30 Hz以上。
最初阶段是目视检查脑电图记录，如果它们被这些伪影严重污染，那部分记录就会被删除。以类似的方式，手工消除肌肉伪影。采用陷波滤波器来减少50赫兹的电源线干扰。
之后，将原始脑电图数据进行频率范围为4 ~ 44 Hz的六阶巴特沃斯带通滤波器处理。
特征提取

为了训练深度BiLSTM网络、MLP、SVM和k-NN，使用了四个特征:
功率谱密度(PSD)
Hjorth参数
微分熵(DE)
微分熵的线性公式(LF-DE)

功率谱密度

为了获得脑电信号的频域特征，采用快速傅里叶变换(FFT)。PSD表示各个频段的平均能量。我们利用FFT来计算离散傅里叶变换(DFT)，采用不同频段PSD的对数作为特征。频域能量如下所示 $p(f)=\left|\int_{-\infty}^{\infty} u(t) e^{-j 2 \pi f t} d t\right|^2$

Hjorth参数

Hjorth参数是用于信号处理的时域分析统计特征。这些特征参数是脑电信号分析中常用的特征参数，包括活动性(Ax)、移动性(Mx)和复杂性(Cx)，$\sigma ^2_0$为信号的方差，$\sigma ^2_1$和$\sigma ^2_2$分别为信号一阶导数和二阶导数的方差。 $A_x=\sigma_0^2, M_x=\sqrt{\frac{\sigma_1^2}{\sigma_0^2}}, \mathrm{C}_{\mathrm{x}}=\sqrt{\frac{\sigma_2^2 / \sigma_1^2}{\sigma_1^2 / \sigma_0^2}}$

微分熵

采用微分熵法进行非线性分析。DE为香农熵的连续变式，表示为 $\mathrm{DE}=\frac{1}{2} \log _e 2 \pi e \sigma_0^2$

微分熵的线性公式(LF-DE)

脑电图信号是完全随机的。高阶统计量(HOS)用于分析信号的非线性。时间函数u (t)可以用来表示小段的脑电图信号。在频域和时域，线性测量更容易积分;sigmoid函数用于将微分方程的对数形式转换为线性形式。 $L=\frac{e^t}{1+e^t}$ $t=\mathrm{DE}$ $\therefore L=\frac{e^{\mathrm{DE}}}{1+e^{\mathrm{DE}}}$ $L=\frac{e^{\frac{1}{2} \log _c 2 \pi e \sigma_0^2}}{1+e^{\frac{1}{2} \log _c 2 \pi e \sigma_0^2}}$ $L=\frac{e^{\log _e \sqrt{2 \pi e \sigma_0^2}}}{1+e^{\log _e \sqrt{2 \pi e \sigma_0^2}}}$ $L=\frac{\sqrt{2 \pi e \sigma_0^2}}{1+\sqrt{2 \pi e \sigma_0^2}}$ $m_0=\sigma_0^2, m_2=\sigma_1^2, m_4=\sigma_2^2, m_6=\sigma_3^2, \cdots \cdots \cdots \cdots m_{2 n}=\sigma_n^2$

\[Substitute \sigma_0^2=\sigma_2^2\] \[L=\frac{\sqrt{2 \pi e \sigma_2^2}}{1+\sqrt{2 \pi e \sigma_2^2}}\]

脑电信号四阶谱矩微分熵(L)的乙型线性公式。高阶谱矩可以用来分析随机信号，以发现其非线性特性。

特征分类

一种具有长短期记忆(LSTM)的递归神经网络(RNN)。LSTM单元由四个部分组成:单元状态、输入门、遗忘门和输出门。LSTM使用这四个块在连续数据中保持长期和短期依赖关系。

Bi-LSTM模型

传统的LSTM只提供以前的数据，因为它只通过隐藏状态以向前的方式接收输入。为了解决这个问题，采用了双向LSTM (BiLSTM)。在BiLSTM中，输入可以同时在两个方向上(向前和向后)进行处理，一个是从过去到未来，另一个是从未来到以前。通过组合两个lstm的输出创建最终结果。与LSTM相比，BiLSTM对相同的输入序列产生更好的结果。LSTM保留了顺序数据的时间阶段之间的长期依赖关系。LSTM能够快速提取脑电图数据的时空特征。 $f_t=\sigma_g\left(W x_f U_t+V_{h f} h_{t-1}+b_f\right)$ $i_t=\sigma_g\left(W x_i U_t+V_{h i} h_{t-1}+b_i\right)$ $o_t=\sigma_g\left(W_{x o} U_t+V_{h o} h_{t-1}+b_o\right)$ $\dot{C}_t=\tanh \left(W_{x c} U_t+V_{h c} h_{t-1}+b_c\right)$ $C_t=f_t{ }^* C_{t-1}+i_t{ }^* \dot{C}_t$ $h_t=o_t{ }^* \tanh \left(C_t\right)$


$U_t$	t时刻的输入
$h_{t−1}$	之前的隐藏状态
$h_t$	t时刻的隐藏状态
$C_t$	存储单元输出
$\dot C_t$	中间单元输出
$W_{xf}$, $W_{xi}$, $W_{xo}$，和$W_{xc}$	权重矩阵用于计算隐层输入到三个门，以及输入单元的状态
$V_{hf}$, $V_{hi}$, $V_{ho}$和$V_{hc}$	三个门和权重矩阵，将前一个单元的输出状态连接到输入单元状态
$b_f$, $b_i$,$b_o$, $b_c$	偏置向量
$tanh$	状态激活函数
$\sigma_g$	门激活函数

输出向量由Bi-LSTM层$y_t$生成: $\overrightarrow{h_t}=\sigma_h\left(W_{x \vec{h}} U_t+W_{\vec{h}} \vec{h}^{h_{t-1}}+b_{\vec{h}}\right)$ $\overleftarrow{h}_t=\sigma_h\left(W_{x h} U_t+W_{\leftarrow h} \overleftarrow{h}_{t-1}+b_{\overleftarrow{h}}\right)$ $y_t=W_{\vec{h} y} \vec{h}_t+W_{\leftarrow} \overleftarrow{h}_t \overleftarrow{h}_t+b_y$

D-RNN模型

提出的方法中，使用了两个堆叠的200和175个神经元的BiLSTM层。BiLSTM层接收归一化PSD、Hjorth参数、DE和LF-DE特征。BiLSTM层的输出被馈送到dropout率为0.2的dropout层。第一个BiLSTM层的输出被馈送到第二个BiLSTM层。softmax层接收BiLSTM的级联输出，然后利用BiLSTM对不同的两种情绪(积极和消极)进行分类。为了避免过拟合，在模型中采用了L2和dropout正则化方法。

训练

结果

分类精度

消融实验

模型对比

附录

准确度(Ax)，精密度(Px)，敏感性(Sv)，特异性(Sf)，f1评分和kappa系数(K)，真阳性(TP)、真阴性(TN)、假阳性(FP)和假阴性(FN)混淆矩阵参数用于表示这些测量值。 $A x=\frac{(T P+T N)}{(T P+T N+F P+F N)} \times 100$ $P x=\frac{(T P)}{(T P+F P)} \times 100$ $S v=\frac{(T P)}{(T P+F N)}$ $S f=\frac{T N}{(F P+T N)}$ $F 1-\text { score }=2 \times \frac{(S v \times P x)}{(S v+P x)}$ $K=\frac{(A x-R A)}{(1-R A)}$

$L=\frac{\sqrt{2 \pi e \sigma_2^2}}{1+\sqrt{2 \pi e \sigma_2^2}}$ $f_t=\sigma_g\left(W x_f U_t+V_{h f} h_{t-1}+b_f\right)$ $RA =\frac{(T N+F P)(T N+F N)+(F N+T P)(F P+T P)}{(T P+F P+T N+F N)^2}$

$p(f)=\left|\int_{-\infty}^{\infty} u(t) e^{-j 2 \pi f t} d t\right|^2$ $A_x=\sigma_0^2, M_x=\sqrt{\frac{\sigma_1^2}{\sigma_0^2}}, \mathrm{C}_{\mathrm{x}}=\sqrt{\frac{\sigma_2^2 / \sigma_1^2}{\sigma_1^2 / \sigma_0^2}}$ $\mathrm{DE}=\frac{1}{2} \log _e 2 \pi e \sigma_0^2$ $L=\frac{e^t}{1+e^t}$ $Let t=\mathrm{DE}$ $\therefore L=\frac{e^{\mathrm{DE}}}{1+e^{\mathrm{DE}}}$ $L=\frac{e^{\frac{1}{2} \log _c 2 \pi e \sigma_0^2}}{1+e^{\frac{1}{2} \log _c 2 \pi e \sigma_0^2}}$ $L=\frac{e^{\log _e \sqrt{2 \pi e \sigma_0^2}}}{1+e^{\log _e \sqrt{2 \pi e \sigma_0^2}}}$ $L=\frac{\sqrt{2 \pi e \sigma_0^2}}{1+\sqrt{2 \pi e \sigma_0^2}}$ $m_0=\sigma_0^2, m_2=\sigma_1^2, m_4=\sigma_2^2, m_6=\sigma_3^2, \cdots \cdots \cdots \cdots m_{2 n}=\sigma_n^2$

\[Substitute \sigma_0^2=\sigma_2^2\]

$L=\frac{\sqrt{2 \pi e \sigma_2^2}}{1+\sqrt{2 \pi e \sigma_2^2}}$ $f_t=\sigma_g\left(W x_f U_t+V_{h f} h_{t-1}+b_f\right)$ $i_t=\sigma_g\left(W x_i U_t+V_{h i} h_{t-1}+b_i\right)$ $o_t=\sigma_g\left(W_{x o} U_t+V_{h o} h_{t-1}+b_o\right)$ $\dot{C}_t=\tanh \left(W_{x c} U_t+V_{h c} h_{t-1}+b_c\right)$ $C_t=f_t{ }^* C_{t-1}+i_t{ }^* \dot{C}_t$ $h_t=o_t{ }^* \tanh \left(C_t\right)$ $\overrightarrow{h_t}=\sigma_h\left(W_{x \vec{h}} U_t+W_{\vec{h}} \vec{h}^{h_{t-1}}+b_{\vec{h}}\right)$ $\overleftarrow{h}_t=\sigma_h\left(W_{x h} U_t+W_{\leftarrow h} \overleftarrow{h}_{t-1}+b_{\overleftarrow{h}}\right)$ $y_t=W_{\vec{h} y} \vec{h}_t+W_{\leftarrow} \overleftarrow{h}_t \overleftarrow{h}_t+b_y$ $A x=\frac{(T P+T N)}{(T P+T N+F P+F N)} \times 100$ $P x=\frac{(T P)}{(T P+F P)} \times 100$ $S v=\frac{(T P)}{(T P+F N)}$ $S f=\frac{T N}{(F P+T N)}$ $F 1-\text { score }=2 \times \frac{(S v \times P x)}{(S v+P x)}$ $K=\frac{(A x-R A)}{(1-R A)}$