2.情绪分类GameEmotion

| || | ——– | ——– | | $论文名称$ | Game induced emotion analysis using electroencephalography | | $作者$ | Amna Khan | | $机构$ | National University of Sciences and Technology (NUST) | | $期刊$ | Computers in Biology and Medicine 6.698/Q1| | $类别$ | 情绪分类 | | $方法$ | 使用Savitzky-Golay滤波器对其进行了清洗，发现该滤波器适用于单通道脑电信号设备。随机森林从时间、频率和时频域的16个特征中选出了7个，用于对情绪进行分类。使用了支持向量机、k-近邻和梯度增强树分类器 | | $结论$ | 增强树分类器的分类准确率最高，达到82.26%。我们的研究结果表明，对于单通道EEG设备，只有四种离散的情绪(快乐、无聊、放松、压力)可以被分类，其中快乐和无聊两种情绪在梯度增强树分类器中分别达到了最高的个体准确率，分别为88.89%和85.29%。 | | $评价$ |提出了针对游戏反应的情绪维度理论模型| —

现存问题

  • 不同类型的电子游戏对人类情感的影响机理关系不明朗

    创新点

  • 创建了一个开源的使用电子游戏作为刺激源的EEG数据集。
  • 使用梯度增强树对脑电波进行情绪分类
  • 建立四种基本的游戏情绪模型
    • 快乐
    • 放松
    • 无聊
    • 压力

::: tip why? 首先，我们认为电子游戏是一种非常适合诱导情绪的刺激，因为它们在全球范围内都很受欢迎。因此，有必要创建一个以电子游戏为刺激的开放数据集，因为该领域的公开可用脑电图数据集非常有限。其次，单通道脑电图设备的使用需要探索，因为它们具有成本效益，并且可以相对容易地嵌入到可穿戴头盔中。 :::

主要工作

  • 使用Savitzky-Golay滤波器对其进行了清洗，发现该滤波器适用于单通道脑电信号设备。
  • 随机森林从时间、频率和时频域的16个特征中选出了7个，用于对情绪进行分类。

  • 使用了支持向量机、k-近邻和梯度增强树分类器，其中增强树分类器的分类准确率最高，达到82.26%。

  • 我们的研究结果表明，对于单通道EEG设备，只有四种离散的情绪(快乐、无聊、放松、压力)可以被分类，其中快乐和无聊两种情绪在梯度增强树分类器中分别达到了最高的个体准确率，分别为88.89%和85.29%。

  • 在这项研究中，我们还确定了性格特征、外向性和神经质会影响玩家对电子游戏的看法。结果表明，与高外向性的玩家相比，低外向性的玩家更喜欢相对缓慢的策略游戏。研究还发现，无论这两种性格特征的水平如何，益智游戏和赛车游戏都很受欢迎。

实验与数据集

| || |-|-| |被试者|来自多个年龄组的31名用户，是健康的个体，没有已知的心理健康问题| |游戏时长|5分钟| |实验设备|Neurosky头盔| |脑电帽|按照10-20国际脑电图放置系统放置在Fp1位置，参考电极垂直连接到耳垂| |实验过程|每次游戏结束后，受试者都有10秒的休息时间，在此期间，他们还填写了一份自我评估模型(SAM)，以报告他们的Valence和Arousal水平。| |游戏名称|Img

Img

数据预处理

::: tip FIR滤波器 以级联方式应用，以提取1到50 Hz之间的频率。我们使用二次多项式和帧长来过滤数据。 ::: ::: tip Savitzky-Golay滤波器 采用Savitzky-Golay滤波器去除噪声伪影，去除伪影后，预处理后的脑电图数据可用于特征提取和分类算法。

  • 简单性
  • 对极噪声信号去噪的良好性能 ::: 滤波结果 下图显示了噪声脑电图(蓝色)与滤波信号(绿色)之间的差异。可以观察到，所应用的滤波器不仅有助于信号去噪，而且还有助于信号平滑。 Img

特征提取

时域特征

||| |-|-| |LAR延迟幅度比|延迟幅度比是信号值最大的时间瞬间与信号值之间的比值|$L A R=\frac{t_{s_{\max }}}{s_{\max }}$|其中$t_{Smax}$为具有最大信号值的时间瞬间，${Smax}$为最大信号值| |峰谷幅值差值|计算最小和最大信号值之间的差值|$s_{p p}=s_{\max }-s_{\min }$|其中，${Smax}$为最大信号值，${Smin}$为最小信号值| |峰谷时间和值|峰值与谷值时间的和|$t_{p p}=t_{s_{\max }}+t_{s_{\min }}$|其中$t_{Smax}$为信号值最大的时间瞬间，$t_{Smin}$为信号值最小的时间瞬间| |峰斜率|峰峰信号幅值与峰峰时间间隔之比|$s_{p p s}=\frac{s_{p p}}{t_{p p}}$|其中$s_{pp}$为峰峰信号值，$t_{pp}$为峰峰时间值| |信号功率| |$P=\frac{1}{T} \lim \left{\sum_i\left|s(t)^2\right|\right.$|其中T是时间段，s(t)是t时间内的信号值| |信号的平均值|每一秒的数值之和除以总时间|$\mu=\frac{1}{N} \sum_{i=1}^N s[i]$| | |峰度Kurtosis|四次矩和信号方差的比值|$K=\frac{m_4}{m_2^2}$| | |移动度Mobility|对EEG信号定义为信号频谱的平均频率。它是信号的一阶导数与方差之比|$M_e=\frac{\operatorname{Var}(s(t))^{\prime}}{\operatorname{Var}(s(t))}$| | |复杂度|是移动度$M_e$的导数与移动度本身之间的比率|$C_e=\frac{M_e^{\prime}}{M_e}$| |

频域特征

||| |-|-| |功率谱密度(PSD)|表示信号的总功率谱密度|$P_x(f)=\lim {T \rightarrow \infty} \frac{1}{2 T} \int{-T}^T\left|s(t) e^{-j 2 \pi f t}\right|^2 d t$| |频带权重Band Power|计算五个波段的能带功率，并根据每个波段各自的边界选择上下限a和b|$B P=\int_a^b P_x(f) d f$|

小波域特征

||| |-|-| |熵Entropy|$H(W(a, \tau))=-\sum_{i=1}^N p(W(a, \tau)) \log 2 p(W(a, \tau))$|其中$p(W(a, \tau))$是小波系数的概率| |能量Energy|$E_w=\sum{i=1}^C W(a, \tau)^2$|其中C是小波系数的总数，W(a， τ)是小波系数|

特征选择

|算法|目的| |-|-| |随机森林算法|选择特征来提高预测模型的性能，并避免过拟合| Img

特征分类

KNN

对于kNN，我们选择k = 3，因为数据是非线性的，只有少数邻居会彼此靠近。

SVM

支持向量机使用边界值来使用向量分离类标签。在本例中，我们有四个类标签。然而，数据是非线性的，所以在这种情况下不能绘制线性向量来训练分类器正确标记情绪。因此，我们使用径向核对情绪进行分类

梯度增强树

为了提高准确性，使用了150棵树的梯度增强树(GBT)，并进行了10倍交叉验证。八个顶级特征被用来训练模型。据我们所知，这是第一次使用梯度增强树来研究使用脑电图的情绪分类

训练

由于特征向量由非线性数据组成，因此选择了三种对非线性数据表现较好的算法。k = 10的k-fold交叉验证用于我们所有的ML分类器，其中数据被随机化并分成十个相等的部分用于训练和测试分类器

结果

分类精度

Img

消融实验

Img

Img

生物学结论

不同外向程度 不同神经质(敏感)程度对于不同类型游戏的情绪分布 该数据来自实验中SAM调查 Img Img Img

Img

\(L A R=\frac{t_{s_{\max }}}{s_{\max }}\) \(s_{p p}=s_{\max }-s_{\min }\) \(t_{p p}=t_{s_{\max }}+t_{s_{\min }}\) \(s_{p p s}=\frac{s_{p p}}{t_{p p}}\) \(P=\frac{1}{T} \lim \left\{\sum_i\left|s(t)^2\right|\right.\) \(\mu=\frac{1}{N} \sum_{i=1}^N s[i]\) \(K=\frac{m_4}{m_2^2}\) \(M_e=\frac{\operatorname{Var}(s(t))^{\prime}}{\operatorname{Var}(s(t))}\) \(C_e=\frac{M_e^{\prime}}{M_e}\) \(P_x(f)=\lim _{T \rightarrow \infty} \frac{1}{2 T} \int_{-T}^T\left|s(t) e^{-j 2 \pi f t}\right|^2 d t\) \(B P=\int_a^b P_x(f) d f\) \(H(W(a, \tau))=-\sum_{i=1}^N p(W(a, \tau)) \log _2 p(W(a, \tau))\) \(E_w=\sum_{i=1}^C W(a, \tau)^2\)