1.MI脑电分类MSFFCNN

论文名称 Adaptive transfer learning-based multiscale feature fused deep convolutional neural network for EEG MI multiclassification in brain–computer interface
期刊 Engineering Applications of Artificial Intelligence 7.802/Q1
方法 本文提出了一种高效的基于迁移学习(TL)的多尺度特征融合CNN (MSFFCNN)算法，该算法能够捕捉不同卷积尺度下脑电图信号各不重叠正则频段的可区分特征，用于多类脑电信号分类。
结论 该模型在训练样本较少的情况下，平均分类准确率为94.06%(±0.70%)，kappa值为0.88，优于几个基线和当前最先进的基于eeg的MI分类模型。本研究为设计高性能、鲁棒的MI- bci系统提供了一个有效的基于迁移学习的端到端MI分类框架。
评价 MSFFCNN模型具有相对较低的SE值，表明在表示不同受试者的EEG数据时具有更好的能力和泛化能力。

EEG-MI信号

ERD

==神经活动的不同步==在运动对侧的初级运动皮层触发，造成$\mu-\beta$波段下降，称为事件相关去同步

ERS

紧接着，$\beta$波段会随之上升，称为事件相关同步

主要目标

主要目标是根据$\mu (8-14Hz)$，$\beta (14-30Hz)$波段的功率谱改变所表征的ERS和ERD对不同的MI任务进行分类。 |频段|作用| |-|-| |$\alpha(8-13)$|这两个波段是最重要的，因为这些波段功率谱的增加/减少分别导致ERS/ERD。{rowspan=2 style="color:red"}| |$\beta(13-30)$|

$\delta(2-4)$ 携带重要的类别相关(class-related)信息
$\theta(4-8)$ 在左/右MI中不同，这有助于MI-BCI分类过程

当前研究存在的问题

::::: row EEG信号处理的难点 :::: col 难点 ::: warning 来自脑电图的大脑信号具有各种不同的特征(即非线性、唯一性和非平稳行为)，这些特征随着人脑的不同而显著变化，并取决于个体受试者的精神状态。 ::: ::: warning 由于各种肌肉伪像噪声的存在，疲劳、环境变化和身体内部状态可能会显著改变EEG信号的特征 ::: :::: :::: col 做法 ::: tip 得提高信噪比(SNR)以获得更好的MI分类性能 :::

:::: ::::: ::::: row 传统CNN在EEG信号处理上的劣势与改进 :::: col 劣势总结 ::: warning 现有的基于cnn的脑电信号特征提取模型只考虑单一卷积尺度。 这种策略可能不适合有效地捕获EEG信号的各种非重叠规范频段的可区分特征 ::: ::: warning 从MI脑电图信号中提取ERD/ERS的重要判别特征常常被忽略，这限制了分类器从原始脑电图数据中学习重要语义特征的能力 ::: ::: warning 只有少数研究致力于建立有效的迁移学习框架，以解决BCI系统中不同科目之间的科目间可变性的挑战，这需要在目标MI科目分类期间对模型进行微调 ::: :::: :::: col 改进 ::: tip 在数据处理过程中加入脑电极位置信息 ::: ::: tip 使用FBCSP提取特征 ::: ::: tip 采用迁移学习 ::: :::: :::::

主要工作

  • 设计一种高效的多尺度CNN (MSCNN)架构，以捕获四个可区分频段$(\alpha,\beta,\delta,\theta)$的多卷积尺度脑电图信号的语义特征
  • 本研究将FBCSP与一对多(OVR) CNN块(OVR-FBCSP CNN)集成，用于提取适合多类MI分类任务的事件相关去同步与同步(ERD/ERS)的判别时空CSP特征
  • 提出了四种不同的MSCNN模型变体，包括主题特定的、主题独立的和考虑两种不同自适应配置的主题自适应分类模型，以充分利用分类器的学习能力
  • 对模型的性能进行了广泛的学习速率和适应程度的研究，以探索所提出的模型对不同学科间可变性的适应能力

Img

实验与数据集

| 名称 | 描述 | | – | – | | BCI竞赛IV-2a数据集 | 9名受试者的4种不同MI类别(即左手、右手、脚和舌头) |

实验参数

记录的脑电图数据包括来自每个受试者的两个会话，其中第一个会话和第二个会话分别由训练和测试数据组成。 Img

名称 数值
BCI系统 标准化的国际10-20电极系统
EEG通道 22个
试验次数 288次
每类实验的次数 72次
采样频率 250Hz

实验流程

在单次试验中，四个类别的每个受试者都有一个提示，随后是4秒的MI活动，如图所示。 Img

数据处理

:::: col ::: warning 当前研究存在的问题 通常，在MI-BCI系统中，输入数据被认为是一个结合了多通道(电极)空间信息和每次试验对应的时间序列数据的二维阵列

这种表示忽略了实际采集设备中的电极位置分布，可能导致复杂的多通道相关性，而不是简单的相邻关系 ::: ::: tip 本文提出的解决方法 为了解决这一问题，本研究针对特定受试者，考虑每个电极固定时间窗口为4s的1D EEG片段，对MI任务相关信号进行分割，在该方法中，每个通道的输入数据可以用一维向量表示$S_m:=[S^m_1,S^m_2…S^m_p]$ ::: | 符号 | 含义 | | – | – | | $m$ | 通道的序号 | | $p$ | 单个MI任务的采样点数 | Img 由于我们的输入脑电图数据表示是1D时间序列信号，因此使用了1D-CNN，与2D相比，它相对更容易训练，并提供最小的计算复杂度

::::

MCB

::: tip 多尺度的好处 在卷积运算中，不同的核大小可以提取不同的空间特征图。例如，相对较大的内核大小可以捕获总体特性。然而，它可能会错过相关的和重要的细粒特征信息。在这种情况下，相对较小的内核尺寸可以有效地保留细粒信息 :::

设计了一种多尺度卷积块(MCB)，在卷积过程中包含三种不同大小的核。 Img |名称|kernel大小|作用| |-|-|-| |$\lambda_S$|11|能够有效地捕捉到脑电信号的细粒局部信息| |$\lambda_M$|13|可以捕获相对粗大的颗粒特征信息。| |$\lambda_L$|15|该方法可以有效地采集整体特征图| |$MaxPool$|1?|进一步减少网络参数| |$MaxPool+CNN$|1*3|被用来保存重要的特征| Img Img

在MSCNN中，脑电信号被分成四个不同频段的通道，并经过相应的MCB块，通过拼接运算得到多尺度特征信息。所提出的MSCNN网络可以从脑电信号中提取多尺度的特征信息，显著提高了MI-BCI分类器的分类精度。

OVR-FBCSP CNN

每次4s长的脑电图信号MI试验被分割成4个1s的时间窗口，并输入OVR-FBCSP，得到如图所示的空间特征。 Img

滤波器频段设置

名称 数值
滤波器组数 12
每个滤波器的带宽 4Hz
带宽的重叠 2Hz
覆盖频率范围 2-32Hz

::: tip 2-6,4-8,…,24-28Hz ::: 所提出的模型在每1s时间窗口的OVR-FBCSP输出后包含一个CNN层，称为OVR-FBCSP CNN，用于提取空间特征。每个OVR-FBCSP CNN由两个卷积池化层组成。OVR-FBCSP对每个时间窗口大小为12 × 12的特征输出经过2d卷积层。

Img Img

模型框架

Img

Img |函数|名称| |-|-| |激活函数|ReLU| |分类函数|Softmax| |损失函数|交叉熵损失函数| |优化函数|Adam optimization| |dropout|0.5|

迁移学习

迁移学习是一种有效的策略，利用来自不同主题案例的预训练权重。 因为不同科目之间存在大量的学科间变异性，因此，适应方案需要特别注意谨慎地微调模型参数，以建立一个有效的基于迁移学习的MI-BCI分类器

模型 分类方法
MSFFCNN-1 subject-specific
MSFFCNN-2 subject-independent
MSFFCNN-TL subject-adaptive

在本研究中，首先采用传统的主题分类方法，在目标主题上训练所提出的模型，并在同一主题上评估模型的性能。基于主题分类的训练模型是本研究的第一个基线模型，被命名为MSFFCNN-1。

对于第二种方法，采用主题无关的分类，其中模型已经使用除目标主题之外的所有可能可用的训练数据进行训练。在验证过程中，使用了LOSO交叉验证程序。基于学科独立分类的模型被认为是第二个基线模型。在目前的工作中，它被称为MSFFCNN-2。

此外，为了进一步提高主题独立分类模型的性能，采用了主题自适应分类方法，其中模型在预先训练的模型(MSFFCNN-2)中针对特定主题进行了微调，使用不同比例的目标主题数据，以研究不同程度的适应的影响。

实验结果

MCB模块里面不同kernel的实验

Img Img

不同池化的实验

Img Img

模型对比

Img Img Img

超参数对模型的影响

参数 作用
$\theta$ 学习速率的比例因子
$\delta$ 定义为训练数据的比例，以微调每个主题自适应配置的模型

Img

Img Img Img