1. LTFE 局部时间特征提取a. 时间金字塔尺度不变性——3、7、15和时间的挂钩。MDWSC通过引入通道维度扩展和增加额外的卷积层来扩大时间感受野。这意味着不同大小的卷积核能够捕捉EEG信号在不同时间跨度上的模式。采用这些不同核大小3, 7, 15的MDWSC来“模拟不同皮层区域之间时间尺度的异质性”。较小的卷积核如3能捕捉到更精细、短时间内的变化而较大的卷积核如15则能捕捉到更宏观、长时间内的模式。这表明他们认为大脑在处理情绪信息时不同区域可能在不同的时间尺度上进行活动而这些不同核大小的卷积核正是为了捕捉这种多尺度的时间信息。最终每个MDWSC块的输出即不同核大小提取到的时间特征会被拼接起来形成多尺度局部时间特征 Xmltf。这种融合操作使得模型能够综合考虑EEG信号在不同时间尺度上的信息从而增强对情绪的识别能力。b. 时间尺度异质性CA如何通过通道注意力得到不同情绪的激活脑区Fig.8。时间尺度异质性神经科学研究表明不同大脑皮层区域处理信息的速度和时间尺度是不同的。例如有些区域可能对快速变化的信息更敏感而另一些区域则对缓慢变化的信息更敏感。这种差异就是时间尺度异质性。CA机制论文引入了CA机制来解决这个问题。CA机制的独特之处在于它不仅考虑了通道之间的注意力即哪些脑区更重要还嵌入了特征维度和时间维度的位置信息。如何得到不同情绪的激活脑区Fig.8CA机制将通道注意力分解为特征维度编码和时间维度编码从而能够捕获长距离依赖并保持位置信息的准确性。通过这种方式CA机制可以利用融合后的多尺度时间特征来优化局部空间特征并减轻不同皮层区域之间时间尺度异质性的影响。图8展示了CA机制在不同卷积核大小下Kn3,7,15以及三者结合的注意力权重分布。这些权重可以被理解为模型对不同脑区EEG通道的关注程度。在效价Valence维度上当只包含MDWSC-3时右半球的激活更为显著而当包含所有三种核大小3, 7, 15的MDWSC时右半球的激活更加突出。这表明较小的核大小在效价维度中扮演重要角色并且不同尺度的局部时间特征在表示情绪的效价维度上是互补的。在唤醒Arousal维度上当只包含MDWSC-7时前额叶的激活更为显著当包含所有三种核大小的MDWSC时前额叶的激活模式得到增强。这表明中等核大小在唤醒维度中扮演重要角色并且不同尺度的局部时间特征在表示情绪的唤醒维度上也是互补的。CA机制通过这种方式能够根据不同情绪状态的特点动态地调整对不同脑区通道的关注程度从而在多尺度时间特征中识别出与特定情绪相关的激活脑区。当结合多尺度特征时CA能够更好地模拟和减轻时间尺度异质性使得模型更有效地关注到与情绪相关的正确脑区。2. GSFE 全局空间特征提取a. 相似度矩阵分成哪些脑区根据论文2.2.1节“GSFE”的描述相似度矩阵 A 是通过局部特征 XLF 生成的。生成方式 相似度矩阵 A^ 的元素 XLF(m)⋅XLF(n) 表示局部特征 XLF 中第 m 个通道的特征与第 n个通道的特征的点积。这里 m,n∈[1,4C]其中 C是电极的数量。这意味着相似度矩阵反映的是不同EEG通道之间的特征相似性。脑区划分 论文中没有明确提到将EEG通道预先“分成哪些脑区”来构建相似度矩阵。它是基于所有EEG通道电极之间的特征相似性来构建的。虽然神经科学研究表明不同情绪状态会激活不同的皮层区域并且GCN被用于提取不同EEG通道之间关系的拓扑模式但相似度矩阵的构建是基于通道特征的直接计算而不是预设的脑区划分。GCN的作用 相似度矩阵经过掩码和归一化后成为邻接矩阵 A~与局部特征 XLF 一起作为图卷积网络GCN的输入。GCN的作用是提取包含在不同EEG通道之间关系中的拓扑模式从而表示不同情绪状态之间的差异并最终提取全局空间特征 XGSF。因此相似度矩阵本身并没有将脑区“分成”哪些部分而是反映了所有EEG通道之间的相互关系。GCN在此基础上学习这些通道可以理解为代表不同脑区活动的点之间的空间拓扑模式。b. 掩码情绪相关。根据论文2.2.1节“GSFE”的描述一个可训练的掩码矩阵 M∈R4C×4C 被设计出来。这个掩码矩阵的目的是“增加对与情绪识别相关性更强的通道的关注并减少对相关性较弱通道的关注”。情绪相关性 这意味着掩码矩阵能够学习哪些EEG通道或其组合对于区分不同的情绪状态更为重要。通过训练模型可以自动识别出与情绪活动高度相关的脑区或电极并赋予它们更高的权重从而在空间特征提取过程中突出这些关键信息。作用方式 掩码矩阵 M 与初始的相似度矩阵 A^进行Hadamard乘积元素级乘法然后加上一个恒等矩阵 I 并经过ReLU激活函数最终得到用于GCN的邻接矩阵 A。这个过程确保了模型能够根据情绪相关性来调整通道间的连接强度从而更有效地捕捉情绪相关的空间信息。4. 情绪数据集3个数据集涉及到的情绪类别4分类是把不同情绪组合不是分具体的情绪论文使用了三个公开的生理信号情绪识别数据集DEAP、DREAMER和PhyMER。DEAP原始评估维度效价valence、唤醒度arousal、支配度dominance和喜好度liking评分范围1-9。二分类效价和唤醒度分别以阈值5划分为高/低两类。四分类效价-唤醒度平面以阈值5划分为四个部分LVLA (Low-Valence-Low-Arousal): 低效价-低唤醒LVHA (Low-Valence-High-Arousal): 低效价-高唤醒HVLA (High-Valence-Low-Arousal): 高效价-低唤醒HVHA (High-Valence-High-Arousal): 高效价-高唤醒结论DEAP数据集的四分类是将效价和唤醒度这两个维度进行组合而不是直接分为“喜悦”、“悲伤”等具体情绪类别。DREAMER原始评估维度效价valence、唤醒度arousal和支配度dominance评分范围1-5。二分类效价和唤醒度分别以阈值3划分为高/低两类。四分类效价-唤醒度平面以阈值3划分为四个部分LVLA, LVHA, HVLA, HVHA。结论DREAMER数据集的四分类也是将效价和唤醒度这两个维度进行组合。PhyMER原始评估维度效价valence和唤醒度arousal评分范围1-9。二分类效价和唤醒度分别以阈值5划分为高/低两类。四分类效价-唤醒度平面以阈值5划分为四个部分LVLA, LVHA, HVLA, HVHA。结论PhyMER数据集的四分类同样是将效价和唤醒度这两个维度进行组合。综上所述这三个数据集的四分类任务都是基于效价和唤醒度这两个维度进行组合划分的而不是直接识别具体的情绪类别如愤怒、快乐等。5. 情绪相关的脑区Fig.8 是哪种情绪是否换个被试结果差很多文中有没分析情绪相关的脑区根据论文4.2节的分析结合神经科学的先验知识效价Valence与右半球高度相关。唤醒度Arousal与前额叶高度相关。图8通过CA机制的注意力权重分布验证了模型能够捕捉到这些与情绪相关的特定脑区激活模式。Fig.8 是哪种情绪Fig. 8的数据来源 Fig. 8的注意力权重分布效价维度和唤醒度维度是针对DEAP数据集中第15个被试的第3个折叠在受试者依赖场景下获得的。它不是针对某一种具体情绪如快乐或悲伤而是针对情绪的两个基本维度效价和唤醒度的识别过程。图8(a)-(d)分别展示了只使用Kn3,7,15的MDWSC以及结合使用Kn3,7,15的MDWSC时CA机制在效价和唤醒度维度上的注意力权重分布。是否换个被试结果差很多文中有没分析论文在4.4节“Complementarity between GSFE and GTFE”中提到了个体差异在分析GSFE和GTFE模块的互补性时论文使用了t-SNE可视化了GSFE和GTFE模块输出以及两者融合后的结果fig.9。论文指出“对于Subject0GSFE模块的输出分类能力优于GTFE模块的输出。而对于Subject3GTFE模块的输出分类能力优于GSFE。因此由于个体差异这两个模块对不同被试的情绪分类贡献可能不同。”这明确表明换个被试结果可能会有差异因为不同被试的大脑活动模式存在个体差异。论文也正是通过融合GSFE和GTFE来应对这种个体差异以提高整体的分类准确性。6. 疑问Fig.9可视化为何只有2个被试而不是所有被试图9只展示了2个被试的原因图9的目的是为了说明GSFE和GTFE模块在增强情绪分类准确性方面的互补性。为了清晰地展示这种互补性以及个体差异对模块贡献的影响论文选择了两个具有代表性的被试Subject0和Subject3进行可视化。对于Subject0GSFE表现更好对于Subject3GTFE表现更好。通过这两个被试的对比可以直观地看出这两个模块的互补作用以及它们如何共同提升分类性能。t-SNE是一种降维可视化技术旨在将高维数据映射到二维或三维空间中以便于观察数据的聚类和分离情况。如果包含所有被试的数据图表可能会变得过于拥挤和复杂难以清晰地传达信息。对于大规模数据集对所有被试进行详细的t-SNE可视化可能需要较高的计算资源和时间。选择少量被试可以降低分析的复杂性。
