E2-LLM
E2-LLM
E2-LLM 是一个把 EEG 脑电信号接入大语言模型进行情绪解释和推理的多模态框架。它的核心价值不是把 EEG 分类器换成 LLM,而是把“脑电片段 -> 情绪标签”推进到“脑电片段 -> 自然语言解释 -> 场景推理”。
观察
- EEG 情绪识别的传统瓶颈是噪声大、个体差异大、标注贵、数据少,模型常停留在封闭集分类。E2-LLM 把问题改写为跨模态对齐和语言推理问题。
- 架构上,EEG encoder 先从原始脑电提取表征,projector 把 EEG embedding 映射到 LLM token embedding 空间,再由 Qwen 系列 LLM 生成情绪描述和推理解释。
- 三阶段训练是关键:先训练 EEG encoder 学情绪特征,再冻结 encoder 训练 projector 对齐模态,最后用 LoRA/指令微调让 LLM 生成解释。这避免了直接把噪声 EEG 丢给 LLM。
- 任务设计从单段情绪描述扩展到情绪对比、排序、场景匹配和零样本场景推理,说明情绪计算的评测正在从标签准确率走向语义解释和关系推理。
- 对 情绪计算 来说,E2-LLM 是“解释型情绪 AI”的 EEG 路线;对 NeuroAI 来说,它把神经信号作为 LLM 可消费的新模态。
- 对 脑电与具身智能 来说,E2-LLM 不直接证明 EEG 可以提升机器人策略,但显示脑电信号可能被组织成可语言化、可解释的人体状态线索。
边界
- EEG 到 LLM 的解释仍是模型输出,不等于直接读取真实情绪或主观体验。
- SEED-VII 等 benchmark 上的表现不能自动外推到跨设备、跨人群、真实场景和临床心理状态。
- “读懂脑电”是传播性表达;更严谨地说,是把 EEG 表征映射到语言模型可处理的嵌入空间,并在任务数据上学习解释。
相关页面
证据
- 原始资料快照(本地归档)
- arXiv PDF