EgoBrain
EgoBrain
EgoBrain 是一项把第一视角视觉与脑电同步用于人类动作分类的论文及配套数据集。论文于 2025-06-02 首次提交 arXiv,作者为 Nie Lin、Yansen Wang、Dongqi Han、Weibang Jiang、Jingyuan Li、Ryosuke Furuta、Yoichi Sato 和 Dongsheng Li,后录用为 ICLR 2026。
数据与任务
| 维度 | 公开记录 |
|---|---|
| 任务 | 29 类受控日常动作的动作分类 / action recognition |
| 规模 | 61 小时、40 名参与者 |
| 核心模态 | 第一视角视频、32 通道 EEG |
| 补充模态 | 官方数据页另列 IMU |
| 明确不含 | EMG、sEMG、ECG |
| 发布 | Hugging Face gated access,CC BY-NC 4.0;维护者标注总量约 1.6 TB |
论文研究的是跨被试、跨环境的多模态动作分类,而不是潜在意图识别。第一视角视频与 EEG 的时间同步可以用于比较模态贡献,但不能仅凭分类结果识别“感知→神经表征→意图→行动”的因果链。
开放数据与组织关系
- 官方数据页把项目写为东京大学 UT-Vision 与 微软亚洲研究院 相关研究者的合作。
- 这支持论文/数据集层面的共同研究,不等于两个机构形成长期联盟或产品合作。
- 数据页列出 32 通道 EEG、第一视角视频与 IMU 的目录结构,并要求使用者申请访问、遵守非商业许可、不得重新分发原始数据或尝试识别参与者。
- 维护者于 2026-07-05 宣布全部数据发布完成;这是维护者口径,使用者仍需自行核验文件完整性、匿名化处理和本地伦理许可。
能支持与不能支持的判断
- 可以支持:在受控日常动作分类中研究第一视角视觉与 EEG 的多模态融合、跨被试与跨环境泛化,以及敏感视频/脑电数据的 gated 发布模式。
- 不能支持:把动作标签改写成潜在意图、动机或主观体验;把时间同步改写成因果机制;把动作分类改写成真实机器人策略训练或闭环控制。
- 不能混入模态:EgoBrain 的公开模态没有 EMG、sEMG 或 ECG;不能因为相邻页面讨论 Ego-NeuroLoop、OriginFlow 或 Human Model 就把这些信号补进数据集。
相关页面
证据
- 原始资料快照(本地归档)
- 原始资料快照(本地归档)
- arXiv:EgoBrain
- 官方 Hugging Face 数据页