Ego-Exo4D
Ego-Exo4D
Ego-Exo4D 是同步记录第一视角与第三视角的人类熟练活动数据集和 benchmark。它的核心价值是多相机同步、三维重建和技能步骤标注,而不是直接提供机器人控制轨迹。
V2 可复现口径
| 维度 | V2 官方记录 |
|---|---|
| 发布时间 | 2024-03-25 |
| takes | 5,035 |
| ego-hours | 221.26 |
| total video-hours | 1,286.30,多个相机流相加 |
| 采集 | 至少 1 副 Aria + 4–5 台 GoPro |
| 主要模态 | RGB、音频、IMU、相机位姿、稀疏点云、gaze |
| 活动 | 自然场景中的预定义熟练任务 |
当前 landing page 另写超过 800 名参与者、131 场景与 1,422 combined hours;论文/V2 口径为 740 人、123 contexts 与 1,286 小时。官方尚未解释差异,因此本页优先使用可复现 V2 release 数字,并把冲突保留在 Bead luwiki-4i3.2.1。
标注与机器人转换
- 数据提供 keystep、procedure、proficiency、body/hand pose、object relation 和跨视角对应;大量 pose 含自动生成结果,不能统称人工真值。
- TriHands 从 532 个 cooking videos 重新三角化得到 28 小时、3,042,406 帧右手 3D 轨迹。
- 这条机器人路线仍需要相机尺度对齐、action-space remapping、本体专属视觉/动作网络,以及每任务 3 个训练环境 × 50 条机器人示范。作者报告六任务共同训练较 robot-only 平均提高 29.7 个百分点。
- 因此,同步 ego/exo 能降低高质量 3D 人手轨迹的重建成本,但不能替代机器人 action、proprioception、contact/force、reward 与安全验证。
访问与许可
- 数据免费但 gated;接受许可后获得有期限的 AWS 凭证,推荐下载约 14 TiB。
- 官方 model license 页面不等于每位使用者实际签署的 partner agreement。商业训练、衍生模型、再分发和第三方访问必须核对实际协议。
- 多视角和环境点云扩大了旁人、空间与身份泄露面;同步精度也不能被解释为参与者已经授权任意下游控制用途。
相关页面
证据
- 原始资料快照(本地归档)
- Ego-Exo4D V2 changelog
- Ego-Exo4D Overview
- TriHands