以人为中心的具身智能
以人为中心的具身智能
以人为中心的具身智能强调:机器人进入家庭和日常生活时,不能只优化抓取、操作或导航,还必须理解人的状态、意图、记忆、偏好和信任关系。
核心主张
以人为中心的具身模型范式 提供了这个概念的初始定义:
- 具身模型应把“人”从背景变量变成交互主体。
- 第一视角数据有价值,因为它记录感知、动作和环境反馈之间的闭环。
- 复杂家庭场景很难只靠端到端或模块化的简单二分解决,需要在不同层次引入语义和可解释性。
- 长期真实用户反馈可能比短期标准任务 benchmark 更接近家庭机器人的黄金评测。
- 家庭场景的关键数据不是简单遥操作,而是长期使用中自然产生的人机信任数据。
- 家庭情感陪伴机器人 补充了家庭陪伴方向:机器人需要理解“人此刻怎么了”,以及何时回应、何时安静、何时不动。
Human Model 与可验证能力
- MindSpace 在 2026-08-04 的私聊草案中把 Human Model(人类模型)描述为同步采集第一视角视觉、神经生理电信号和行动选择的产品/研究框架,并提出状态/反应预测和“人类真实感评价层”等应用。这一命名属于项目方提案,不是学界公认的“第三条基础方向”或具身智能新代际。
- 同步多模态数据可以帮助建立时间对齐、预测关系和模态贡献比较,但不能自动读取人的潜在意图、动机或情绪,也不能仅凭观察数据识别“感知→神经表征→意图→行动”的因果链。以人为中心不应被偷换成无边界的心理推断。
- EgoBrain 的已公开证据限于受控动作分类:第一视角视频与 32 通道 EEG,官方数据页另含 IMU,没有 EMG 或 ECG。它报告的融合结果不能验证完整三轨采集、意图读取或因果机制。
- 对这类系统更合适的评测包括被试/session/场景留出、模态消融、伪同步对照、校准与拒答、随机化机器人动作实验,以及参与者授权和数据撤回机制。
与数据基础设施的关系
这个概念把 具身智能数据基础设施 从“动作数据”推进到“关系数据”:如果机器人需要长期与人共处,那么数据闭环必须包含人的反馈、授权、信任变化和偏好形成。
社会世界模型 与这一路线相邻:它关注数字 Agent 或物理 Agent 进入人类社会后,如何理解意图、关系、群体反应和社会制度。两者都把“理解人”视为 AI 落地的前提,只是一个从具身/家庭机器人出发,一个从社会模拟和社会认知出发。
家庭情感陪伴机器人 把这种关系数据进一步具体化为家庭成员的情绪、陪伴需求、互动节奏和安全边界。
人本城市模拟 将“理解人”从家庭场景扩展到城市公共空间:人的身体距离、移动轨迹、情感反应和文化习惯可以成为模拟对象。小伴 则从产品侧提醒,理解人不一定意味着说人话;动作、材质、眼睛和拒绝也可能构成陪伴关系。
SpaceMind 把“理解人”推进到空间系统:智慧空间需要感知人的位置、状态、习惯和场景目标,并在低打扰、低延迟和隐私保护之间做取舍。这说明以人为中心的具身智能不一定只发生在移动机器人身上,也可能发生在可感知、可记忆、可执行的环境中。
人体模型 则把“理解人”推进到身体系统:人的姿态、力量、平衡、疲劳、意图和训练反馈不是背景变量,而是可持续建模和反馈优化的动态对象。
心理世界模型 把“理解人”推进到心智系统:具身智能体要与人自然协作,需要估计意图、信念、情绪、注意和社会语境,而不只是识别位置和动作。
Meta 的 embodied agents 路线把虚拟化身、AI 眼镜等可穿戴设备和机器人放在同一个人机互动谱系中,说明以人为中心的具身智能不一定只表现为移动机器人,也可能表现为持续感知、低打扰辅助和跨设备协作。
情绪计算 提醒,理解人的情绪状态可能改善教育、陪伴和协作反馈,但同样会带来隐私、同意、误判和操控风险。
AI 可穿戴上下文设备 把“理解人”的入口从机器人本体扩展到长期佩戴的传感器。戒指、手链、吊坠、相机和睡眠灯可以成为人的身体状态、事件流和关系互动的连续输入层。
EMOTIV 把“理解人”的传感器边界推进到可穿戴 EEG:真实场景中的专注、疲劳、认知负荷或 BCI 交互可能成为输入,但脑信号也比一般行为数据更敏感,必须保留授权、解释和不确定性边界。
MindClaw 把“理解人”推进到精准干预:机器人需要判断何时更新人的信念模型、何时行动、何时保持沉默,避免把帮助变成打扰。
多模态心理健康理解 把“理解人”推进到心理健康辅助评估:语音、面部/视频和文本可以被组织成情绪-认知画像,但这类画像必须以授权、解释和人工复核为前提。
人类活动数据 把“理解人”推进到训练数据层:机器人学习需要捕捉人在真实任务中的视角、动作、注意和适应方式,而不是只采集机器人本体日志。
城市情绪反应建模 把“理解人”推进到城市空间层:人的情绪和身体移动可以成为空间设计反馈的一部分,但必须避免把生理信号误读为确定心理事实。
建成环境具身智能感知 把“理解人”进一步落到人的身体—环境互动:2026 年系统综述将研究组织为城市、邻里、场地三种尺度,空间形态与具身感知两类数据,以及采集、分析、评价、预测四个技术环节。这里的具身对象首先是处在空间中的人,不能未经说明等同于机器人本体感知。
电单车出行环境优化 把“理解人”推进到城市微出行层:骑行选择、道路环境、安全感、规则执行和停放/充电设施共同塑造人的日常移动行为。
欧拉万象 把“理解人”重新拉回家庭劳动:机器人要进入家庭,不只要识别物体和执行动作,还要理解用户愿意教什么、能容忍什么失败、哪些任务能产生真实反馈,以及怎样在长期使用中形成信任。
情感触觉电子皮肤 把“理解人”推进到身体接触层:机器人如果要进入护理、康复、陪伴或家庭协作,就需要理解触摸的力度、节奏和边界,同时必须把同意和停止机制放在能力设计之前。
人类活动数据的控制边界
人类活动数据 的新证据把“理解人”和“控制机器人”分开:Ego4D/Ego-Exo4D 提供观察先验,EgoMimic/Universal Manipulation Interface 提供动作代理与对齐机制,目标机器人数据负责可执行控制,部署 HIL 负责记录机器人自己的失败状态。任何一层都不能被生理信号、第一视角或同步性自动替代。人工接管和用户纠正是明确反馈,不应被改写成对动机、情绪或潜在意图的读取。
截至 2026-08-10 的答案与评测边界
- 公开路线已经存在,但尚未形成单一统一模型。 以人为中心的具身模型范式、人类活动数据、家庭情感陪伴机器人、SpaceMind、MindClaw、EgoBrain 和建成环境研究分别覆盖家庭反馈、自然行为、智慧空间、干预决策、生理—视觉融合和身体—空间感知。它们证明 human-centric embodied AI 是可识别的研究/产品方向,不证明存在公认架构、通用基础模型或已统一的数据集与 benchmark。
- 人的信息必须按“观测—标注—推断—干预”四层分开。 行为、位置、触摸和传感器读数属于观测;自述、任务指令和明确反馈属于有来源的标注;意图、情绪、动机、心理风险和疲劳多为带不确定性的推断;机器人动作、提示、推荐或空间控制属于干预。系统不得把 EEG、眼动、表情、城市位置或触摸的弱相关直接写成心理事实,也不得把预测升级为诊断或无条件授权。
- 信任与长期反馈可以结构化,但不应压成单一奖励。 最低记录单元包括任务结果、用户纠正、接受/拒绝、主动服务撤回、人工接管、打扰成本、失败恢复、授权变化和长期可靠性;每条事件保留成员、场景、时间和来源。训练可使用显式偏好对、纠错轨迹和经授权的结果反馈,评测则同时报告任务成功、安全事件、校准/拒答、干预频率、不同成员差异和随时间变化,不能把留存率或“喜欢机器人”单独当作信任真值。
- 家庭与工业当前缺少可直接比较的公开配对实证。 已有证据支持一个确定的设计差异:工业任务通常角色、流程、责任和成功条件更明确;家庭任务具有多成员/访客、任务长尾、物品与习惯变化、敏感生活数据和非专业纠正。要把这种设计判断提升为数据分布结论,需要同类任务、同一本体与指标下的家庭—工业配对数据,报告长尾率、失败类型、分布漂移、授权中断和跨场景泛化。
- 智慧空间、身体模型和精准干预共用“最小必要干预”规则。 权限按人、设备、空间、用途和时间配置;儿童、老人、访客和无法同意者不能默认继承家庭管理员授权。系统先表达置信度与可观察依据,低置信度时保持沉默或询问,高风险医疗/心理/身体建议交由专业人员复核,并始终提供物理停止、撤销与历史查看。主动服务的收益必须与误触发、打扰和隐私代价一起评估。
- EEG、可穿戴、心理健康与城市情绪数据需要更高证据门槛。 真实场景研究至少保留设备/导联、运动伪迹处理、被试与场景留出、群体差异、校准和拒答;心理健康输出标明非诊断用途并限制二次使用;城市层结果只能作为群体与空间关联,不回填为个体心理标签。虚拟化身、机器人和可穿戴设备共享状态时采用目的限定和逐端授权,旁人可见采集状态并能拒绝、删除和纠错。
- 人类活动、家庭部署和情感触觉数据的可复用条件已经明确。 采集前说明主体、场景、任务、模态、保存期限和二次训练用途;训练前完成去标识、许可核对、标签来源与 embodiment 对齐;部署中记录用户纠正、停止信号和不同家庭成员授权。触摸、沉默、未拒绝或持续佩戴都不能自动解释为同意。
- Human Model 的结论必须按证据等级书写。 受控动作分类只能支持行为/状态预测;跨被试与跨场景留出、模态消融和伪同步对照可以支持增量预测价值;只有预注册意图标签、随机化机器人动作或信息干预、时间顺序和中介分析才接近因果机制。当前公开证据未越过第一至第二级,因此动机读取、完整因果链和通用 Human Model 仍不能作为已实现能力。
- 真正未结题的是纵向实证,不是伦理原则。 结题需要经参与者授权的长期家庭/智慧空间部署,与工业或标准任务基线对照,报告任务收益、误触发、隐私事件、成员差异、信任变化、撤回后删除和模型更新效果;没有这些证据时,产品演示和短期访谈只能作为路线线索。
证据
- 原始资料快照(本地归档)
- 电单车出行环境优化
- 欧拉万象
- 情感触觉电子皮肤
- AI 可穿戴上下文设备
- 建成环境具身智能感知
- 原始资料快照(本地归档)
- 原始资料快照(本地归档)
2026-08-10 人类示范数据的授权与可执行边界
Ego4D 与 Ego-Exo4D 说明“以人为中心”的数据入口可以覆盖自然日常活动、技能步骤、眼动和身体/手部几何,但这些观测并不自动成为机器人动作。EgoMimic 和 UMI 只有在主动对齐视角、动作表示、运动学和时延后,才把部分人类示范变成可执行监督;HIL-SERL 则把人在部署中的接管与纠错记录为机器人原生数据。
因此 human-centric 不能等同于“收集更多人的视频”。最低治理单元应同时记录参与者与旁人、场景、模态、用途、保存期、二次训练、再分发、撤回传播和机器人干预后果。代码采用 MIT 也不代表人类数据拥有同样许可;EgoMimic 公开数据缺少 dataset card/license 的具体问题已进入 Bead luwiki-4i3.5.1。
证据:原始资料快照(本地归档)
2026-08-10 补强:参与者数据与专家接管不能混写
人类活动数据至少涉及三种不同的人:被第一视角或多视角设备记录的参与者、为机器人提供全程示范的 teleoperator、以及在策略运行中局部接管的专家。三者的同意、风险、报酬、撤回和数据用途都不同。
LeRobot HIL 的“接管—恢复—纠正—交还”是专家交互式模仿学习流程,不等于普通用户偏好、信任或知情同意。Ego4D/Ego-Exo4D 的参与者治理也不能因为数据后来可用于机器人表征而自动扩张为无限训练授权。系统应分别记录参与者角色、控制权、被记录模态、原始许可、衍生模型用途和撤回传播路径。
人类数据进入策略训练的授权边界(2026-08-10)
Ego4D 与 Ego-Exo4D 需要单独签署访问协议;EgoMimic 与 UMI 的 MIT 软件许可并不自动覆盖人类视频、示范数据或参与者权利。人类数据从“观测”进入“动作监督”后,风险不只在识别个人,还包括行为轨迹被二次训练、再分发和部署。可复用管线应把数据访问、训练用途、派生模型、撤回传播和第三方权利分别记录,不能把可下载、公开仓库或未反对推定为无限授权。
EgoMimic 授权缺口的公开材料结论(2026-08-10)
对 EgoMimic 的固定 GitHub/HF revision、论文与补充材料、项目页、Georgia Tech 新闻,以及 Project Aria 的伙伴治理规则完成核验后,原先的 license/consent 问题可收敛为两类不同结论:
- 已确认的工件事实:代码仓根许可证是 MIT;六个 HDF5 公开、非 gated,官方 README 演示训练;HF main 没有 dataset-specific LICENSE、dataset card 或 license tag。
- 公开材料无法确认的项目治理:IRB 判定、同意或豁免、参与者与旁观者范围、影像/数据公开授权、二次训练、商业用途、再分发和撤回传播。absence 不能写成“没有同意”,也不能反向写成“已经授权”。
这说明 human-centric 系统的授权对象不能只挂在代码仓层。每个数据制品应分别记录软件、实际发布模态、参与者角色、场所和旁人、采集法律/伦理基础、训练与衍生模型用途、再分发、商业边界、撤回后的数据与模型传播。Project Aria 的设备能力、Apache 工具许可和伙伴社区指南都不能替代数据集自己的授权链。
证据:原始资料快照(本地归档)