详读 · EgoWAM（用人类第一视角数据共训练机器人：该预测哪种"世界"？）¶

卡片见卡片-EgoWAM（概览/速判）。本页 = 中文全文提取，比卡片详、比原文简；细粒度数字均一手核过。 🏛 Georgia Tech（Robot Learning & Reasoning Lab, RL²，Danfei Xu 组）· 📅 arXiv 2607.08436v1（2026-07-08）· 资助方 Toyota Research Institute（TRI University 3.0）。

0. 一句话定位¶

把"用人类第一视角视频教机器人操作"这件事,从"模仿人怎么动"（行为克隆 BC 共训练） 改成 "让策略额外预测场景怎么演化"（世界动作模型 WAM 共训练）;并把"该预测哪一种世界表征"做成一个受控对照实验——固定策略骨干/动作头/数据配比,只换世界预测目标(像素 / DINO 特征 / 3D 运动流),看哪种最能跨人-机迁移。

1. 问题：行为克隆共训练的"苦涩教训"¶

人类第一视角数据便宜、多样(物体/场景/行为),是机器人操作的可扩展监督源。主流做法是 BC 共训练:把人的示范 retarget 到机器人动作空间,人机数据联合训模仿策略。
但只有"人机高度对齐"(视角/速度/风格都掰过)时才 scale。否则动作层共训练会把人才能做、机器人做不了的动作灌进策略,反而掉分。
根因(作者称"苦涩教训"):共享动作解码器是人类数据进入策略的唯一通道,逼它把可迁移内容(物体/场景/语义)和不可迁移执行(人的形态/行为风格)纠缠在一起——后者的本体差把前者的迁移也堵死了。
UMAP 证据(Fig 4):在 cup-on-saucer 上,BC 把人、机(甚至人-人)的 trunk 嵌入分开;WAM 把它们拉进同一潜空间。

2. 解法：WAM 开出"第二条监督通道"¶

在 BC 策略上加一个辅助未来预测头:共享编码器 f_φ 把当前观测编成 z_t,分出两个并行头——
动作头 π_θ(a|z) → 出动作块 a_{t:t+k};
世界模型头 g_ψ(s|z) → 出未来状态 s_{t+T}。
联合损失 L_WAM = L_action + λ·L_world(λ=1)。关键:L_world 走观测而非动作,对形态/风格基本不敏感——所以即便人类的动作标签迁移不动,人类数据仍能通过"预测未来场景"塑形共享表征 z。
核心追问(前人没系统研究过):s_{t+T} 到底该取什么? 世界目标决定人机数据是收敛到共享表征还是被本体信号拉散。

2.1 强 BC 基线(先把动作对齐做到极致,不打稻草人)¶

人机动作统一到 14 维末端空间(每臂 6-DoF SE(3) 位姿 + 1 维夹爪)。机器人动作由关节角正向运动学算出、在静止 ego 相机系表达;人手位姿先转到"瞬时设备系"滤掉脑袋自我运动,使同一物理动作在人机间数值可比。
两处残差错配的处理:① 速度——人比遥操机器人快,用本体特定时窗表示"相当的进度":人 T_H=1s、机 T_R=1.5s,都离散成 k 步;② 工作空间幅度——分位数归一化(每维 1st/99th 分位映到 [-1,1]),对手部追踪离群点稳健。

3. 三个世界表征目标 & 三条判据（本文的"轴"）¶

作者提出好的世界表征应满足三条 desiderata: - D1 外观抽象:别奖励像素级重建,否则 trunk 被逼去编码本体特有的外观,挤掉决定任务结果的结构。 - D2 跨本体一致:表示"效果"而非"执行者"——人手和机器人夹爪产生相似物理变化就该给相似监督。 - D3 自我运动分离:图像坐标目标会把"脑袋转动"和"场景变化"混一起,同一事件在移动的人相机 vs 静止的机器人相机下给出不同监督。

目标	满足判据	头架构	一句话
像素 VAE(重建基线)	全违反	DiT(VACE-1.3B,无文本)	预测未来 ego 帧在预训练视频 VAE 潜空间;`Pixel`(从头)/`Pixel-PT`(预训练权重)两版
DINO 特征(语义抽象)	D1✅ D2✅ D3部分	wide-DDT(RAE 设计)	预测未来帧的 DINOv2 patch 特征;仍带图像坐标,D3 只部分缓解
3D 运动流(空间抽象)	D1✅ D2✅ D3✅	交替自/交叉注意力 decoder	相机稳定系里的稠密 3D 运动场;构造上满足全三条

3D 流怎么去掉自我运动:ego 视频上原始 3D 位移被自我运动主导(人一转头,静止物也"流"起来)。做法:给预训练 3D 点追踪器(SpatialTrackerV2 / Track4world)喂 Aria VIO 相机位姿,使各时刻点位共享世界系;再把未来点位映回 t 时刻相机系,流目标 s = X̃_{t+T} − X_t。稳定后:静止背景近零流,被操作物体保留与物理位移成比例的运动——同时抽掉外观和视角。

4. 架构 & 训练细节（附录 B，一手）¶

骨干 = HPT(卡片-HPT,Heterogeneous Pretrained Transformer):本体特定 stem 把各输入 token 化进共享潜空间,单 trunk 处理统一 token 流。观测/动作/未来 token 共存同一流、同一 trunk 内互相 attend。
trunk:256 维 / 16 blocks / 8 heads / stochastic depth 0.1 / 学习域嵌入;观测历史仅 1 帧;消费 64 个可学动作 token + 16 个未来 token(BC 只有 64 动作 token)。
stem:ego 视觉用 ResNet-18 或预训练 DINO 编码器(人机共享);机器人 batch 另加腕视觉 stem;本体感(14 维末端)走本体特定 MLP。cross-attn stem:16 latent / 8 heads / head dim 64。
动作头:6-block CrossTransformer(hidden 128,4 heads),条件 flow-matching;去噪 100 个动作 token,时间步 τ~Beta(1.5,1.0),v-prediction 采样 50 步。
优化:AdamW(lr 1e-4,wd 1e-4)、cosine(Tmax=1400,ηmin=1e-5)、batch 32/32(机/人)、steps/epoch 100、max epochs 2000、bf16、λ=1、color jitter + ImageNet 归一化。
推理丢世界头:近期工作表明 WAM 的收益来自训练时塑形表征而非测试时想象。故部署只跑动作头,30Hz,与同尺寸 BC 策略同延迟——"用 BC 的成本拿到 WAM 学到的表征"。

5. 实验（§5，一手核实）¶

5.1 平台 / 数据 / 评测¶

机器人平台(Fig 10):双竖装 6-DoF ARX5 臂 + 平行夹爪;头戴 Project Aria Gen1(ego RGB,与人类示范共享);双腕 Intel RealSense D405;Meta Quest 3 遥操。
任务(EgoVerse flagship set 三个双臂任务):① cup-on-saucer(精细刚体:把随机位姿的杯子扶正放到随机位碟上)② fold-clothes(可变形:T 恤三折)③ bag-grocery(长程时序:开袋 + 装三件物)。
数据:每任务 300–360 条机器人遥操(Meta Quest 3,随机摆位/朝向,4–8 物组合);人类数据两档——In-Domain Human(与机 1:1):同场景同物但视角/行为不对齐;EgoVerse(~10:1):完整 EgoVerse-A flagship split,场景/物/示范者多样,无刻意对齐。
评测:每法 ID 20 rollouts(见过物+场景,随机位/朝向)+ OOD 20 rollouts(10 训练场景内新物 + 10 新场景见过物,换背景/桌高);报归一化子任务分 + 成功率;全实验 1800 次真机 rollout;95% 有限样本置信区间。

5.2 三个核心发现(Q1/Q2/Q3)¶

Q1 · WAM 比 BC 更能吸收自然人类数据:人机动作不对齐时(如人侧握杯、夹爪正面抓),BC 复现这些不可执行动作而掉分;甚至给大量人类数据 BC 仍过拟合到机器人数据、吃不到泛化(fold-clothes 上 BC+EgoVerse 仍适应不了更低桌高的新场景)。WAM 则把同样数据稳定转成增益。
Q2 · 世界表征是下一个关键轴:
像素预测迁移最弱:重建原始外观纠缠了不可迁移的本体/场景细节 → 幻觉与几何混乱(bag-grocery 空中抓、fold-clothes 第三折没完成)。
DINO(语义)→ 最强 OOD 泛化(新物体/新场景)。
3D 流(几何)→ 最大域内空间增益,能跨工作空间精准放杯(Fig 6)。
Q3 · 不对齐人类数据会拖垮 BC:三任务中只有 bag-grocery 因抓放动作天然对齐而受益于动作层共训练;反事实地采"人用怪姿势抓(映射成不可执行动作)"的数据 → BC 崩到低于纯机器人基线,而 3D-flow WAM 仍稳、仍超纯机器人。

6. 关键消融（附录 A，数字一手核实）¶

A.1 对齐人类数据消融(cup-on-saucer,人机错配最强的任务,ID 成功率 %)¶

变体	自然 In-Domain 共训	刻意对齐共训
BC	15%(低于纯机器人 25%)	35%
Pixel	35%	65%
DINO	50%	70%
3D Flow	85%	85%(对齐与否不变)
- 三条结论:① 对齐把 BC 抬到纯机器人之上——BC 只有人手把动作分布掰到匹配机器人才吃得到人类数据;② Pixel/DINO 在采集时把自我运动滤掉就涨 20–30 pts(35→65、50→70),这个 gap 量化了图像坐标目标违反 D3 的代价;③ 3D 流对是否对齐免疫——相机稳定构造上已滤自我运动,别人靠手工对齐才拿到的增益它"白得"。

A.2 人类数据模态消融(cup-on-saucer)¶

对比 Action Only(BC 共训) / 3D Flow only(人 batch 无动作监督) / Action + 3D Flow(完整 EgoWAM):
只给世界监督 > 只给动作监督:3D-flow-only 在三个 split 全胜 action-only,OOD Scene 最悬殊——action-only 完全失败 0%,3D-flow-only 仍保 10% SR。
动作与世界监督互补增强:联合训练每个 split 都最好。机理:① 动作作"上下文"→ 让世界预测更准(Table 1:加动作把 3D-flow 预测 loss 降低,人流 0.23→0.22、机流 0.20→0.19);② 动作作"任务相关性信号"→ 让 trunk 聚焦"执行者引起的动态"而非无关流。

A.3 Pixel-PT 在 bag-grocery 掉分的失败分析¶

Pixel-PT(纯机器人)预测出清晰但错误的未来帧:预训练视频先验里"袋子通常是开的",幻觉出袋子已开 → 策略跳过开袋阶段。从头训的 Pixel 帧糊但忠实跟踪袋子开合,开袋更可靠。Pixel-PT + EgoVerse(加人类数据)既保清晰又预测对"先关后开"进程 → 人类共训练可修正预训练视频模型的先验幻觉。

附录 D:机器人-机器人仿真迁移(RoboTwin)——正文未详述,作为额外佐证(本页略)。¶

7. 局限（作者原文,§7）¶

运动泛化:增益停在"上下文级",学不会新运动基元/技能(如从叠 T 恤模型迁到叠短裤)——需要更统一的动作表示。
多任务 scaling:本文一任务一策略隔离世界表征;大规模 in-the-wild 数据上的多任务共训练留待探索。
最优世界表征仍开放:本文只证 DINO/3D 流 > 像素,"scaling 机器人学习的最佳世界表征"仍是有价值的开放问题。

8. 我的判断 / 对我们的意义（判断来源：🤖Claude，待🧑复核）¶

最硬的可复用结论:做"动作+世界"联合训练时,世界预测目标不能随便选——最直觉的像素重建恰恰最差(它逼模型背人味表面);抽象目标(DINO 语义 / 相机稳定 3D 流)才是跨人机迁移的真监督。这直接给任何世界模型联合训练方向一个选型判据。
A.2 是最有分量的一张消融:"只给世界监督就已经打赢只给动作监督"——说明世界预测不是锦上添花,而是当动作迁移不动时的主力监督。这为"人类视频当可扩展本体"提供了比卡片-EgoScale(靠动作 retarget)更省对齐的路径。
与本库触觉×VLA 主线的关系:EgoWAM 全程纯视觉+几何、无触觉——它的三个目标都在"看得见的场景演化"层面;接触时的力/形变(视觉看不见的那部分)它够不到,这恰是主线要补的。可把 EgoWAM 的"世界表征选型"框架借来想:若要做触觉世界模型,触觉目标也该按 D1-D3 审视(抽象掉传感器特性、跨本体一致、滤掉无关信号)。
和卡片-DINO-WM 一脉:"世界模型不必做像素重建、在抽象空间建模更稳"——DINO-WM 在导航/操作规划上说过,EgoWAM 在人机共训练迁移上再证一次。
血脉:Danfei Xu 同时在卡片-EgoScale、卡片-EgoMimic、卡片-EgoVerse、本文——是"人类第一视角 → 机器人"这条线的核心作者之一;本文数据底座即卡片-EgoVerse(arXiv 2604.07607)。

来源¶

📄 arXiv 2607.08436 v1(2026-07-08)· 项目页· 本地 papers/EgoWAM-WorldActionModelsEgocentricHuman-2607.08436.txt(pdftotext 全文)。
数字节次:成功率消融 §A.1 Fig9 · 模态消融 §A.2 Fig11+Table1 · 超参 §B Table2 · 平台 §5.1 Fig10 · 任务/评测 §5.1。均一手核实(2026-07-13)。

🔗 相关卡片
卡片-EgoScale · 卡片-HPT · 卡片-DINO-WM · 卡片-EgoWAM · 卡片-EgoMimic · 卡片-EgoVerse