跳转至

EgoMimic：人类第一视角视频=另一种"本体"，和机器人数据平起平坐一起训

📅 2024-10 · 🏛 Georgia Tech（Danfei Xu / Judy Hoffman） · 🏷 人机共训练 / 模仿学习（ICRA 2025） 📌 一句话省流：模仿学习缺数据,真机遥操又贵又慢。EgoMimic 的做法——戴一副 Project Aria 眼镜徒手把任务做一遍,眼镜自带的第一视角 RGB + 3D 手部追踪 + SLAM 就是一段"人类演示";把它和机器人遥操数据当成同一类具身数据,共训练一个统一策略(不是"人数据只喂高层规划、低层还靠机器人数据"的分层套路)。结果:加人类数据比只用机器人数据任务分提升 34–228%,还能泛化到只在人类数据里见过的新物体/新场景。加 1 小时人手数据比加 1 小时机器人数据值钱得多。 ≈ 打比方：以前机器人只能"自己练"(遥操,贵);EgoMimic 让它能"看着人徒手做"就学到手——而且人做一小时能出 1400 段,机器人遥操一小时才 135 段。 🎬 项目页：egomimic.github.io 🔬 这是"人类第一视角→机器人共训练"这条线的起点：后续 卡片-EgoScale（放大到 2 万小时+scaling law）、卡片-EgoVerse（做成全球众筹数据集）、卡片-EgoWAM（把动作层共训练升级成世界模型通道）都由它长出。

🧰 对我们（可用性速判）

  • 对我们的用处：高（谱系起点 + 低成本可复现范式）。① 想读懂 EgoScale/EgoVerse/EgoWAM 这条线,必须先懂 EgoMimic 的原始配方（Aria 采人手 → 坐标/分布/外观三对齐 → ACT 统一策略共训练）；② 它是门槛最低的一版（<$1000 双臂 rig + 消费级眼镜 + ACT），对"要不要自己试人机共训练"最具参考性；③ "加 1h 人手数据 > 加 1h 机器人数据"是数据战略的原始证据点。
  • 真实性(前期)：Georgia Tech（Danfei Xu / Judy Hoffman）、ICRA 2025 收录、真机三任务 + 消融完整 → 证据 B。
  • 训练/微调资源：真机双臂（2× ViperX 300S + 2 副 Aria 眼镜 + D405 腕相机），采集轻（人徒手戴眼镜即可）；策略是 ACT 级小模型，非大算力。
  • 能借多少(开源)：低成本双臂 BOM 承诺公开；代码见项目页；方法（三对齐 + ACT 共训练）清晰可复刻。
  • 可用性结论：思路直接可借 + 低成本可试——是这条线里最容易上手复现的一版。

亮点到底在哪（读核心后定位）

  • 亮点在"把人手数据当第一类本体、共训练单一策略"这个立场 + 一套让它成立的全栈对齐：
  • 硬件先把差距缩到最小：机器人直接用第二副 Aria 眼镜当主视觉传感器（装在"人眼"位置）→ 抹掉相机域差（FOV/曝光/动态范围）；双臂选 ViperX 300S（轻、敏捷、近人臂尺寸，ALOHA 启发）→ 缩运动学差。
  • 数据三对齐：① 坐标系——把人手 + 机器人末端轨迹都转到"观测相机稳定系"（人侧用 Aria MPS 的 VIO-SLAM），让策略不必操心未来相机运动；② 分布——对人/机末端位姿各自做高斯归一化（否则策略会给两源学成两套表征，吃不到 scaling）；③ 外观——用 SAM 把人手和机械臂都遮成黑块 + 叠一条红线标末端方向，抹掉人手 vs 机械臂的外观差。
  • 统一策略（基于 ACT）：共享视觉 + Transformer 编码器；位姿头同时监督人和机（pose action），关节头只监督机器人。机器人实际用关节空间控制（ViperX 冗余低、末端控制易奇异），位姿预测只为学人机共享表征。
  • 关键洞见（消融坐实）：去掉人手数据 −47%、去掉动作归一化 −38%、去掉遮罩+红线 −26%——动作分布对齐 + 人手数据本身是命门（呼应后续 EgoVerse/EgoWAM 的"对齐才有正向 scaling"）。

🧬 与其他工作的关系

  • 它承接谁：策略骨架用 ACT（ALOHA 的模仿学习架构，见 卡片-ALOHA）；对比的分层基线 Mimicplay（Danfei Xu 组前作，人数据只做高层规划）。
  • 谁承接它（这条线怎么长的）：
  • 卡片-EgoScale：把 EgoMimic 的"人机共训练"放大到 2 万小时人类视频 + flow-based VLA，发现 scaling law；动作从 ViperX 关节升到高 DoF 灵巧手 retarget。
  • 卡片-EgoVerse：把"采人类数据"从一个实验室做成全球联盟众筹的活数据集。
  • 卡片-EgoWAM：指出 EgoMimic 式动作层共训练在人机不对齐时会崩，改用世界模型通道（预测场景演化）来吸收人类数据。
  • 区别：EgoMimic 是单任务、ACT、无世界模型、纯动作监督的最朴素版；后续三篇分别在"规模/数据生态/监督通道"上迭代。

关键数字（每条带来源 [n]）

  • [✅已核 §IV-B] 加人类数据 vs 只用机器人数据（ACT 基线）：任务分 +34–228%、绝对成功率 +8–33%；最大在 Cont. Object-in-Bowl +228% 分。[1]
  • [✅已核 §IV-B] vs EgoMimic(0% human)（同架构、无人手数据）：+10–88% 分、+2–15% SR → 增益来自人类数据而非仅架构改动。[1]
  • [✅已核 §IV-B] 泛化：叠没见过颜色的衬衫 ACT 仅 25% SR、EgoMimic 85% SR；没见过的新场景（换背景/光照）EgoMimic 靠人类数据拿 63 分且无需额外机器人数据，分层基线 Mimicplay 仅 4 分。[1]
  • [✅已核 §IV-B] scaling：2h 机器人 + 1h 人手 = 128 分，碾压 ACT 3h 机器人 = 74 分；且 1h 人手 ≈ 1400 段 vs 1h 机器人 ≈ 135 段（约 10×）。[1]
  • [✅已核 §IV-B Table IV 消融·Object-in-Bowl 共训分]：完整 128 → 去红线 112 → 再去遮罩 95 → 去动作归一化 79（−38%）→ 去人手数据 68（−47%）。[1]
  • [✅已核 §III-A] 硬件：2× ViperX 300S 6-DoF 臂（倒装于可调高躯干，ALOHA 启发）+ 2× RealSense D405 腕相机 + 机器人主传感器用第二副 Project Aria 眼镜（75g）；rig <$1000（不含 ViperX 臂）。[1]

🔎 证据与可信度（源头决定权重）

  • 论文：arXiv 2410.24221 v1（2024-10-31；ICRA 2025；Simar Kareer、Dhruv Patel∗、Ryan Punamiya∗、Pranay Mathur∗、Shuo Cheng、Chen Wang(Stanford)、Judy Hoffman†、Danfei Xu†；Georgia Tech）。全文一手精读。
  • 代码/硬件：低成本双臂 BOM 承诺公开；代码见项目页 egomimic.github.io。
  • 数据：自采（人类 Aria + 机器人遥操），非公开大集；后续 EgoVerse 才把数据做成开放联盟。
  • 第三方评阅/复现：ICRA 2025 同行评审通过；暂无外部复现帖。
  • 证据等级：B（论文 + 项目页/BOM + 真机结果 + 已发表；代码/数据非大规模开放）→ 权重：高（谱系起点、方法论价值大）。

🧪 复现条件与成本（暂不亲做，只估）

  • 硬件：2× ViperX 300S 臂 + 可调高躯干 rig（<$1000，不含臂）+ 2 副 Project Aria 眼镜 + 2× D405 腕相机 + ALOHA 式 leader 遥操 rig。这条线里门槛最低的一版。
  • 数据：三任务各自采人手 + 机器人；人手采集极省（徒手戴眼镜，1h≈1400 段）。
  • 算力：ACT 级模型，单卡可训，非大算力。
  • 时间估计：硬件到位后按 3 任务采集 + 训练，粗估数周。
  • 侧证判价值：BOM 开源 ✅｜代码 项目页 ⚠️(以项目页为准)｜同行评审 ✅(ICRA25)｜硬件可得 ✅(消费级)｜口径清楚 ✅(每任务 40–45 rollout、消融齐)。

💡 我的批注 / 判断（判断来源：🤖Claude，待🧑复核）

  • 读这条线的正确顺序：EgoMimic（原始配方，为什么"共训练一个策略"打赢"分层"）→ EgoScale（放大 + scaling law）→ EgoVerse（数据生态）→ EgoWAM（换监督通道）。四张一起看,才看清"人类第一视角→机器人"这四年怎么演进。
  • 最该记住的原始证据："加 1h 人手数据 > 加 1h 机器人数据"（128 vs 74 分，且人手 10× 密度）——这是"贵模态放最省阶段、便宜模态扛规模"数据战略最早的实证锚点,后续 EgoScale 的 scaling law、EgoVerse 的"对齐才 scaling"、EgoWAM 的世界通道都在深化它。
  • 它的三个对齐里，动作归一化(−38%) 与人手数据(−47%) 是命门——与 EgoWAM 的"对齐决定 BC 能否受益"、EgoVerse 的"只有对齐数据才正向 scaling"是同一根弦。对我们:若走人机共训练,动作分布对齐必须先做对。
  • 同样无触觉：全线（EgoMimic/EgoScale/EgoVerse/EgoWAM）都在视觉+运动学层面,接触力/形变缺席——是主线要补的那层,不在这条线的射程内。

来源编号

🔗 相关卡片
卡片-EgoScale · 详读-EgoWAM · 卡片-EgoWAM · 卡片-EgoVerse · 卡片-ALOHA