跳转至

详读 · EgoSteer（从第一人称人类视频学"可操控"灵巧手 VLA · 全栈开源）

卡片版见 卡片-EgoSteer。本页全文精读：动机(灵巧手缺可操控示范数据) → EgoSmith 四阶段管线 → 统一机器人栈+DAgger → 世界模型增强 VLA 架构 → 实验/消融全表 → 复现算力 → 局限(作者自陈:缺触觉!)。 来源：arXiv 2607.09701（v1，2026-07，cs.RO）· 本地 papers/EgoSteer-FullStackSteerableDexterousEgocentric.txt 作者：Yifan Zhong、Zhang Chen、Tianrui Guan、…、Yuanpei Chen、Yaodong Yang(杨耀东)；致谢明列 PsiBot(千寻) 众同事 → 北大 PKU-Alignment × PsiBot 出品。

0. 一句话定位

全栈三件套(数据管线 EgoSmith + 统一机器人栈 + 世界模型增强 VLA EgoSteer)把"人类第一人称视频"炼成灵巧手的语言对齐先验,再用真机后训练 + DAgger 纠偏落地。核心指标:40+ 任务总体 75%、22 任务 80%+、碾压 π0.5(22%)/Being-H0.5(39%) 达 74%(10 易任务)、few-shot 长程叠盒子 75%/开蛋糕盒 83%。Apache-2.0 全开源(码+2×3B 权重+9.6K 小时数据)。

1. 问题与动机（§1）

  • 可操控性(steerability) = 通用策略的定义性能力(听自由指令、认目标物/选哪只手/做什么动作),但灵巧手系统普遍缺失——根因是缺大规模、语言对齐、动作精确的示范数据。
  • 人类第一人称视频便宜且海量、含精细手-物交互,是补这块数据的天然来源;但原始视频单目 RGB、抖动、频繁遮挡、无标注,直接用不了。
  • → 三段闭环:EgoSmith 把野视频炼成干净标注数据 → 人类预训练拿到操作先验 → 统一机器人栈做真机后训练把先验接地 + DAgger 从任意部署失败态纠偏。

2. EgoSmith 数据管线（§3）——四阶段，9× 吞吐

把 in-the-wild egocentric 视频自动清洗+标注+质控。四阶段: 1. 预过滤(pre-filtering)：128 点网格光流丢"人在走动"段(光流强相关移动);YOLO 检手,按手数/尺度/坐标几何准则丢重遮挡/旁人干扰帧。 2. 4D 运动估计(4D motion estimation)：基于 SOTA 的 HaWoR,但把慢且易漂的 DROID-SLAM 换成 DPVO(稳、metric-free 相机追踪+关键帧深度)+ Any4D(逐帧 metric 深度),对齐尺度→更准的 metric 相机轨迹→把相机系手部运动转世界系轨迹。较 HaWoR 9× 吞吐(卖点的"9×"就出自这)。 3. 语言标注(language labeling)：Qwen3.5-VL-Plus 先滤掉无实质操作的段(再丢 3.5%),对剩余生成 五级 coarse-to-fine 指令(L1 gist → L2 → … → L5 step-by-step),同时提供任务级语义 grounding 与动作级时空 grounding。 4. 后过滤(post-filtering)：episode/chunk/frame 三级质控——相机平移分布丢离群、硬旋转阈值丢剧烈头动、腕/指坐标空间离群、帧间突跳硬阈值。 - 产出语料：跨 12 个数据集(含 subsample 的 Egocentric-10K/100K;Ego4D + EPIC-KITCHENS 用其 VITRA 子集)→ 9.60K 小时 / 2.09M episodes / 1.04B frames。

3. 统一机器人栈 + DAgger（§4）

  • 遥操作：一对 PsiBot SynGlove-Air 手套 + Vive Tracker 采操作者 SE(3) 腕位姿+手关节角;经 IK(mink)驱动两条臂 + 关节映射驱两只 6-DoF 手。策略推理时发布相机系腕位姿轨迹 + 腕系手 keypoints,与遥操作共享 FK/IK 与控制节点→训练/推理执行动力学一致。
  • 人在环纠偏(HITL)：脚踏板触发接入,提出相对运动映射——记录接入时刻机器人/人手位姿,之后把操作者相对运动映射到机器人(TR=TR·ΔTH),避免交接处状态突跳,平滑接管;纠偏完再踏板还给策略。交接成功率 >85%,只用干预段做后续训练。
  • 机器人数据集：187 小时 / 193 桌面任务 / 7 类(PnP-Easy/Medium/Hard、非抓取、reorient、双手、接触密集);56 常见任务 + 137 长尾任务。多级语言标注用 Qwen3-VL-Flash + 人工核。自由采集协议(环境杂乱、桌布/物体/初始构型随机、无预定轨迹)。
  • 两本体(图3)：① RealMan RM75-6F 7-DoF 臂 + Ruiyan RY-H2 6-DoF 手 + RealSense D455 头/胸相机;② AgiBot G1(智元)人形(仅 few-shot 适应实验用)。⚠️ 注:是 AgiBot G1,不是 Unitree G1。

4. EgoSteer 模型：世界模型增强的 flow VLA（§5）

  • 主干：Qwen3-VL 2B 骨干 + DiT 动作专家,专家同时 attend 自身与骨干,经 flow-matching(CFM) 生成动作块。深度虽有但模型不用 depth(纯 RGB)。
  • 动作/状态空间：统一 human↔robot 格式;世界系状态/动作 = 48D(3D 腕平移 + 6D 腕旋转 + 15D 指尖 keypoints)×双手。动作块在当前相机系相对当前状态(腕=相对 SE(3),指=坐标位移)。
  • Real-Time Chunking(RTC,训练时)：喂随机延迟 d 的干净动作前缀 apre 当 GT,只训专家去噪后续 asuf;部署时异步推理期间先执行保留前缀→无执行停顿。每样本采 4 个随机 η 扩有效 batch。
  • 世界模型专家(World Model Expert,训练时才有,推理丢弃→零开销)：VLA 缺"未来想象"限制动作精度→引入专家预测动作诱导的未来 DINOv3 特征(拿 GT 动作+相对相机运动+可学 query token,attend 骨干,回归监督未来帧 It+h-1 的 DINOv3 特征)。用回归损失而非生成损失(更直接稳定);只 4 层 Transformer 间隔 attend 骨干,把梯度主要塑形到骨干表征。多相机(胸相机)则各自回归未来特征+相机 embedding。
  • ✅ 这解决了卡片里之前标🟡的"世界模型怎么接":是训练时预测未来 DINOv3 特征的辅助专家,不进推理。
  • 基础设施：HSDP + 混合精度 + torch.compile(kernel fusion)+ FlexAttention + WebDataset 顺序流式。44.5% MFU、97 samples/s @ 8×A800 节点,近线性扩到 128 GPU。

5. 实验与消融全表（§6）

Q1 多任务(§6.1)：9.6K 小时预训练@384×384 → 187 小时真机后训练@640×480(头+胸相机)→ 3 轮 DAgger(3.7K 轨迹/56 任务/8.3h 纠错)。评 32 seen + 4 组合 + 4 unseen,每任务 10 试。 - 总体 75%;22 任务 ≥80%;组合泛化 65%;未见任务 62%;有失败重试恢复。

Q2 DAgger(§6.2, Table 1a)：4 个易错 seen 任务上,EgoSteer-FT(仅遥操作) → EgoSteer-DG(3 轮 DAgger):22.5% → 62.5%(仅 8.3h 纠错数据,且恢复能力泛化到新任务)。

Q3 Scaling + 基线(§6.3, Table 1b)：预训 0/3/6/9.6K 小时,数据越多→loss 越低+真机越好,涌现失败恢复。10 易任务基线对比:π0.5 = 22% · Being-H0.5 = 39% · Ours(9.6K) = 74%。作者点名两基线的弱点:预/后训练动作表示不一致、分辨率更小、缺部署优化(RTC 等)。scaling 图另有 73.00 / 55.33 / 55.16 / 41.90 等成功/进度率点(scratch→9.6K)。

Q4 训练消融(§6.4, Table 1c)：EgoSteer-1K(仅 1K 小时预训)上 10 seen 任务: | 变体 | 成功率 | |---|---| | No WM-objective(去世界模型) | 31% | | No training-RTC(去 RTC) | 39% | | Noisy data(去 EgoSmith 过滤) | 33% | | 完整 Ours | 44% | → 去世界模型→精细操作精度大降;去 RTC→严重卡顿+接触任务全崩;脏数据→不收敛。三块都必要。

Q5 few-shot 长程(§6.5, Table 1d)：预训 9.6K 后 few-shot 微调两长程任务——叠盒子(RealMan,18 步/40 秒,120 演示)、开蛋糕盒(AgiBot-G1,9 步/60 秒,200 演示),各 24 真机试: | 方法 | 叠盒子 | 开蛋糕盒 | |---|---|---| | DP / IMLE / 从零 | 0% / 0% / 0% | 0% / 0% / 0% | | EgoSteer-9.6K | 75% | 83% | → 长程接触密集 + 少演示下,基线全 0,唯预训练版能做→验证 9.6K 预训练给了可 few-shot 迁移的灵巧先验。

6. 复现资源与算力（对应卡片🧪节）

  • 开源：三仓 Apache-2.0(egosteer/egosmith/robot-stack)+ 2×3B 权重(3B-Base 供微调含 normalizer;3B-RealMan 开箱部署)+ HF 数据集 + Docker 推理镜像。底座另下 Qwen3-VL-2B-Instruct + DINOv3(vitl16)。
  • 软件栈：PyTorch 2.10 + CUDA 12.8 + FlashAttention/FlexAttention,Python 3.10,FSDP2/HSDP + torchrun,W&B。
  • 算力门槛：预训练需 ~128 GPU 级(8×A800 节点近线性扩);论文未给完整机时/成本数。现实复现 = 下 3B-Base 微调 + RealMan/G1 部署,从零预训练不现实。

7. 局限（§7 作者自陈）+ 对我们

作者亲口列的三条局限: 1. 机器人 DoF 受限→无法迁移人类高度灵巧的知识,限制精细操作。 2. ⭐ 跨数据集/模型/本体全程缺触觉反馈→限制接触密集性能。 ← 这是作者自己承认的,把卡片里"触觉是它盲区=我们的缝"从🤖推断升级为📄作者原话。这条对我们主线(触觉×VLA)是最硬的锚点:一个全开源、强 VLA 底座,作者亲口说缺触觉——正是"在其上补触觉专家"的现成实验场。 3. 预训练规模还能再扩以覆盖更广先验。

我的判断: - 和 EgoScale 的关系已核清:EgoSteer 确实引用 EgoScale(ref [6]),二者同范式(人类视频当可扩展本体+统一 human-to-robot 动作表示);但 EgoSteer 全开源+加世界模型+可操控+DAgger,是"能开箱跑"的落地版。可与 卡片-EgoScale 连读:EgoScale 给 scaling law 理论(闭源),EgoSteer 给开源工程。 - 世界模型接法值得记:"训练时预测未来 DINOv3 特征、推理丢弃"是零推理开销注入未来想象的轻做法,消融显示它对精细操作精度贡献显著(31%→44%)——比生成式世界模型更省,是可借的 trick。 - π0.5 对照:EgoSteer 明确以 卡片-π0.5 为基线且大幅超越(74% vs 22%),但注意其对比是"π0.5 在 EgoSteer 自家数据/设置下后训练",非同条件公平擂台,读时留意。 - 最实的一条路:下 3B-Base + 我们数据微调 + 按作者留的触觉缺口补触觉专家。这比 EgoScale(拿不到权重)可上手得多。

🔗 相关卡片
卡片-π0.5 · 卡片-EgoScale · 卡片-EgoSteer