跳转至

EgoSteer：把"人类第一人称视频"当灵巧手的廉价燃料，再做成一个能"听指令、会纠错"的全栈系统

📅 2026-07 · 🏛 北大 PKU-Alignment × PsiBot(千寻) · 🏷 VLA（世界模型增强·人类视频预训练） 📌 一句话省流：从海量第一人称人类视频规模化预训练一个 VLA，再用少量真机数据后训练+人在环纠偏，得到能自由指令操控、会失败恢复的灵巧手策略。三个开源仓（数据管线 EgoSmith + 策略 EgoSteer + 部署 robot-stack）Apache-2.0 全开，含 3B 权重与 9.6K 小时数据集。 ≈ 打比方：EgoScale 证明了"人当可扩展本体"这条路能 scaling；EgoSteer 把这条路做成一整套能落地、能开箱跑的产品级栈，还多了"可操控/可纠错"。 🎬 演示 & 项目页：https://egosteer.github.io/ 🔬 全文精读（EgoSmith四阶段 + 架构 + 全量消融表 + 作者自陈局限）：详读-EgoSteer

🧰 对我们（可用性速判）

  • 对我们的用处：中高。① 它踩在我们已熟的 openpi / flow-matching 栈（卡片-π0.5 同血统）上，又是 卡片-EgoScale "人类视频当本体"范式的工程落地版——两张连读能补全"人类视频→灵巧手"这条支线。② 复现路径现实：不用从零预训练，下 EgoSteer-3B-Base 权重 + 自己数据微调 + RealMan 真机部署这条链依赖全开、文档齐。③ 触觉是它明确盲区（纯视觉+本体，无力反馈）——正是我们主线能接的缝。
  • 真实性：北大 PKU-Alignment（杨耀东组）+ PsiBot，代码/权重/数据真实可下（GitHub API + HF 已核）→ 系统层 ✅；论文数字（75% / 9× / 碾压π0.5）全文正文一手核实 ✅（详见 详读-EgoSteer）。缺外部第三方复现。
  • 训练/微调资源：预训练极重（9.6K小时+3B，README未披露GPU数/机时，属工业级，中小团队不现实）；微调侧可及（单机 FSDP2 即可从 3B-Base 起跑）。
  • 能借多少(开源)：全开——代码(3仓)+权重(2×3B)+数据(HF)+Docker推理镜像，Apache-2.0。
  • 可用性结论：下权重微调 / 真机部署这一层直接可用；从零预训练仅思路借鉴。
  • 📖 复现资源清单见下方「🧪」节（本卡最有价值的部分）。

亮点

  • "可操控性(steerability)"当卖点：主张 steerability 是通用策略的定义性能力，但灵巧手因缺"大规模、语言对齐、动作精确"的示范数据而普遍缺失；EgoSteer 用人类视频规模化预训练补上语言-操作先验，实现自由指令执行 + 失败恢复。
  • 世界模型增强的 VLA：Qwen3-VL-2B 骨干 + DiT 动作专家(flow-matching/CFM)。世界模型 = 训练时才有的辅助专家,预测"动作诱导的未来 DINOv3 特征"(回归监督),推理时丢弃→零开销 ✅(已精读)。消融显示它对精细操作精度贡献显著。另用训练时 Real-Time Chunking(RTC) 消除部署执行停顿。
  • 全栈三件套：EgoSmith（in-the-wild 视频→训练数据，自述 9× 吞吐+更高精度 vs 前SOTA）+ 统一机器人栈（遥操作 + human-in-the-loop 纠偏）+ EgoSteer 策略；预训练→真机后训练→DAgger 精炼三段式。
  • 跨本体 + few-shot 长程：预训练模型 few-shot 适应长程任务——叠盒子(RealMan,120演示)75%、开蛋糕盒(AgiBot-G1,200演示)83%,而 DP/IMLE/从零全 0%。

🧬 与其他工作的关系

  • 承接谁：血统上承 openpi(Physical Intelligence)+ diffusion_policy（README 致谢明列）→ 与 卡片-π0.5、卡片-π0 同 flow-matching 家族；数据范式与 卡片-EgoScale 同路（都用人类第一视角视频 + 统一 human-to-robot 动作表示；已核 EgoSteer 正文引用 EgoScale [ref 6]）。
  • 区别/推进：EgoScale(NVIDIA GEAR) 重在证明 scaling law、未开源；EgoSteer 全栈开源 + 强调可操控/可纠错 + 世界模型增强，是"能开箱跑"的落地版。相比 π0 系用遥操作真机数据，EgoSteer 主数据源是人类第一人称视频。明确以 卡片-π0.5 与 Being-H0.5 为基线并大幅超越（详见关键数字）。
  • 同期撞车：2026 上半年"human video → 灵巧操作"爆发——EgoDex(2505)、卡片-EgoScale(2602)、UniDex、Wh0、Being-H0 等；EgoSteer 差异化=全栈工程 + steerability + 开源，偏系统而非新表征。

关键数字（全文正文一手核实[1]，详见 详读-EgoSteer）

  • 预训练语料：9.60K 小时 / 2.09M episodes / 1.04B frames，跨 12 个 egocentric 数据集（EgoSmith 炼；较 HaWoR 9× 吞吐）。
  • 多任务(§6.1)：40+ 任务总体 75%、22 任务 ≥80%、组合泛化 65%、未见任务 62%（各 10 试）。
  • 基线对比(Table 1b，10 易任务)：Ours 74% vs π0.5 22% / Being-H0.5 39% ← 碾压。
  • DAgger(Table 1a)：仅 8.3h 纠错数据，4 易错任务 22.5%→62.5%。
  • 消融(Table 1c，EgoSteer-1K)：去世界模型 31% / 去 RTC 39% / 脏数据 33% / 完整 44%——每块都必要。
  • few-shot 长程(Table 1d)：叠盒子 75% / 开蛋糕盒 83%，DP/IMLE/从零全 0%。
  • 机器人数据：187 小时 / 193 桌面任务 / 7 类；HITL 交接成功率 >85%。
  • 模型：两个 3B——EgoSteer-3B-Base（微调，附 normalizer）/ EgoSteer-3B-RealMan（开箱部署）[2]；动作空间 48D 双手（3D 腕平移+6D 腕旋+15D 指尖 keypoints）。
  • 基础设施：44.5% MFU / 97 samples/s @ 8×A800 节点，近线性扩到 128 GPU。⚠️ 完整预训练机时/成本未给（但 128-GPU 级=工业算力）。

🧪 复现条件与成本（资源清单·一手核实 2026-07-16）

  • ① 三开源仓（全 Apache-2.0）[2]：
  • github.com/egosteer/egosteer — VLA 策略：训练/评测/serving（本仓）
  • github.com/egosteer/egosmith — 数据管线（video→训练数据）
  • github.com/egosteer/robot-stack — 遥操作 + 真机部署客户端
  • ② 权重（HuggingFace，均 3B）[2]：EgoSteer/EgoSteer-3B-Base（微调起点，含预训练 normalizer）· EgoSteer/EgoSteer-3B-RealMan（开箱部署）。依赖底座需另下：Qwen/Qwen3-VL-2B-Instruct + facebook/dinov3-vitl16-pretrain-lvd1689m。
  • ③ 数据[2]：全量 huggingface.co/datasets/egosteer（WebDataset .tar 分片，VLA + VLM 双流）；小例子集在 Google Drive（验证 setup）。
  • ④ 软件栈/算力：训练 = PyTorch 2.10 + CUDA 12.8 + FlashAttention，Python 3.10 conda，FSDP2 + torchrun，单机/多机（pdsh 或云容器），W&B 记日志；推理 = WebSocket policy server，支持 Docker（egosteerai/inference-server，另有 psibot/ghcr 镜像），最小环境可跑，甚至 CPU 推理。
  • ⑤ 硬件[1]：RealMan RM75-6F 7-DoF 臂 + Ruiyan RY-H2 6-DoF 手 + RealSense D455 头/胸相机（主平台，开箱即用）+ AgiBot G1(智元)人形（few-shot 适应用）。遥操作 = PsiBot SynGlove-Air 手套 + Vive Tracker。用统一 human-to-robot 动作表示，易扩其他本体。
  • ⚠️ 更正：第二本体是 AgiBot G1(智元)，非早先据 README "G1" 误记的 Unitree G1（正文 Fig3 明确）。
  • 一句话复现门槛：从零预训练不现实（9.6K小时+3B，工业级算力，README未给数）；现实路径 = 下 3B-Base 微调 + RealMan/G1 部署，依赖全开、文档齐、Docker 就绪。

🔎 证据与可信度

  • 论文：arXiv 2607.09701（2026-07，cs.RO）。作者 Yifan Zhong、Yuanpei Chen、Yaodong Yang(杨耀东) 等；致谢明列 PsiBot 众同事，印证 北大 PKU-Alignment × PsiBot 出品。✅ 全文精读（见 详读-EgoSteer）。
  • 代码：开源（3 仓 Apache-2.0，egosteer/egosteer GitHub API 核实：66 stars、2026-07-14 仍在推）✅。
  • 数据：开源（HF datasets/egosteer + Google Drive 例子集）✅。
  • 权重：开源（2×3B on HF）✅。
  • 第三方复现：暂无。
  • 证据等级：B（论文全文 + 开源资源均一手核实，结果体系完整；仅缺外部第三方复现）→ 权重：中高（复现路径清晰 + 全开源 + 顶级数字 + 作者自陈缺触觉=我们的锚点）。
  • ⚠️ 口径提醒：π0.5/Being-H0.5 基线是"在 EgoSteer 自家数据/设置下后训练"的对比，非同条件公平擂台，读 74% vs 22% 时留意。

🧱 局限（§7 作者自陈，非推断）

  • ⭐ 全程缺触觉反馈（数据集/模型/本体三层都无）→限制接触密集性能——作者亲口列为关键局限。这把"触觉是它盲区=我们的缝"从我方推断升级为📄作者原话，是触觉×VLA 主线最硬的锚点。
  • 机器人 DoF 受限→无法迁移人类高度灵巧的知识，限制精细操作。
  • 预训练规模仍可再扩以覆盖更广先验（作者列为待改进）。
  • （另：算力门槛高，中小团队只能复用权重/借配方。）

💡 我的批注 / 判断

  • 这是 EgoScale 范式的"开源落地版"：EgoScale 证明 scaling law 但闭源；EgoSteer 把"人类视频→灵巧手"做成能开箱跑的全栈 + 加了 steerability/世界模型。两张连读 = 这条支线的"理论 + 工程"两面。
  • 对我们最实的一条：openpi 血统 + 全开源权重 + RealMan/G1 部署链现实 → 若要试"人类视频预训练底座 + 我们数据微调 + 补触觉专家"，EgoSteer 是比 EgoScale 更可上手的起点（EgoScale 拿不到权重）。
  • 国产血统：北大 + PsiBot，本土全栈开源灵巧手 VLA，值得进 卡片-π0.5 一类"可复现底座"的候选池；也提示关注 PsiBot 后续动作。
  • 世界模型接法可借：训练时预测未来 DINOv3 特征、推理丢弃=零开销注入"未来想象",消融证明对精细操作贡献显著(31%→44%),比生成式世界模型省——可迁移的 trick。
  • ✅ 全文已精读（详读-EgoSteer）：EgoSmith 四阶段、48D 动作空间、RTC、全量消融表、作者自陈局限均已核。

来源编号

  • [1] arXiv 2607.09701（2026-07，cs.RO）· 本地 papers/EgoSteer-FullStackSteerableDexterousEgocentric.txt（全文精读，2026-07-17）。数字、架构、硬件、局限均据正文一手核实。
  • [2] 权威 README（raw.githubusercontent.com/egosteer/egosteer/main/README.md）+ GitHub API（api.github.com/repos/egosteer/egosteer：Apache-2.0/66★/pushed 2026-07-14）+ HF 页核实（一手）。开源资源、仓库/权重/数据链接、软件栈据此。

🔗 相关卡片
卡片-π0 · 卡片-π0.5 · 卡片-EgoScale · 卡片-TACTIC · 详读-EgoSteer