跳转至

villa-X：把"潜动作"从视觉压缩升级成"物理接地的中层表示"

📌 一句话省流：LAPA 的直系升级。两处改进——① LAM 侧给潜动作模型加一个本体前向动力学模型(proprio-FDM)，让潜动作不只压"帧间视觉变化"、还要能预测机器人未来状态/动作，从而接地到物理动力学；② 策略侧把潜动作专家(ACT-latent)和机器人动作专家(ACT-robot)放进同一个联合扩散里，机器人动作显式条件在潜动作上——比 LAPA"只靠预训练权重初始化"的松耦合更紧。

🎬 演示：项目页 aka.ms/villa-x · 代码 microsoft/villa-x 🔬 全文精读 + 关键图 + 数字：详读-villa-X 🔗 概念背景先读：概念-隐空间与潜动作学习

🧰 对我们（可用性速判）

  • 用处：潜动作预训练的"当前较强实现"；"物理接地(proprio-FDM)"和"潜/真动作联合扩散"两个设计可借。
  • 真实性：核心数字全文已核(B)；SIMPLER + 两套真机(夹爪 Realman + 12-DoF XHand 灵巧手)。
  • 训练/微调资源：多卡预训练；用 Open-X/BridgeV2/Fractal + Something-Something V2 人类视频。真机微调每任务 75 条(Realman)。
  • 能借多少(开源)：代码已开源(microsoft/villa-x) → 思路+代码都可借。
  • 可用性结论：想做潜动作预训练、且手上有机器人本体状态(proprio)时，这是比裸 LAPA 更值得跟的底座。灵巧手 unseen 任务仍会掉点。

亮点到底在哪（读全文后定位）

  • 亮点在"方法"，不在某个 SOTA 数字：核心是 proprio-FDM 物理接地。标准 LAM 只用"重建未来帧"训练潜动作(IDM 出潜动作、视觉 FDM 重建未来帧)，导致末端旋转/夹爪开合这类像素变化小但对控制关键的动作被忽略；加一路预测未来 proprio 状态+动作的解码器，把潜动作拉回物理。[1]
  • 消融证实增益来源：w/pp(有 proprio-FDM) 明显优于 wo/pp；去掉潜动作专家(wo/latent)大幅掉点(Google 77.7→36.5) → 潜动作专家是必要的，不是装饰。[1]
  • stochastic masking 防捷径：训练时随机屏蔽 robot→latent 注意力(50% 全屏/50% 屏一半)，防止机器人分支过度依赖潜动作走捷径。作者称"实践中很关键"。[1]

关键数字（全文核实 📄）

  • SIMPLER：Google robot 均值 77.7%、WidowX 62.5%——两平台均超 π0/π0-FAST/OpenVLA-OFT/GR00T-N1.5/LAPA/MoTo 等。[1]
  • 消融：wo/latent Google 掉到 36.5% → 潜动作是主要贡献。[1]
  • 真机：Realman 夹爪 5 任务 + XArm 12-DoF XHand 灵巧手 5 任务(灵巧手在预训练中从未见过，靠微调测跨本体迁移)，均超 GR-1/GR00T 基线。另 ACT-latent 能对未见过的 Realman 臂零样本生成潜规划(§4.3，这是"零样本"的准确范围——指潜规划生成，非灵巧手的零样本控制)。[1]

🔎 证据与可信度

  • 论文：arXiv 2507.23682 v3(2025-09)；Microsoft Research + 清华/武大/港科/南大。✅ 全文已读。
  • 代码：github.com/microsoft/villa-x ✅ 已开源。
  • 评审：OpenReview 有记录。
  • 证据等级 B（偏上）：全文+核心数字+基线表核实；扣分因未亲测复现/权重。

🧱 局限（作者自陈 §5，对我们关键）

  • 潜动作专家的规划能力"未充分利用"：作者明说只做了基础用法，未加 critic / 拒绝采样去筛不符合指令的潜规划 → 留作 future work。
  • 精细/灵巧动作仍有限：灵巧手 unseen 任务掉点明显(如 pour water、flick ball)。
  • 潜动作的可解释性依旧弱(隐空间语义不透明，见 概念-隐空间与潜动作学习 的"坑"一节)。

💡 我的批注 / 判断（🤖）

  • villa-X vs 卡片-LAPA：同族，villa-X 在"怎么学潜动作(加物理接地)"和"怎么用潜动作(联合扩散 vs 权重初始化)"两处都更紧 → 若要复刻潜动作路线，优先参考 villa-X 的接口设计。
  • 对触觉×VLA 的启发：proprio-FDM 是"用一路结构化信号(本体状态)去接地潜动作"。触觉力/接触本身就是一路极强的结构化信号——"tactile-FDM 接地潜动作"是一个自然的迁移点(🤖 我的 idea，待验证)。
  • 与 卡片-LaWAM 对照：LaWAM 复用"被丢弃的 FDM decoder"当世界模型；villa-X 反而是给 LAM 再加一个 decoder。两者都在"LAM 的 decoder 侧"做文章，方向相反、都成立。

来源编号

  • [1] arXiv 2507.23682（全文 txt 精读 2026-07-04）· 本地 papers/villa-X-EnhancingLatentActionModeling-2507.23682.pdf