跳转至

ForceVLA2：让 VLA 不只"感觉到力"，而是"主动控制力"（混合力-位）

📅 2026-03 · 🏛 上海 AI Lab（Yu Qiao/Jiangmiao Pang）+ 同济 + 上交（Cewu Lu）+ Noematrix 等 · 🏷 VLA(力-位混合控制) · CVPR 2026 📌 一句话省流：ForceVLA(v1) 把力当"感知输入"(压成 1 token 在 VLM 后融合去指导动作)；ForceVLA2 把力升成"控制输出"——动作本身同时吐位姿增量 Δp + 预测接触力 f，做混合力-位闭环控制。再加两样：力提示(把力当文本子任务线索喂 VLM 做任务分解、像状态机)、Cross-Scale MoE(视觉/状态/力三专家 + 力多尺度注入 + 直连反应式旁路)。5 个接触密集任务平均成功率 66%，比 π0/π0.5/ForceVLA 分别高 48/35/31 个百分点。 ≈ 打比方：v1 是"手能感觉到硬不硬"；v2 是"手能主动决定用多大力去顶/去顺"——从被动知觉到主动调力。 🎬 演示：项目页 force-vla2（code/data "coming soon"） 🔬 全文精读 + 全表 + 控制论证明 + 复现评估：详读-ForceVLA2 🧬 前作：卡片-ForceVLA（v1，力=感知输入·后融合 MoE）；本卡是其架构级升级。

🧰 对我们（可用性速判）

  • 对我们的用处："主动力调控"方向的最新锚点——直接对上"触觉/力给最后一毫米做接触修正"的主线，且比 v1 更进一步(力进动作空间)。它复用并强化了 v1 的设计铁律(力别注入 VLM 前端)，对我们做视触觉融合有直接借鉴。CVPR 接收，可信度较高。
  • 真实性(前期)：中偏上。全文读过、CVPR 2026 接收、5 任务逐表 + 消融 + 控制论分析；扣分在代码/数据未放、自建 benchmark、无第三方复现。证据 B。
  • 训练/微调资源：8×A100、batch32、30k 步、~10 小时；推理 15Hz@单 4090(chunk 30)。比 v1(8×4090) 略贵。
  • 能借多少(开源)：代码+数据 "coming soon"、复核 2026-07-13 未放；现借架构与设计(力作动作输出、力提示状态机、Cross-Scale MoE、力注入点消融结论)。
  • 可用性结论：思路强可借；要跑等放码。底座是 π0，硬件与 v1 同族(Flexiv)。

亮点

  • 力=动作输出(最大跳变)：动作 a_t = [Δp_t(7); f_t(6)]，直接预测目标位姿增量和接触力 → 混合力-位控制；不再只是"力感知后指导位置"。
  • 力提示(force prompt)：文本形式的子任务/阶段力线索喂进 VLM，判断"维持当前子任务 or 切下一个"，像离散状态机做力感知任务分解。
  • Cross-Scale MoE + 反应式旁路：3 个模态专家(视觉/状态/力)token 级路由；力多尺度注入——既作子任务提示进 VLM，又作 token 进多模态编码器，还有一条绕过融合、直连 MoE 的原始力旁路做短时反应回路(保梯度保真、快速力反馈)。
  • 任务进度 s_t：0–1 连续值、概率建模(方向对齐 Beta × 剩余距离 Exp × 接触力 Uniform)，超阈即切子任务。

🧬 与其他工作的关系

  • 承接：底座 π0(flow-matching, PaliGemma/SigLIP)；直接前作 卡片-ForceVLA(v1)。桥梁人：Qiaojun Yu、Cewu Lu、Noematrix 贯穿 v1/v2；但 v2 主导方换成上海 AI Lab(Yu Qiao/Jiangmiao Pang)、阵容扩大。
  • 区别/推进(v1→v2)：① 力从感知输入→控制输出(混合力位)；② 新增力提示做长时任务分解；③ FVLMoE→Cross-Scale MoE(三专家 + 多尺度 + 反应旁路)；④ 新增任务进度预测；⑤ 给了控制论证明(纯位控 rank≤6<12，混合力位撑大可达集)。
  • 同族对照：卡片-FD-VLA（力蒸馏·免传感器·早注入）、卡片-TA-VLA、卡片-Tactile-VLA——ForceVLA2 是这批里唯一把力做成主动控制量的。数据集对标 RH20T / REASSEMBLE(带力模态)。

关键数字（每条带来源 [n]）

  • [1] 5 任务平均成功率 66%(ForceVLA2) vs π0 18 / π0.5 31 / ForceVLA(v1) 35 / ACP 16 / π0 裸加力 17。⚠️口径：论文摘要"高 48%/35%"是百分点差(66−18、66−31)，非相对提升；结论句"48/35/31"亦是对 π0/π0.5/ForceVLA 的百分点领先，非基线得分。
  • [2] 分任务(ForceVLA2)：压瓶 80 / 擦花瓶 75 / 擦板 70 / 捞盘 35 / 装齿轮 70(装齿轮比第二名高 50 个百分点，最吃力的任务)。
  • [3] 消融(逐步加模块，均值)：π0 18 → +力提示FP 27 → +Cross-Scale MoE 40 → +多模态编码器ME(全) 66；Cross-Scale MoE 单项增益最大。
  • [4] 力注入点消融：注入 VLM 前端=5%(崩) vs 多模态编码器 58% vs 状态融合 66% → 力不能进 VLM 前端(呼应 v1"MoE-before-VLM=0%")。
  • [5] 数据集 ForceVLA2-Dataset：1000 轨 / ~50 万帧、5 任务、每任务 3–5 子任务标注；GELLO 力反馈遥操采集；6D F/T @300Hz。
  • [6] 训练 8×A100/batch32/30k 步/~10h；推理 15Hz@4090。

🔎 证据与可信度（源头决定权重）

  • 论文：arXiv 2603.15169（v1，2026-03-16，cs.RO，CVPR 2026）📄 全文已读。
  • 代码/数据："coming soon"，复核 2026-07-13 未放。
  • 第三方评阅/复现：CVPR 接收(同行评审)；暂无独立复现。
  • 证据等级：B → 权重：中(偏上)（CVPR + 强消融 + 控制论；代码/数据未放故不升 A）。

🧪 复现条件与成本（暂不亲做，只估）

  • 硬件：Flexiv Rizon 4s + DH AG-95 夹爪 + 3×RealSense(2×D455+1×D435) + 6D F/T 传感器@300Hz + GELLO 力反馈遥操(自搭件)。论文声称 Jacobian 映射解耦、硬件无关，可迁 Franka(力矩控)/UR(带F/T)/Feetech(力矩接口)。
  • 数据：作者称将放 1000 轨；自采需 GELLO 力反馈遥操 + 子任务力信号标注。
  • 算力：8×A100×10h(训练)；单 4090 可推理。
  • 时间估计：等放码后数天上手；真机端到端受制于 Flexiv + F/T + GELLO，约 3–4 周。
  • 侧证判价值：代码/数据✗(待放) 同行评审✅(CVPR) 第三方复现✗ 硬件门槛=Flexiv+F/T(贵)。

💡 我的批注 / 判断（判断来源：🤖Claude 整理，待人复核）

  • 对我们最有价值的三点：① "力作动作输出"是明确的下一步范式——比 v1/我们盯的"力感知"更进，值得纳入我们对"主动力调控"的路线判断；② 力注入点消融再次坐实"别把动力学模态注进 VLM 前端"(v1=0%、v2=5%)，两代独立验证，这条设计律可放心用；③ 力提示当状态机做任务分解是个便宜的工程点子(文本 token 复用 VLM 能力)。
  • 口径提醒：宣传的"48%/35%"是百分点差不是相对提升，且都在自建 5 任务 benchmark上、无 sim/公开基准(作者也承认"没有可用的力感知 VLA benchmark")——横向可比性有限，别当通用 SOTA。
  • 局限/可攻：装齿轮/捞盘仍偏低(70/35)，高精度小公差与探索类仍难；力做动作输出需训练数据里有力标签(GELLO 力反馈采集,成本转移到数据端);无 sim、真机重现门槛高。
  • 内部名"Foca-VLA"：正文多处残留内部代号 Foca-VLA / Foca-Data(= ForceVLA2 / ForceVLA2-Dataset)，同一物，记以防检索混淆。
  • watchlist：v2 主导方 上海 AI Lab(Yu Qiao / Jiangmiao Pang) + 桥梁人 Qiaojun Yu，这条"力-位混合控制 VLA"线值得持续追(与 v1 的复旦/上交组同源扩编)→ 已升团队卡 团队-上海AILab具身中心。

来源编号

  • [1]–[4] arXiv 2603.15169 正文 §5 + Table 1–3/5 · 本地 papers/ForceVLA2-HybridForcePositionControl-2603.15169.pdf
  • [5] 同上 §4 + 附录 B 数据集
  • [6] 同上 附录 C 训练细节

🔗 相关卡片
卡片-Tactile-VLA · 卡片-FD-VLA · 卡片-TA-VLA · 卡片-ForceVLA · 详读-ForceVLA2