跳转至

ForceVLA：给 π0 加一个"力觉专家团"(MoE)，专治插拔/擦拭/削皮

📅 2025-05(v3 2025-09) · 🏛 复旦 + 上交(Cewu Lu 组)+ 上海创新研究院 · 🏷 VLA(力觉融合) 📌 一句话省流：在 π0 这个通用 VLA 上，把机器人末端的 6 轴力/力矩当成和视觉、语言平级的"一等模态"，塞进一个力觉感知的专家混合模块 FVLMoE——力信息在 VLM 编码之后才进来、由一小群"专家网络"按任务阶段动态路由，指导动作生成。接触密集任务平均成功率 60.5%，比 π0 基线高 23.2 个百分点。 ≈ 打比方：VLM 是"看懂+听懂"的大脑皮层；FVLMoE 像更高层的联合皮层，把"手上摸到的力"和已经理解好的画面/指令揉在一起再下手——而不是在眼睛刚睁开时就往视觉里掺力，扰乱它。 🎬 演示：项目页（5 任务 + 泛化视频） 🔬 全文精读 + 全表数字 + 架构逐层 + 复现评估：详读-ForceVLA ⏭️ 已有下一代 卡片-ForceVLA2（CVPR 2026）：把力从"感知输入"升成"控制输出"(混合力-位) + 力提示 + Cross-Scale MoE；本卡是其 v1 基础。

🧰 对我们（可用性速判）

  • 对我们的用处：触觉×VLA 主线上少见的"力闭环 + 全开源 + 便宜复现"样板。代码(Apache-2.0)+数据集(HF)+训练配方都放了，硬件栈还和我们思路相近(Flexiv 臂)。是研究"力/触觉怎么进 VLA"的一块可直接上手的地基。
  • 真实性(前期)：中偏高。全文读过、真机 5 任务、代码+数据开源；唯缺第三方独立复现。证据 B。
  • 训练/微调资源：极省——单任务 1×RTX4090 跑 10k 步 ~9 小时；多任务联训 2×4090 30k 步 ~12 小时。消费级卡即可。
  • 能借多少(开源)：代码✅(github ft-robotic/ForceVLA，基于 π0/openpi，含 LoRA 配置) · 数据✅(HF qiaojunyu/ForceVLA-real-data，244 轨/14 万帧) · 权重❓(README 未明确放 checkpoint)。
  • 可用性结论：思路可借 + 数据/代码可直接跑；要真机复现需 Flexiv 臂(贵，见下)。

亮点

  • "力是一等模态"+ 后融合：力不进 VLM，只在动作解码阶段经 FVLMoE 融合——消融证明这是关键(见下)。
  • FVLMoE：6 维力经线性层→1 个 force token，与视觉-语言 token 拼接 → 过一层 Transformer 编码器共享细化 → 稀疏 MoE(4 专家、top-1 路由) → 残差 → 线性投影，加性注入 flow 动作头。
  • 阶段感知路由：路由分析显示不同任务/不同阶段激活不同专家；Expert 0 像"通用专家"占近半 token。

🧬 与其他工作的关系

  • 承接：底座是 π0(flow-matching VLA，PaliGemma/SigLIP)；MoE 多模态融合借 LIMoE 思路。
  • 区别/推进：vs 库里同族三卡——
  • 卡片-Tactile-VLA：把原始力编进动作空间/早融入 VLM → 有扰乱 VLM 语义风险；ForceVLA 主动后融合避开。
  • 卡片-FD-VLA：力蒸馏成 token、推理免传感器、且是早注入；FD-VLA 明确批评 ForceVLA"后融合+MoE"限制细粒度交互、增训练不稳。两者是同一问题的对照解(后融合MoE vs 蒸馏早注入)。
  • 卡片-TA-VLA、卡片-OmniVTLA：另一批力/触觉进 VLA 的并行路线。
  • 关键区分：ForceVLA 用的是末端估计力(estimated wrench，来自 Flexiv 关节力矩)，不是指尖触觉阵列、也不是外挂 F/T 传感器——对"我们要不要上指尖触觉"，它是"只靠腕/关节力能拿多少分"的基线参照。

关键数字（每条带来源 [n]）

  • [1] 平均成功率 60.5%(ForceVLA) vs 37.3%(π0-base 无力) vs 40.2%(π0-base 直连力)；+23.2 个百分点(注:是百分点差，非相对提升)。
  • [2] 插头插入至多 80%；黄瓜削皮 14.12cm/刀(基线 13.17/10.27)、7 刀削净(基线 10/14)。
  • [3] 泛化(换物/高度/遮挡/不稳插座)平均 63.78%；视觉遮挡下仍 90%。
  • [4] 多任务联训 67.5% vs π0-base 直连力 42.5%(π0-fast 两版全 0%)。
  • [5] 消融(插头任务成功率)：baseline 45% → 早融"linear before VLM"55% → "MoE before VLM" 0%(整崩) → "concat after VLM"60% → ForceVLA(后融合MoE) 80%。
  • [6] 数据 244 轨/14 万同步帧、5 任务各~50 演示、Quest3 VR 遥操采集。
  • [7] 训练：8×RTX4090 节点；单任务 1 卡 9h / 多任务 2 卡 12h，bfloat16。

🔎 证据与可信度（源头决定权重）

  • 论文：arXiv 2505.22159（v3，2025-09，cs.RO）📄 全文已读。
  • 代码：✅ 开源 github/ft-robotic/ForceVLA（Apache-2.0，基于 π0）。
  • 数据：✅ 开源 HF qiaojunyu/ForceVLA-real-data（244 轨）。← 最看重，已放。
  • 第三方评阅/复现：OpenReview 在投；暂无独立复现(GitHub ~90★)。
  • 证据等级：B → 权重：中（开源齐全，复现门槛主要在硬件；缺独立复现故不升 A）。

🧪 复现条件与成本（暂不亲做，只估）

  • 硬件：Flexiv Rizon 7-DOF 臂(自带关节力矩估计、免外挂 F/T；整机约¥25–40万级——🤖粗估，采购前核价) + 大寰自适应夹爪 + RealSense D435/D415 + Quest3。力信号是臂自估的 wrench，不需另买力/触觉传感器。
  • 数据：作者已放 244 轨；纯"复跑训练+离线评估"可不采数据。真机新任务需 VR 遥操自采(~50 条/任务)。
  • 算力：低门槛——单任务 1×RTX4090×~9h 即可训完；多任务 2 卡×12h。
  • 时间估计：软件层(装 openpi 环境 + 跑作者数据训练/推理)约 数天；真机端到端复现受制于有没有 Flexiv 臂，有臂约 2–3 周。
  • 侧证判价值：数据✅ 代码✅ 第三方复现✗ 硬件门槛=臂贵但传感器便宜 样本量偏小(5任务/各50条)。

💡 我的批注 / 判断（判断来源：🤖Claude 整理，待人复核）

  • 对我们最有价值的三点：① 消融里"MoE-before-VLM 直接 0%"是强证据——动力学模态不能早融入预训练 VLM，这条设计教训对我们做视触觉融合直接适用；② 全开源+消费级卡，是练手/搭基线的理想起点；③ 用估计 wrench 就拿到这些数，反过来说明"指尖触觉的增量"要单独论证，别默认必赢。
  • 局限/可攻：力只压成单个 token 且后融合——高频时序细节可能被吃掉(作者自己承认用的是估计力、非高保真测量)；只有 5 任务、每任务~50 条，规模小；π0-fast 一加力就崩(0%)说明"裸拼力 token"很脆，融合方式才是命门。
  • 与 FD-VLA 配读：这俩是天然的 A/B——后融合(保 VLM 语义但交互浅) vs 蒸馏早注入(交互深但要对齐监督)。我们若做"可学接触门控/联合视触觉世界模型"，正好把这两条当左右夹的 baseline。

来源编号

  • [1]–[5] arXiv 2505.22159 正文 §5 + 附录 Table 4/5 · 本地 papers/ForceVLA-ForceAwareMoE-2505.22159.pdf
  • [6] 同上 §4.3 数据集
  • [7] 同上 附录 B 训练细节

🔗 相关卡片
卡片-Tactile-VLA · 卡片-FD-VLA · 卡片-OmniVTLA · 卡片-TA-VLA · 卡片-ForceVLA2 · 详读-ForceVLA2 · 详读-ForceVLA