详读 · ForceVLA2（混合力-位控制：把力从"感知输入"升成"控制输出"）¶
卡片版见 卡片-ForceVLA2；前作详读见 详读-ForceVLA。本页全文精读：动机 → 架构逐模块 → 数据集 → 实验/消融全表 → 控制论证明 → 复现评估 → 对我们。 来源：arXiv 2603.15169（v1，2026-03-16，cs.RO，CVPR 2026）· 本地
papers/ForceVLA2-HybridForcePositionControl-2603.15169.pdf作者：Yang Li、Zhaxizhuoma、Hongru Jiang、Junjie Xia(共同一作)…Qiaojun Yu、Cewu Lu、Yu Qiao、Jiangmiao Pang(共同通讯，[email protected]) 机构：上海 AI Lab(主导) + 同济 + 上交 + 上海创新研究院 + Noematrix + 华东师大 + 中关村学院 + NUS + Lumos Robotics。 ⚠️ 内部代号：正文多处写 Foca-VLA / Foca-Data，即 ForceVLA2 / ForceVLA2-Dataset（同一物）。
0. 一句话定位¶
ForceVLA(v1) 把 6 轴力当感知输入(1 token 后融合去指导位置动作)；ForceVLA2 把力升成一等的控制量：动作输出同时含位姿增量 Δp 和目标接触力 f，做闭环混合力-位控制，并用力提示做长时任务分解、Cross-Scale MoE做短时反应式力-位调制。核心主张：真正的物理智能不是"感觉到力"，而是"主动调控力"。
1. 问题与动机¶
- 现有 VLA(OpenVLA/π0/GR00T-N1)强在语义 grounding 和语言跟随，但不会推理物理动力学与精细接触。v1(ForceVLA)加了力模态、提升了接触密集任务，但——
- v1 的根本局限：力被降格为辅助知觉输入，没拿来做主动、自适应的闭环力交互。而人类是"高层视觉/语言定阶段目标 + 实时力觉直接精修力与位置"。
- 两个具体缺口：① 缺跨任务阶段的时空关系推理机制；② 缺把力感知与主动力-位交互在子任务内统一的机制。
- → ForceVLA2 的赌注:在 VLA 里统一"力感知"与"闭环力-位控制"。仿人运动控制的分层(力觉与调节在小脑/运动皮层分层整合)，用双层设计兑现:力提示驱动的长时推理 + Cross-Scale MoE 的短时反应技能。
2. 架构（§3，逐模块）¶
2.0 总览（Fig.2）¶
输入:多视角图像 + 任务提示 + 力提示 + 本体状态(EE 6D 位姿 + 力)。力被多尺度注入:(a) 作子任务力提示与图像在 VLM 融合;(b) 作力 token与 EE 位姿在多模态编码器融合;(c) 一条旁路保留原始力信号直送 MoE。Cross-Scale MoE 整合各模态 → 出混合力-位动作 + 跟踪子任务进度。底座承 π0(flow-matching)。
2.1 长时:力提示做任务分解（§3.1）¶
- 力提示(force prompt):文本线索,标示当前子任务 + 阶段物理上下文(如航天连接器插入、齿轮装配这类"视觉模糊、信息在力里"的场景)。每任务预定义子任务列表,力提示决定维持当前子任务 or 切下一个——像离散状态机。
- 融合(承 π0):视觉 token
Z_v=f(E_v);文本+力提示拼接过文本编码器Z_l=g([T_t;T_f]);E_in=[Z_v;Z_l]过 VLM 注意力 → 融合上下文E。力提示让模型继承 VLM 知识、评估子任务完成、跨阶段切换。
2.2 短时:力到控制的回路（§3.2）¶
- 本体-力编码(§3.2.1):EE 6D 位姿
p∈R^7经线性层φ_P→E_P;原始 6 轴力f_raw∈R^6经φ_F→E_F。二者拼成E_state=[E_P;E_F]。关键:另有一份E_F绕过跨模态交互、直送 MoE,形成短时反应通路。 - 跨模态交互:状态 token 作 query,对视觉-语言序列
E做 cross-attention →E_state',把全局任务语义注入局部本体/力流。再拼E_cond=[E; E_state'; E_F]。 - Cross-Scale MoE(§3.2.2):稀疏 MoE,3 个模态专家(视觉/状态/力),各轻量 MLP;门控出 token 级权重
w=[w_V,w_S,w_F],E_MoE=Σ w_m·Expert_m(E_cond)。自由空间时强调视觉,接触/顺应时强调力或位。 - Flow-matching 动作头:条件于
E_MoE迭代去噪,输出a_t=[Δp_t(7); f_t(6)]——位姿增量 + 预测接触力,s_t∈[0,1]任务进度。
2.3 任务进度 s_t 的概率建模（§3.2.2 末）¶
s_t连续 0–1,超阈(>1)则切下一子任务并归零。训练真值ŝ_t由三量联合事件算:方向对齐Θ(Beta(α,1))、剩余距离L(Exp(λ))、瞬时接触力F(Uniform(n,m));ŝ_t=P(Θ≤θ,L≥l,F≤f),闭式解(α=2,λ=2)。→ 让"子任务切换"有物理可解释的进度信号。
3. 数据集 ForceVLA2-Dataset（§4）¶
- 平台:Flexiv Rizon 4s 7-DOF + DH AG-95 夹爪;3×RealSense(2×D455 第三人称 1280×720@30 + 1×D435 腕 640×480@30);6D F/T 传感器@300Hz;关节/EE 位姿同步记录。
- 采集:GELLO 力反馈遥操(不是 v1 的 Quest VR)——带力反馈,采到自然力动态。每任务切 3–5 子任务,按力信号轮廓离线标注边界。
- 5 任务:压瓶(press bottle)、擦花瓶(clean vase)、擦板(clean board)、捞盘(retrieve plate,泡沫球里找隐藏盘)、装齿轮(assemble gears)。
- 规模:1000 轨 / ~50 万同步帧。含视觉/本体/任务提示/力提示/力 五模态。自称"首个带力提示做任务分解、且唯一提供力-控制监督的数据集"。
- 统计(附录 B):力分布任务特异(压瓶集中 −z;擦拭三轴分散;捞盘近零对称探索;装齿轮 z 轴宽);技能分解 5 种(Wipe/Push/Grasp/Rotate/Explore),Explore 占 45.62%。
4. 实验（§5）¶
4.1 主结果（Table 1，每任务 20 trials）¶
| 类型 | 方法 | 压瓶 | 擦花瓶 | 擦板 | 捞盘 | 装齿轮 | 均值 |
|---|---|---|---|---|---|---|---|
| 无力 | π0 | 35 | 20 | 35 | 0 | 0 | 18 |
| 无力 | π0.5 | 45 | 30 | 45 | 15 | 20 | 31 |
| 有力 | ACP | 25 | 30 | 25 | 0 | 0 | 16 |
| 有力 | π0 裸加力 | 30 | 25 | 20 | 10 | 0 | 17 |
| 有力 | ForceVLA(v1) | 70 | 25 | 55 | 15 | 10 | 35 |
| 有力 | ForceVLA2 | 80 | 75 | 70 | 35 | 70 | 66 |
| - ⚠️口径:摘要"高 48%/35%"= 66−18(vs π0)、66−31(vs π0.5),是百分点差;结论句"π0/π0.5/ForceVLA 得 48/35/31"实为 ForceVLA2 对三者的百分点领先(非它们的得分,Table 1 里它们是 18/31/35)——论文行文易误读,按 Table 为准。 | |||||||
| - 装齿轮 70% 比第二名(π0.5 20%)高 50 个百分点,最吃力的任务差距最大。 | |||||||
| - π0 裸加力仅 17%≈base,再次印证"简单拼接力会当噪声干扰预训练表征"(引 TA-VLA/ForceVLA)。ACP(导纳控制预测虚拟动作)仅 16%,泛化差。 | |||||||
| - 定性(Fig.5-6):力密集任务(擦板/压瓶)ForceVLA2 主动调力避免机械臂过载;突然降基座时能快速跟新接触构型完成压瓶(其他 VLA 慢慢追 EE 位姿→失败);擦花瓶转向时沿面滑动保持接触。 |
4.2 消融:逐模块（Table 2，Q2）¶
| 模块(π0 基线上叠加) | 均值 |
|---|---|
| π0 baseline | 18 |
| +力提示 FP | 27 (↑9) |
| +Cross-Scale MoE CM | 40 (↑13) |
| +多模态编码器 ME(全 ForceVLA2) | 66 (↑26) |
| - 单调递增;Cross-Scale MoE(CM)单项增益最大。 |
4.3 消融:MoE 内模态融合（Table 3，Q3）¶
- 视觉模态(VM)与力模态(FM)在 MoE 内贡献大致相当,均值 VM 36 / +FM 50 / 双开 66——两者都必要。
- 有趣:压瓶/擦板任务输入端多加一个力 token 反而略降——作者解释这俩力需求简单(位/力单次切换),多余力 token 引入无谓自由度扰动稳定策略。
4.4 消融:力注入点（Table 5，附录 C）—— 与 v1 呼应的关键结论¶
| 力注入位置 | 均值 |
|---|---|
| 注入 VLM 前端(VLM Pathway) | 5%(崩) |
| 注入多模态编码器 ME | 58 |
| 与状态融合(State Fusion,最终设计) | 66 |
| - 力绝不能注入 VLM 前端(5% 近崩)——与 v1"MoE-before-VLM=0%"两代独立验证。最终设计:力在多模态编码器 + 状态融合两级注入。 |
5. 控制论证明（附录 A）—— v2 的理论新增¶
- 纯位控的根本缺陷:力
f=Φ(p_e,ṗ_e,θ_e)是环境未知动力学决定的依赖输出,非独立控制量。增广态z=[p_e;f]∈R^12的可控性矩阵rank(C)≤rank(B)=6<12——只有一半任务空间可控,可达集是 12 维空间里的 6 维流形。 - ForceVLA2 的突破:引入混合力-位动作
a=[a_p;f_t]∈R^12,用神经策略π_θ:O→R^12从示范隐式学环境逆模型,把可控子空间从κ=0.5撑向更高(κ=dim(R)/dim(Z))。反应式力旁路进一步提供快速直接力反馈。 - 🤖 评:这段是把"为什么要把力做成动作输出"用可控性讲圆,论证优雅但
κ_max依赖数据丰富度,属定性支撑非严格保证。
6. 复现评估（2026-07-13）¶
- 开源状态:代码 + 数据集 "coming soon"、复核 2026-07-13 未放。项目页仅 paper/演示。→ 现只能借架构。
- 硬件:Flexiv Rizon 4s + DH AG-95 + 3×RealSense + 6D F/T@300Hz + GELLO 力反馈遥操(需自搭)。声称 Jacobian 映射硬件无关,可迁 Franka(力矩控)/UR(带F/T)/Feetech。
- 算力:训练 8×A100/batch32/30k 步/~10h;推理 15Hz@4090(chunk30)。比 v1(8×4090) 略贵。
- 数据:力做动作输出要求训练数据带力标签 + 子任务力信号标注——成本从"模型端"转移到"数据端"(GELLO 力反馈采集 + 人工按力轮廓切子任务)。
- 路线:等放码后,底座 π0(openpi)→ 加力提示(文本 token)+ Cross-Scale MoE(三专家)+ 动作头扩成 [Δp;f;s]。卡点:① 数据未放前无法复现其 benchmark;② 力反馈遥操 + 子任务标注是重活;③ 真机需 Flexiv+F/T。
- 结论:架构可借、复现需等数据/代码 + 一套力反馈采集栈;门槛高于 OmniTacTune(那套桌面 xArm+GelSight 更轻),更接近 v1。
7. 局限（作者明述 + 🤖）¶
- 📄 只做真机(力交互对摩擦/接触建模敏感,sim 不可靠);无公开力感知 VLA benchmark,故只能真机自评。
- 🤖:自建 5 任务、横向可比性有限;装齿轮/捞盘仍 70/35(高精度小公差 + 探索类偏难);力做动作输出把成本推给数据端;硬件门槛高(Flexiv+F/T+GELLO)。
8. 放进我们主线（🤖）¶
- "主动力调控"最新锚点:比 v1/我们盯的"力感知"更进一层(力进动作空间做闭环力-位)。若我们判断"触觉/力的价值在接触修正",v2 给出"直接把力做成控制量"这条更激进的实现,值得纳入路线对照。
- 两代都验证的设计铁律:动力学模态(力)别注入预训练 VLM 前端(v1=0%、v2=5%)——这条现在有两代独立证据,做视触觉融合可放心遵循(注在动作专家侧/状态融合侧)。
- 便宜可抄的点:力提示当状态机做任务分解(复用 VLM 文本能力,几乎零额外结构);任务进度 s_t 概率建模给子任务切换一个可解释信号。
- 对照读:卡片-ForceVLA(v1,感知输入)→ 卡片-ForceVLA2(v2,控制输出) 是同一条线的两代;卡片-FD-VLA(免传感器·蒸馏早注入)是正交解;卡片-OmniTacTune(残差 RL 外挂,不改基座)是另一条低数据注入路。四者拼出"力/触觉怎么进 VLA"的解空间。
- watchlist:上海 AI Lab(Yu Qiao/Jiangmiao Pang)+ Qiaojun Yu 桥梁,这条"力-位混合控制 VLA"值得持续追。
附：原始出处锚点¶
- 架构:§3 + Fig.2;数据集:§4 + Fig.3/4 + 附录 B;主结果/消融:§5 Table 1–3 + 附录 C Table 5;控制论:附录 A;训练:附录 C Table 4。
🔗 相关卡片
卡片-OmniTacTune · 卡片-FD-VLA · 卡片-ForceVLA · 卡片-ForceVLA2 · 详读-ForceVLA