详读 · ForceFlow（先看后摸：VLM 指点 + 轻量 flow 策略做力闭环）¶
卡片版见 卡片-ForceFlow。本页全文精读：动机(模态遮蔽) → V2F 两段架构 → 非对称融合逐层 → 实验/消融全表 → 复现评估 → 对我们。 来源：arXiv 2605.11048（v1，2026-05-11，cs.RO，预印本）· 本地
papers/ForceFlow-ContactDrivenFlowMatching-2605.11048.pdf作者：Shuoheng Zhang、Yifu Yuan(共一)、Hongyao Tang、Yan Zheng、Qiaojun Yu(上海AILab)、Pengyi Li、Guowei/Helong Huang、Xingyue Quan、Jianye Hao 郝建业(通讯) 机构：天津大学(郝建业 RL/决策组) + 华为诺亚方舟 + 上海 AI Lab。 🗣️ 作者视角参考：共一 Yifu Yuan(知乎 iffyuan)《如何看待目前 VLA 的具身智能技术？》知乎回答——想理解这组"为何走轻量 flow + 力闭环、而非堆大 VLA"的判断，可读其本人观点。
0. 一句话定位¶
不把力塞进大 VLA，而是分两段 + 轻量策略：接近阶段用 VLM 指点定位(空间泛化)、接触阶段用一个轻量 flow-matching 策略 ForceFlow 做力闭环(物理泛化)。核心治"模态遮蔽"——低维高频的力在端到端训练里被高维视觉淹没,故用非对称融合(力全局 AdaLN 调制 + 视觉 cross-attn 选择性)让力持久起作用,并联合预测动作+下一步接触力。6 真机任务 81.67%,比 ForceVLA 高 37 个百分点,全开源、更省。
1. 问题与动机¶
- 人类接触操作是分阶段的感知:先视觉定位靠近,一旦接触感知主导权从视觉转到力/触觉。让机器人有这种"看→摸"的模态转移是通用操作的核心问题。
- 模仿学习(ACT/DP/VLA)本质视觉中心:视觉擅长宏观定位,但受遮挡/分辨率/对细微接触不敏感,做不好精细接触调控。
- 把力/力矩塞进模仿学习有两大难:
- 模态遮蔽(modal masking):力信号低维、高频、强时序,端到端训练里易被高维视觉特征盖过,策略用不上力。
- 双重泛化需求:接触密集同时要物理交互泛化(未见刚度/摩擦/力响应下稳定)和空间泛化(视觉/位置漂移仍到对区域)——已有方法不显式分开,一变就脆。
- → ForceFlow 两招对症:非对称融合治模态遮蔽;V2F 交接把空间泛化与接触调控解耦。
2. 架构（§3）¶
2.1 为什么选 flow matching¶
- 确定性 ODE 路径生成,推理延迟低、轨迹稳(vs diffusion 采样),对"必须实时响应高频力反馈的闭环接触控制"关键。
2.2 V2F(Vision-to-Force)交接 —— 任务级两段¶
- 动机:空间泛化靠语义推理、物理泛化靠高频力反馈,两种机制耦在一个端到端策略里会互相拖累 → 显式拆两段,按"空间到位"触发切换。
- 接近阶段(VLM 指点):给语言指令 + 全局相机图
I_fix,VLM 预测目标接触点像素 (u,v) → 把"空间泛化"化成纯语义定位。为此人工标注专家演示首帧的目标交互区 2D 坐标,做成 VQA 对(图+指令→坐标)微调 VLM。 - V2F 交接与推理:VLM 预测像素 →深度+内参反投3D 航点(机器人基座系)→运动规划器导到位 →按位置准则硬触发交接给 ForceFlow。此后 ForceFlow 只作局部专家管接触动力学,不建全局视觉特征。
- OOD 空间泛化实验里高层规划器用其自研 Embodied-R1。
2.3 接触阶段:Contact-Driven Flow Matching 策略（§3.3）¶
观测 O_t={I_arm, I_fix, q_t, F_hist}:双视角 RGB + 本体 q_t + 力历史窗 F_hist∈R^{H×d_f}(H=10)。输出动作块。
非对称多模态融合(核心):
- 力中心向量条件 c_vec:力历史(10 步)+本体 → 统一全局表示,经 AdaLN 注入 DiT 每一层(调制特征统计 γ⊙LN(h)+β)。→ 力作为持久全局调制约束,不被边缘化。
- 视觉序列条件 c_seq:多视角 RGB → 保时序不池化成序列,经 cross-attention 融合 → 选择性关注时空视觉线索。
- 非对称 = 力全局(每层 AdaLN) vs 视觉选择性(cross-attn) → 直接压制模态遮蔽。
混合动作 + 联合预测:
- 动作空间 a_t=[Δp_t; f̂_{t+1}]——联合预测位姿增量 Δp 和下一步接触力 f̂。
- flow matching:线性概率路径 a_t^k=(1−k)a_t^0+k·a_t^1,学速度场 v_θ 逼近 u=a_t^1−a_t^0;推理确定性 ODE 从 k=1 积到 0(Euler)。
- 关键:执行时只把 Δp 发给控制器,f̂ 不直接执行——力预测只作训练目标(顺应正则),逼模型内化"力-动作耦合"→主动顺应。严格说这不是"力控制",是"力感知的动作生成"。
2.4 规模（附录 A Table 6）¶
DiT-1D:dim 384、12 层、6 头;向量嵌入 256、序列嵌入 512;视觉骨干 ResNet-18 双视;力编码 (10×6)→128;动作维 13(6 位姿+夹爪+6 力);动作块 64 步、执行前 32 步再重规划。
3. 实验（§4，6 真机任务，各 20 trials）¶
3.1 任务¶
- 短时接触(要建立接触):Stamp(盖章·纸叠 1–50 张高度视觉不可辨)、Plug(插座·随机偏转)、USB(亚毫米公差)、Press(三种弹簧瓶)。
- 持续接触(要维持法向力):Clean 白板(平面恒力)、Clean 花瓶(3D 曲面·法向变)。
3.2 主结果（Table 1）¶
| 方法 | Stamp | Plug | Press | Insert | 白板 | 花瓶 | 均值 |
|---|---|---|---|---|---|---|---|
| π0.5 | 0 | 60 | 30 | 45 | 10 | 0 | 24.17 |
| ACT | 0 | 30 | 5 | 0 | 15 | 0 | 8.33 |
| Diffusion Policy | 0 | 40 | 20 | 50 | 75 | 0 | 30.83 |
| ForceVLA | 20 | 70 | 65 | 15 | 100 | 0 | 45 |
| ForceFlow(w/o Force) | 20 | 75 | 0 | 40 | 100 | 30 | 44.17 |
| ForceFlow(Ours) | 85 | 90 | 90 | 60 | 100 | 65 | 81.67 |
| - 81.67% vs ForceVLA 45%,+36.67 个百分点(宣传"+37%",⚠️是百分点差非相对)。 | |||||||
| - 三种力的功能范式:① 力当主模态(Stamp/Press,视觉基线 0–30% 崩,因看不出纸叠厚度/弹簧常数→靠 10 步力历史测阻力起点);② 力当辅助(Plug/USB 亚毫米,视觉常误判完成,靠反作用力矩感知卡滞→微滑对齐,USB 60%);③ 力当调节(花瓶曲面,ForceVLA 100%平面但 0%曲面,ForceFlow 靠主动力预测顺应曲率→65%)。 |
3.3 力保真度（Table 2，MAE cost，越低越好）¶
- ForceFlow 8.23N vs 视觉主导 20–30N;瞬时接触(Stamp/Plug/Press)降幅 >50%。→ SR 之外,力质量也大幅更好(w/o Force 虽能完成但力成本高)。
- 单次执行:预测力曲线(红)与真实力(蓝)同步(Fig.6),说明能凭力历史+视觉+本体预判接触状态。
3.4 OOD 泛化（§4.4）¶
- 物理泛化(换未见工具/物体,零样本 10 trials):视觉基线全崩(感不到高频物理反馈),ForceFlow 靠 F_hist 编码 + 主动预测自适应调力保持高 SR。
- 空间泛化(测试工作区与训练不相交):无 V2F 的低层策略全 0%;ForceFlow+V2F(用 Embodied-R1 指点)能定位 OOD 位置 → 坐实"V2F 把空间泛化外包给 VLM"。
3.5 消融（Table 5，Stamp）¶
| 变体 | SR | 力成本 |
|---|---|---|
| w/o 力历史(1 步) | 55% | 15.50 |
| w/o 力预测 | 80% | 12.52 |
| 两者都去(1步+无预测) | 40% | 18.21 |
| ForceFlow(全) | 85% | 10.61 |
| - 10 步力历史是决定性的(1 步→55%,单点力易受接触不稳/传感器噪声干扰);力预测是"顺应正则"(去掉 SR 仅微降但力成本升)。两者协同:历史保决策正确、预测保执行质量。 |
4. 复现评估（2026-07-14）¶
- 开源 ✅✅:code JokerESC/ForceFlow + data HF + 项目页。本线开源度最高之一(胜 ForceVLA2 coming-soon)。
- 硬件(便宜档):UFactory xArm6(6-DoF)+1-DoF 夹爪 + RealSense L515(全局)+D435(腕)+6D F/T 传感器;遥操 SpaceMouse/Quest Pro。仍需高保真 F/T(明说的局限)。
- 数据:已放;自采每任务 50–100 条@30Hz。
- 算力(低):4×RTX4090、每任务 10 万步 ~8–10h;DiT-1D 很小。→ 本线里最便宜复现。
- 路线:拉代码+HF 数据 → 单任务(如 Stamp/白板)复现 81% 曲线 → 换 xArm+F/T 真机。卡点:VLM 指点要人工标注目标区做 VQA 微调;真机需 F/T 传感器。
- 结论:软件层数天可上手,是本线最适合当基线/改造的一篇。
5. 局限（作者明述 + 🤖）¶
- 📄 仍依赖高保真力/力矩传感器 → 限制低成本部署;V2F 用硬位置触发,未来想做自适应 V2F 切换。
- 🤖:力只作训练期联合预测不直接执行,严格非"力控制"(那是 ForceVLA2 路);Insert(60)/花瓶(65)仍偏低;自建 6 任务 benchmark、预印本、无第三方复现;依赖 VLM 指点质量。
6. 放进我们主线（🤖）¶
- "轻量 + 全开源"路线的标杆:不堆大 VLA、不采大规模配对数据,flow 策略 + VLM 指点就到 80%+。最适合我们上手复现/当基线(胜 ForceVLA2 的 coming-soon)。
- 可直接抄的方法论:非对称融合治模态遮蔽(力 AdaLN 全局 + 视觉 cross-attn 选择性)——对我们做视触觉融合直接适用,是"力别被视觉淹没"的一个干净解。
- 和 卡片-OmniTacTune 对照:同"看→摸"母题,OmniTacTune=残差 RL 软外挂(在线学),ForceFlow=V2F 硬交接 + 模仿学习(离线学)。两种"空间/接触解耦"取向。
- 力怎么进策略的解空间(四卡拼图):卡片-ForceVLA(力=感知输入·进大VLA)→卡片-ForceVLA2(力=控制输出·混合力位)→卡片-FD-VLA(力=蒸馏·免传感器)→ForceFlow(力=全局调制+训练期联合预测·轻量flow)。
- 组线情报:天大郝建业 RL 组 + 华为诺亚,Qiaojun Yu 把 ForceVLA 线接进来(三篇都有他)。作者 Yifu Yuan 知乎有对 VLA 具身路线的公开判断,值得作为理解"这组为何选轻量 flow"的一手情报读。→ watchlist 见 团队-上海AILab具身中心。
附：原始出处锚点¶
- 架构:§3 + Fig.2 + 附录 B(数学);主结果/保真度/消融:§4 Table 1–5;OOD:§4.4;硬件/训练:附录 A + Table 6。
🔗 相关卡片
卡片-OmniTacTune · 卡片-FD-VLA · 卡片-ForceFlow · 卡片-ForceVLA · 卡片-ForceVLA2