ForceFlow：先看后摸——VLM 指点定位 → 轻量 flow 策略做力闭环，力当"全局调制信号"¶

📅 2026-05 · 🏛 天津大学(郝建业 Jianye Hao 组)+ 华为诺亚 + 上海 AI Lab · 🏷 力感知反应式策略(flow-matching) 📌 一句话省流：不做"力塞进大 VLA"，而是分两段 + 轻量策略：① 接近阶段用预训练 VLM 指点(预测目标接触点像素→反投 3D 航点→运动规划到位)；② 接触阶段交给一个轻量 flow-matching 策略 ForceFlow 做力闭环。核心治"模态遮蔽"(高维视觉淹没低维力)——用非对称融合:力经 AdaLN 在每层做全局调制(持久约束)、视觉经 cross-attn 做选择性空间参考;并联合预测动作 + 下一步接触力。6 个真机任务平均 81.67%，比 ForceVLA 高 37 个百分点，且力保真度、OOD 泛化更好、成本更低、全开源。 ≈ 打比方：眼睛负责走到门口(VLM 指点)，然后闭眼用手摸着拧锁(ForceFlow 力闭环)——把"找位置"和"控接触"彻底分家。 🎬 演示：项目页 · 💻 代码 · 📦 数据 🔬 全文精读 + 全表 + 架构 + 复现评估：详读-ForceFlow 🧬 直接对标并胜出 卡片-ForceVLA（桥梁人 Qiaojun Yu 亦在本文作者列）；对照卡片-ForceVLA2（力做控制输出，但 coming-soon 未开源）。

🧰 对我们（可用性速判）¶

对我们的用处：触觉/力进操作的"轻量 + 全开源"路线标杆——不用堆大 VLA、不用采大规模配对数据，一个 flow 策略 + VLM 指点就把接触密集任务做到 80%+。代码+数据+项目页全放、硬件便宜(xArm6+4×4090)，是可直接上手复现/改造的一块。核心"非对称融合治模态遮蔽"对我们做视触觉融合有直接方法论价值。
真实性(前期)：中偏上。全文读过、6 真机任务逐表 + 力保真度 + OOD + 消融；全开源降低不确定性;扣分在自建 benchmark、预印本、无第三方复现。证据 B。
训练/微调资源：便宜——4×RTX4090、每任务 10 万步 ~8–10 小时;每任务仅 50–100 条遥操演示。DiT-1D 很小(dim 384/12 层)。
能借多少(开源)：代码✅(github JokerESC/ForceFlow) · 数据✅(HF) · 项目页✅。开源度是本线里最高的之一(胜 ForceVLA2 的 coming-soon)。
可用性结论：可直接跑/改;要真机需 xArm 级臂 + 6D F/T 传感器(仍依赖高保真力传感器,是明说的局限)。

亮点¶

非对称多模态融合(核心·治"模态遮蔽")：力(低维高频)在端到端训练里易被视觉(高维)淹没 → 力+本体历史编成全局向量 c_vec，经 AdaLN 在每层调制特征统计(持久约束);视觉多视角序列 c_seq 经 cross-attn 做选择性参考。力全局、视觉选择性 = 非对称。
力-动作联合预测(hybrid action)：动作 a_t=[Δp_t; f̂_{t+1}] 同时出位姿增量 + 下一步接触力。力预测只作训练目标(顺应正则)不直接执行,逼模型内化"力-动作耦合"→ 主动顺应。
V2F 交接(空间/接触解耦)：VLM 零样本指点管空间泛化,ForceFlow 管物理泛化,按到位位置硬触发切换;接触阶段不用建全局视觉特征。指点器用同组 卡片-Embodied-R1(3B 指点 VLM,开源)。
flow-matching 而非 diffusion：确定性 ODE、低延迟、轨迹稳,适合高频力闭环。

🧬 与其他工作的关系¶

直接对标卡片-ForceVLA：同观测设定(多视角RGB+EE位姿+6D力/力矩),但 ForceVLA 是"力进大 VLA(π0)+后融合 MoE",ForceFlow 是"轻量 flow 策略 + VLM 只做指点"→ 更省、全开源、SR 高 37pt。作者含 Qiaojun Yu(ForceVLA v1/v2 桥梁人)。
vs 卡片-ForceVLA2：v2 把力做控制输出(混合力位)、更重、coming-soon;ForceFlow 力只作训练期联合预测(不直接执行力)、更轻、全开源。两条不同工程取向。
理念近卡片-OmniTacTune："视觉管去哪、触觉管接触"同源;但 OmniTacTune 是残差 RL 外挂、ForceFlow 是硬性两段交接(V2F)+ 模仿学习。
引用/同族：FoAR/卡片-ReactiveDiffusionPolicy(Cewu Lu 力感知反应)、卡片-FD-VLA、卡片-TA-VLA、卡片-OmniVTLA、卡片-Tactile-VLA、Feel-the-Force(Pinto)。V2F 高层规划器用其自研 Embodied-R1。

关键数字（每条带来源 [n]）¶

[1] 6 任务平均成功率 81.67%(ForceFlow) vs ForceVLA 45 / DP 30.83 / π0.5 24.17 / ACT 8.33。⚠️口径：宣传"+37%"= 81.67−45≈36.67 个百分点，非相对提升。
[2] 分任务(ForceFlow)：Stamp 85 / Plug 90 / Press 90 / Insert 60 / Clean 白板 100 / Clean 花瓶 65(曲面,ForceVLA 此项 0%)。
[3] 力保真度(MAE cost,越低越好)：ForceFlow 8.23N vs 视觉主导基线 20–30N;瞬时接触类(Stamp/Plug/Press)降幅 >50%。
[4] 去掉力(w/o Force)：SR 从 81.67 掉到 44.17%,力成本也升。
[5] 消融(Stamp)：10 步力历史是决定性的——换 1 步 SR 85→55%;力预测是"顺应正则"(去掉 SR 80% 但成本 10.61→12.52N);两者都去 40%。
[6] 硬件/算力：UFactory xArm6 + 1-DoF 夹爪 + RealSense L515/D435 + 6D F/T;每任务 50–100 演示@30Hz;4×RTX4090、~8–10h/任务。

🔎 证据与可信度（源头决定权重）¶

论文：arXiv 2605.11048（v1，2026-05-11，cs.RO，预印本）📄 全文已读。
代码/数据：✅✅ 全开源（code + data HF + 项目页）。← 本线里开源度最高之一。
第三方评阅/复现：暂无(很新)。
证据等级：B → 权重：中(偏上)（全开源 + 强消融 + 便宜复现;预印本、自建 benchmark、无第三方复现故不升 A）。

🧪 复现条件与成本（暂不亲做，只估）¶

硬件：xArm6(或同级 6-DoF,便宜档) + 1-DoF 夹爪 + 6D F/T 传感器(仍必需,明说的局限) + 两 RealSense + SpaceMouse/Quest Pro 遥操。
数据：作者已放 HF;自采每任务 50–100 条遥操即可。
算力：低——4×RTX4090×~10h/任务。
时间估计：软件层数天可上手(代码+数据齐);真机端到端有 xArm+F/T 约 2 周。
侧证判价值：代码✅ 数据✅ 硬件便宜第三方复现✗ 样本量小(6任务/各50-100)。

💡 我的批注 / 判断（判断来源：🤖Claude 整理，待人复核）¶

对我们最有价值三点：① "非对称融合治模态遮蔽"是可直接抄的方法论——力经 AdaLN 全局调制、视觉 cross-attn 选择性,解决"力被视觉淹没",对我们做视触觉融合直接适用;② 全开源 + 便宜(4×4090),是本线最适合上手复现/当基线的一篇(胜 ForceVLA2 的 coming-soon);③ V2F 硬交接给"空间泛化 vs 接触调控解耦"一个干净实现,和 OmniTacTune 的软残差是两种取向,可对照。
口径提醒："+37%"是百分点差、自建 6 任务 benchmark、预印本——别当通用 SOTA;且力预测不直接执行(只作训练正则),严格说不是"力控制"(那是 ForceVLA2 的路)。
局限/可攻：仍需高保真 F/T 传感器(作者明说限制低成本部署);Insert(60)/Clean花瓶(65)仍偏低;V2F 靠 VLM 指点质量 + 硬位置触发,复杂场景切换时机是软肋(作者提未来做自适应 V2F)。
人脉/组线：主导 = 天大郝建业(Jianye Hao)RL 组 + 华为诺亚 → 已升深挖卡团队-天大郝建业组（连贯线:CleanDiffuser 扩散决策→Embodied-R1 指点→ForceFlow 接触操作;Embodied-R1 正是本文 V2F 的指点器）。Qiaojun Yu 把 ForceVLA 线接到这——ForceVLA→ForceVLA2→ForceFlow 三篇都有他,是"力感知操作"的连接枢纽(团队-上海AILab具身中心亦记)。

来源编号¶

[1]–[5] arXiv 2605.11048 正文 §4 + Table 1–5 · 本地 papers/ForceFlow-ContactDrivenFlowMatching-2605.11048.pdf
[6] 同上附录 A 实验设置 + Table 6
🗣️ 作者观点(共一 Yifu Yuan/iffyuan)：知乎《如何看待目前 VLA 的具身智能技术？》（作者对 VLA 具身路线的判断，可作组线情报参考）