Embodied-R1：不预测低层动作，只"指点"——3B VLM 用强化微调补"看到→做到"的缝¶

📅 2025-08(v2 2026-04) · 🏛 天津大学(郝建业组) · 🏷 具身推理 VLM(指点表示) · ICLR 2026 📌 一句话省流：VLA 端到端预测低层动作,受"数据稀缺+本体异构"拖累("看到→做到"的缝)。Embodied-R1 换招——只让 VLM 输出"点(pointing)":一个 3B VLM(基于 Qwen2.5-VL)用强化微调(RFT/GRPO)训出四种指点能力(指物/指区域/指功能部位/画视觉轨迹),这些"点"是跨本体、语义+空间统一的中间表示,再接运动规划器或下游策略执行。零样本(不针对任务微调):SIMPLEREnv 56.2%、8 个真机 XArm 任务 87.5%(比基线+62%),11 个空间/指点基准 SOTA,3B 打赢 7B/13B。全开源(码+模型+数据)。 ≈ 打比方:不教机器人"手怎么动"(绑本体),只教它"该点哪儿/该怎么划一条线"(不绑本体),动作交给规划器/策略——把"理解"和"执行"解耦。 🎬 演示：项目页 · 💻 码 · 🤗 3B 模型 🧬 是卡片-ForceFlow V2F 接近阶段的指点器;且 ForceFlow 正好补上本文局限(见下)。组线见团队-天大郝建业组。

🧰 对我们（可用性速判）¶

对我们的用处："视觉指点 + 触觉接触"两段式策略的现成前端——想给触觉/力策略配一个"零样本、跨本体的空间定位器",Embodied-R1 是开箱即用的一块(3B、开源、含权重)。它把"空间泛化"外包成"指点",让下游策略只管接触调控——正是我们做 V2F 式解耦时想要的接口。
真实性(前期)：中偏上。全文读过、ICLR 2026 接收、11 基准 + 真机 8 任务 + 消融;全开源(码+3B权重+数据)降不确定性。证据 B。
训练/微调资源：底座 Qwen2.5-VL-3B,RFT(GRPO)两阶段;数据 Embodied-Points-200K + Spatial-84K + ViRL-18K(全开源)。3B 小模型,推理便宜。
能借多少(开源)：码✅ + 3B 权重✅ + 数据✅ + 项目页✅。开源度极高、可直接下权重用。
可用性结论：可直接拿来当"指点前端"接我们的规划器/策略;想复训也可(数据+码全)。

亮点¶

"指点"当跨本体中间表示(核心)：不预测本体相关的低层动作(避端到端 VLA 的"物理动作↔预训练数据"错配),也不堆模块管线(避级联误差),只出图像坐标点 → 天然跨本体、可用海量视觉数据 scale。
四种指点能力：REG(指物·点落在物体 mask 内)、RRG(指自由区域·"放哪")、OFG(指功能部位/affordance·"抓哪")、VTG(视觉轨迹·有序点列·"怎么做")。覆盖"是什么/怎么抓/放哪/怎么执行"。
RFT 而非 SFT(关键)：指点是多解问题("空处标一点"有无数正确解),SFT 死记单解会过拟合;RFT(GRPO)可正强化任意正确解 → 学到空间约束的真理解、泛化更强(实测 RFT > SFT)。用"问题-验证"对而非"问题-答案"对 + 模块化奖励库(格式/准确/点在mask内/点距离稠密/轨迹RMSE)。
即插即用执行器：指点→两条管线:-P(RRG+OFG 出抓/放关键点→CuRobo 运动规划)、-V(VTG 轨迹→2D 反投 3D→SE(3) 轨迹执行);也能当高层规划器接可学策略做闭环(ForceFlow 就这么用它)。

🧬 与其他工作的关系¶

承接：底座 Qwen2.5-VL-3B;RFT 用 GRPO(承 DeepSeek-R1 式"R1"范式,把 RFT 引入具身指点);指点谱系接 RoboPoint/FSD/Molmo,但统一成四能力 + 用 RL 求泛化(vs 前作僵化 CoT 模板/单一信号)。
与卡片-ForceFlow 的闭环(同组)：Embodied-R1 局限里明说"指点搞不定精确力控/拧/擦/柔性物,需耦合可学策略"→ ForceFlow 正是那个可学策略(V2F 接近阶段用 Embodied-R1 指点、接触阶段用 flow 力策略)。即 Embodied-R1 的 future work = ForceFlow,两篇是同组连贯设计。
对照：vs 端到端 VLA(π0/OpenVLA,预测低层动作、绑本体)= Embodied-R1 不绑本体、靠指点+规划器;vs 模块化(MOKA/SoFar)= 单模型出多粒度指点、避级联误差。

关键数字（每条带来源 [n]）¶

[1] 11 个空间/指点基准:开源模型里 SOTA、平均 rank 2.1;3B 打赢 RoboBrain-7B / FSD-13B。
[2] 零样本操作:SIMPLEREnv 56.2%;8 个真机 XArm 任务 87.5%,比强基线 +62%(均无任务专属微调)。
[3] RFT > SFT:Embodied-R1(rank 2.1) > Embodied-SFT(rank 3.7) > w/o 常识数据(rank 3.4)。
[4] 指点基准(准确率,点落目标区):RoboRefit 85.58 / Where2Place 69.50 / Part-Afford 56.63,均超 GPT-4o 及专用基线。
[5] Open6DOR-Position:RGB-D 版 94.3%(Overall),超 SoFar 93.0。
[6] 规模:3B(Qwen2.5-VL);数据 Embodied-Points-200K + Spatial-84K + ViRL-18K。

🔎 证据与可信度（源头决定权重）¶

论文：arXiv 2508.13998（v2，2026-04-06，cs.RO，ICLR 2026）📄 全文已读。
代码/模型/数据：✅✅✅ 全开源（码 + 3B 权重 + 数据 + 项目页）。
第三方评阅/复现：ICLR 接收(同行评审);第三方复现暂未见。
证据等级：B → 权重：中(偏上)（ICLR + 全开源含权重 + 广基准;第三方复现暂无故不升 A）。

🧪 复现条件与成本（暂不亲做，只估）¶

硬件：推理 3B 单卡即可;真机验证 XArm + RealSense。
数据：全放(Embodied-Points-200K 等);复训用其码。
算力：3B + RFT(GRPO),中等(远低于大 VLA)。
时间估计：当前端用——下权重接规划器,数天;复训 RFT 约 1–2 周。
侧证判价值：码✅ 权重✅ 数据✅ 同行评审✅ 硬件门槛低。

🧱 局限（📄作者明述 + 🤖）¶

📄 ① "指点"表示的固有局限：2D 点对精确力控/拧/擦/柔性物不够,需耦合可学策略(→ 这就是卡片-ForceFlow 干的事)。② 长程任务：只处理单步指令,无原生长程分解(需上层规划器切子任务)。③ VTG 靠单跟踪点,遮挡/快速运动易失败。
🤖：指点质量依赖底座 VLM 感知;-P/-V 执行仍要规划器/深度;真机只 8 任务/单臂。

💡 我的批注 / 判断（判断来源：🤖Claude 整理，待人复核）¶

对我们最有价值："指点当跨本体接口"是我们做"视觉定位 + 触觉接触"两段式的现成前端——3B、开源、含权重,可直接接我们的触觉/力策略当"空间泛化外包器"。和 ForceFlow 的 V2F 是同一配方(Embodied-R1 指点 → 力策略接触)。
RFT>SFT 的洞见可迁移：指点这类多解任务用 RL 正强化任意正确解、比 SFT 死记泛化好——若我们训"接触点/抓取点预测"类子模块,值得走 RFT。
组线自洽是加分项：Embodied-R1(指点)→ForceFlow(指点+力闭环)是同组连贯设计,局限章节直接点名"耦合可学策略",可信度高、路线清晰。这条"指点+接触"两段范式值得我们对标(vs 端到端大 VLA、vs OmniTacTune 的残差外挂)。
注意边界：它本身不碰力/触觉(纯视觉指点),力的活儿全在下游策略;对我们是"上半段"工具,不是触觉方案本身。

来源编号¶

[1]–[5] arXiv 2508.13998 正文 §4 + Table 1–5/13 · 本地 papers/Embodied-R1-ReinforcedEmbodiedReasoning-2508.13998.pdf
[6] 同上 §3 架构与数据 · 局限见 §G(附录)

🔗 相关卡片
卡片-ForceFlow