跳转至

OmniTacTune：视觉策略负责"大致会做"，真机 RL 学一个"触觉残差"补最后一毫米

📌 一句话省流：视觉策略（人类视频/遥操蒸馏出来的）scaling 快，但没有配对触觉数据，在接触密集任务的"最后一毫米"翻车。OmniTacTune 的答案不是"把触觉数据也做到视觉那么大"，而是把触觉当残差、用真机 RL 现学：冻住任意现成视觉基座策略，只在它输出上叠一个轻量触觉残差策略 a = a_base + s·a_residual。两阶段：① warm-start（约12分钟）——用基座策略自主 rollout 灌满 replay buffer、bootstrap 一个"流-触觉 critic"、并用 ControlTac 增广在无额外真机交互下先把触觉编码器适配到本任务；② 在线残差 RL——用物体中心多感奖励（reach+flow+grasp-tactile+safety）学接触修正。残差策略只吃"关键点目标 + 基座动作块"这两个与架构无关的接口 → 同一个残差 actor 能挂到 human-flow / ACT / DP / π0.5 上都不用改基座。4 个真机接触密集任务，40–80 分钟内把成功率从 5–40% 拉到 85–100%。

🎬 演示：项目页 omnitactune-site · 视频 📖 详读：详读-OmniTacTune（方法/实验/消融/失败案例逐节 + 作者推文 thread 分析） 🔗 姊妹卡：卡片-TacCoRL（同一问题，走仿真 RL）· 卡片-RLT（同样真机 RL 补 last-millimeter，但纯视觉无触觉）

💡 作者观点速记（三条 Key Insight，逐字原文见 详读-OmniTacTune §一）：① 分工——"Vision tells where to go, Touch tells about the interactions"，视觉给 prior、触觉给 correction；② 先看后练——先从视觉学结构先验，再靠真机 RL 用触觉实践精修（回路里没有大规模触觉数据）；③ 即插即用——冻住现成视觉策略、只学轻量触觉残差，跨 ACT/DP/π0.5 与人类视频/遥操通用。一句话内核：把触觉当"残差修正"靠实践学，而非再造视触觉大模型/采大规模配对数据。

🧰 对我们（可用性速判）

  • 用处：触觉×VLA 的低数据注入路线——手上有触觉硬件、但拿不出大规模配对触觉数据时，不必重训策略、不必采触觉演示，只在现成视觉策略上真机练 1 小时补触觉修正。与我们盯的"触觉给 last-millimeter"主线正对口。
  • 真实性：全文已核(B)；4 个真机接触密集任务、逐实验表核对，含多基座/多触觉表征/消融/失败案例。
  • 训练/微调资源：base 冻结（human-flow / ACT / DP / π0.5 任选）；只训轻量残差 actor + 流-触觉 critic。需真机在线练习 + 人工标终态成功 + 接触触发的安全复位（稀疏+塑形奖励）。硬件门槛低：xArm7 + GelSight Mini + 一个 RealSense。
  • 能借多少（开源）：代码未见开源声明（项目页只有视频）→ 主要借框架与接口设计（policy-agnostic 残差接口、warm-start bootstrap、多感奖励配方）。
  • 可用性结论：作为"怎么把触觉低成本贴到任意现成视觉/VLA 策略"的标杆配方读。想落地就得自建真机在线 RL 栈（replay/critic/安全复位）+ 一套触觉编码器。

亮点到底在哪（读全文后定位）

  • 亮点在"接口的 policy-agnostic + 免触觉演示"，不在触觉编码器：残差 actor 只以生成的关键点目标 ĉ_ℓ（DINOv2 从人类视频/演示抽物体关键点做子目标）+ 基座动作块 a_b:t+K 为条件——这两个都与基座架构无关，所以同一残差策略能闭环修正 human-flow / ACT / DP / π0.5，基座全程冻结、不微调。[1]
  • warm-start 是关键设计（治两个病）：随机初始化的残差 + 未校准触觉 critic 直接上 SAC 会不稳。warm-start 用基座自主 rollout 同时：灌 replay buffer、bootstrap 流-触觉 critic、并用 ControlTac 增广（按接触力合成时序一致的触觉图、保持状态/动作/奖励标签不变）在无额外真机交互下把触觉编码器适配到本任务；只有接触帧（marker 位移过阈）才更新触觉编码器。消融证明"warm-start 时联合优化触觉编码器+critic"对稳定残差 RL 是必要的。[1]
  • 物体中心多感奖励：r = normalize(w_r·reach + w_g·grasp + w_f·flow) − w_s·safety。reach=到抓取前物体质心距离；flow=跟踪从物体流生成的稀疏子目标；grasp=触觉深度过阈的二值接触奖励；safety=触觉 marker 位移过大则大负奖励+复位。消融显示去掉任一项都变慢、终态更低。[1]
  • 残差动作空间：a = a_base + s_t·a_residual，s_t 用调度器（跟 PLD）保证安全探索；动作缩放范围 0–0.15 对样本效率最好。轨迹级关键点引导 + 接触门控 优于逐步关键点/裸视触觉条件。[1]

关键数字（全文逐表核实 📄）

  • 4 任务终态成功率（Table 1）：OmniTacTune 100/100/90/85%（均值 93.75%）（Peg-in-Hole / Charger / Cap / Box）；对比 PLD* 52.5% / PLD 视觉版 37.5% / ViTAL 43.75%。[1]
  • 训练时长：每任务 50/40/60/80 分钟（含各 12 分钟 warm-start；ViTAL 无 warm-start）。基座 RL 前成功率仅 40/10/5/5%。[1]
  • 换基座（仅 Peg-in-Hole，Fig.5）：human-flow 40→100(+60)、teleop-flow 50→90(+40)、ACT 25→80(+55)、DP 30→90(+60)、π0.5 15→75(+60)。全部 +40~+60pt。[1]
  • 对比视触觉模仿基线（Table 2，Peg-in-Hole；基线额外给了 50 分钟遥操数据、演示 50→90 条）：ACT 25% / ACT+Tactile 60% / DP 30% / RDP 65% / π0.5 15% / π0.5+Tactile 45%；OmniTacTune 挂各基座 80/90/75%、human-flow 100%。比监督视触觉融合高 20–30pt——即"在线试错学触觉修正"比"多采触觉演示学融合策略"更有效。[1]
  • 换触觉表征（Fig.6，Peg-in-Hole+Charger）：AnyTouch2 与低维 markers 终态相当；T3、Sparsh 在更动态的 Charger 上略逊（作者归因：二者未在动态操作触觉数据上预训练）。[1]

🔎 证据与可信度

  • 论文：arXiv 2607.03723（2026-07-04，CoRL 风格）。University of Maryland（Kelin Yu、Haode Zhang、Ruohan Gao）× Georgia Tech（Harish Ravichandar、Yunhai Han）。✅ 全文已读（方法+实验+消融+局限），逐实验表核对。
  • 硬件：xArm7 + 夹爪装 GelSight Mini + 标定的第三视角 Intel RealSense；人类演示用 Meta Quest 追 6-DoF 手位姿、遥操走 OpenTeach；物体关键点用 DINOv2 抽取跟踪。[1]
  • 定位（相关工作）：vs real-to-sim-to-real（要同时跨视觉/动力学/触觉三重 gap，触觉与动态接触难仿）；vs DAgger 式修正（仍依赖反复人工干预演示）；vs 视触觉模仿融合（ACT+Tactile / RDP / π0.5+Tactile，见 Table 2 被压 20–30pt）。OmniTacTune 差异 = 免触觉演示 + policy-agnostic 残差接口 + 真机在线 RL。
  • 第三方复现 / 开源：暂无 / 未见开源声明。证据等级 B——大团队+真机逐表强结果+清晰消融；扣分因自采 benchmark、代码未放、很新无第三方复现。→ 权重：中（偏上）。

🧪 复现成本（暂不亲做，只估）

  • 硬件：xArm7（或同级臂）+ GelSight Mini（脆弱、有磨损/复位成本）+ 一个第三视角 RGB + Meta Quest（采数据/遥操）。
  • 软件：真机在线 RL 栈（SAC + replay + 流-触觉 critic + 安全复位）+ 一个触觉编码器（AnyTouch2 冻结只训投影层，或 markers 从零训）+ DINOv2 关键点 + ControlTac 增广。
  • 人在环：人工标终态成功（稀疏奖励）+ 接触超限自动复位。时间：每任务 40–80 分钟（样本高效是卖点）。

🧱 局限（📄作者明述 + 🤖判断）

  • 作者明述：继承真机 RL 通病——需人工复位、接触密集下硬件磨损，尤其脆弱的视觉式触觉传感器（GelSight）。未来想用世界模型生成物理可信的视触觉 rollout 降低真机成本。[1]
  • 🤖 判断：4 任务、单臂夹爪、单指 GelSight；换基座/换传感器的泛化只在 Peg-in-Hole 一个任务上做全。依赖基座先验质量（起点太差则"局部精修"无从谈起）与关键点/物体流可靠抽取。

💡 我的批注 / 判断（🤖）

  • 正好补齐库内三角：卡片-RLT（真机 RL 补 last-millimeter，纯视觉）+ 卡片-TacCoRL（RL 注触觉，仿真）+ OmniTacTune（真机 RL 注触觉，且 policy-agnostic 免触觉演示）。三者同一"接触修正/最后一毫米"母题、不同轴（仿真↔真机、有触觉↔无触觉、绑架构↔架构无关），可互为对照读。
  • 与 卡片-T-Rex/卡片-Tactile-VLA 正交互补：后者攻触觉表征/融合结构、把触觉当输入；OmniTacTune 不碰基座结构，把触觉当外挂残差 + 在线练——对"已有一个好视觉策略、只想低成本补触觉"的场景更省。
  • 接口设计值得抄："关键点目标 + 基座动作块"两个架构无关接口，是它能 policy-agnostic 的根——和 卡片-RLT 的"RL token 紧凑状态接口"是同一类思路（都在给在线 RL 找一个与大基座解耦的稳定状态/动作接口）。
  • 触觉表征选型的实测信号：库内已有 卡片-Sparsh/卡片-T3/卡片-AnyTouch——本文实测 AnyTouch2 ≈ 低维 markers > T3/Sparsh（动态接触任务上），提示"接触密集/动态任务上，触觉大模型未必赢简单 marker 特征"，选型别迷信预训练编码器（🤖 单任务证据，别当定论）。

来源编号