跳转至

详读-OmniTacTune

卡片见 卡片-OmniTacTune（可用性速判 + 关键数字）。本文更详：把作者推文 thread 的观点框定与论文正文的方法/实验/消融/失败案例对齐着读，说清"帖子讲的直觉"到底被"论文的哪个模块"兑现，以及它在我们主线里的确切位置。 一手源：论文全文 papers/OmniTacTune-…-2607.03723.txt（29 页逐节）+ 推文 thread 1/n–9/n 逐字。

图1（论文 Fig.1 总览）：左=从人类视频/机器人数据训出的多种视觉基座策略（Human Flow / π0.5 / DP / ACT）；中=OmniTacTune 两阶段真机触觉残差 RL（Stage1 Warmstart 冻结❄ + Stage2 Online RL🔥），配多感奖励（flow 奖励 + 触觉奖励）；右=四个真机接触密集任务。

一、作者自己的框定（推文 thread，1/n–9/n 逐字梳理）

作者 Kelin Yu（UMD）发的 thread 是理解这篇"观点"的最短路径。结构 = 1/n 抛问题+人类类比+发布，2/n–4/n 三条 🔥Key Insight，5/n–9/n 方法/结果/消融。

  • 1/n（钩子 / 问题 / 人类类比） — 原文："Vision tells robots where to go. Touch tells robots about the interactions. Visual policies from teleoperated robot demos and human videos are scaling fast — but they don't have paired tactile data, so they still fail at the last millimeter of contact-rich manipulation. So here is the question: How can we adapt tactile feedback into pretrained visual policies? Humans solve this naturally. 1️⃣ Learn from demonstrations through vision: we understand the task structure and the motion priors. 2️⃣ Then practice with touch: we interact with the world, feel what happens, and refine the motion." —— 视觉给"去哪"、触觉给"接触时发生了什么"；视觉策略（遥操+人类视频）scaling 快但无配对触觉数据 → 最后一毫米失败。核心问题：怎么把触觉反馈 adapt 进已预训练的视觉策略？ 人类解法：① 先靠视觉从示范学任务结构与动作先验；② 再靠触觉在实践中"感受→修正"。
  • 2/n — 🔥KI1 视觉与触觉分工不同 — 原文："🔥Key Insight 1: Vision and Touch play different roles. Vision is great for learning the structure of a task: what object matters, what trajectory roughly works, and what the final goal should look like. Touch gives the local contact during interaction: whether contact is stable, whether the object is aligned, whether the tool is slipping, and whether the robot should push, rotate, back off, or re-align. In OmniTacTune, we utilize vision to provide the prior, and use touch to give the correction." —— 视觉擅长学任务结构（哪个物体重要、大致轨迹、目标长啥样）；触觉给交互中的局部接触（是否稳、是否对齐、是否打滑，该推/转/退/重对齐）。一句话：视觉给 prior，触觉给 correction。
  • 3/n — 🔥KI2 视觉预训练 + 触觉实践 — 原文："🔥Key Insight 2: Visual pretraining + Tactile practice. Humans do not learn contact-rich skills by watching alone. Watching demonstrations tells us the task structure and rough motion beforehand. But success comes from practice: we touch and interact with the object and refine our motion through real interaction. OmniTacTune follows the same strategy: 1️⃣ We already have large-scale visual policy data and base policy for getting motion priors, but no large-scale tactile data in the loop. 2️⃣ We propose to learn the prior from vision, then improve through tactile practice via Real-world RL." —— 人不是光看就会接触技能：看示范得到结构与粗动作，但成功靠练。故：① 已有大规模视觉数据/基座策略拿 motion prior，但回路里没有大规模触觉数据；② 先从视觉学 prior，再通过真机 RL 用触觉实践精修。
  • 4/n — 🔥KI3 即插即用触觉适配 — 原文："🔥Key Insight 3: Plug-and-play tactile adaptation. We already have many visual policies trained from different data sources: Policies: ACT, Diffusion Policy, and VLA Policy. Data sources: human videos, teleoperated data. We should not need to redesign the policy or collect a new paired visuo-tactile dataset every time. OmniTacTune keeps the visual policy frozen and learns lightweight tactile residual corrections through a flow-derived shared interface for both residual policy design and multisensory reward shaping." —— 已有一堆现成视觉策略（ACT / DP / VLA，源自人类视频/遥操），不该每次都重设计策略或采新配对视触觉数据。OmniTacTune 冻住视觉策略，靠 flow-derived 共享接口学轻量触觉残差（残差策略与多感奖励共用该接口）。

后半段 thread 把方法/结果/消融也讲了一遍（作者视角，可与下文 §3–§5 对读）： - 5/n — Method 1：两阶段真机触觉 RL。关键挑战：不假设有离线视触觉演示 → 在线触觉 RL 无从获得触觉 replay buffer / 触觉 critic / 任务适配的触觉编码器。故 Stage 1 触觉感知 warmstart（冻结视觉策略在真机自主 rollout → 初始化触觉 buffer、bootstrap critic、适配触觉编码器）+ Stage 2 残差 RL（a = a_base + a_residual）。一句话："warmstart 让真机 RL 可靠，残差学习让冻结的视觉策略变得触觉感知"。 - 6/n — Method 2：Flow 接口做 policy-agnostic（重要框定）。关键挑战：怎么让 pipeline 与策略无关？答案 = 用 object-centric flow 当"共享接口"，同时服务残差策略设计与稠密奖励塑形。Flow 给任务级物体运动引导（独立于视觉策略架构）+ 稠密物体中心奖励；触觉再叠局部接触奖励 + 安全惩罚。于是机器人同时拿到：👓 flow：物体该去哪 · 🖐️ touch：物理交互进行得怎样。 - 7/n — Result 1（主结果）：4 任务 5–40% → 85–100% / 40–80 分钟；胜过 ① PLD 式视触觉残差 RL（证明本 pipeline 的必要）② PLD 式纯视觉残差 RL + 从零视触觉残差 RL（证明在线实践中"触觉"的必要）。 - 8/n — Result 2（泛化）：一条 pipeline 跨 5 种基座（Human Flow / TeleOp Flow / ACT / DP / π0.5）× 4 种触觉表征（AnyTouch2 / Sparsh / T3 / 低维 markers）——不绑单一视觉策略、单一数据源、单一触觉编码器。 - 9/n — 消融：warmstart / 多感奖励 / 残差策略设计 / 动作设计 四者缺一不可：① warmstart 给稳定起点 ② flow+触觉奖励引导实践 ③ 残差设计保住视觉先验有用 ④ 安全动作缩放防破坏性探索。

🔎 thread 完整性：1/n–9/n 已逐字核（5/n–9/n 由用户从其 X 登录态复制提供，2026-07-08）。9/n 收在消融，其后是否还有 10/n（多为局限/链接/致谢）未确认，不影响观点与方法。 🔗 另注：作者项目页 "Insights" 段是另一套 4 点表述（与 2–4/n 同源），多出一条洞见——「若从零把触觉 scale 起来，反而浪费已有的海量视觉数据」，把 KI2/KI3 的动机说得更直白。 🧭 thread 全貌：1/n 发布 → 2–4/n 三条 Key Insight（观点）→ 5–6/n 两个 Method（warmstart+残差 / flow 接口）→ 7–8/n 两个 Result（主结果 / 泛化）→ 9/n 消融。

二、问题设定：为什么是"残差 + 真机 RL"，而不是别的

论文把"给视觉策略补触觉"的已有路线逐一否掉，逼出自己的设定（§1、§2 相关工作）： - 视触觉模仿融合（ACT+Tactile / RDP / π0.5+Tactile）：要配对、任务专属的视触觉演示，采集贵、跨传感器/机器人/任务难泛化。 - real-to-sim-to-real：要同时跨视觉、动力学、触觉三重 sim gap，而触觉与动态接触恰恰最难仿。 - DAgger / CR-DAgger 式修正：仍依赖反复人工干预演示，非自主改进。 - → 真机 RL：直接在硬件上学，绕开 sim gap；但本文的 setting 与已有真机 RL（PLD/HIL-SERL 等）不同——要给一个"只有视觉反馈"的冻结基座策略，新引入触觉当残差。这带来两个已有 pipeline 没解决的瓶颈：① 离线演示只有视觉 → 无法初始化触觉 replay buffer / 触觉 critic；② 预训练触觉编码器在新任务/接触条件下有严重表征漂移。warm-start 阶段就是冲这两个瓶颈设计的。

核心思想（论文 key idea 原话）："leverage the best of both worlds, rather than scale tactile data to the level of vision"——视觉给广域可规模化的任务级监督，触觉给"最后一公里"的局部残差反馈。这正是推文 KI1 的论文版表述。

三、方法详解（§3）

图2（论文 Fig.2 系统总览，最值得细看的一张）：① 左上=数据采集（人类视频重定向 + VR 遥操）与四种基座策略（Flow/π0.5/DP/ACT）；② Stage 1 Warmstart=冻结基座自主 rollout → 初始化触觉 buffer、bootstrap critic、适配触觉编码器（含 ControlTac 触觉数据增广）；③ Stage 2 Policy Learning=冻结基座上叠"残差触觉策略"，a=a_base+a_residual，只训残差策略与 critic；④ 底部 Dense Reward Shaping=flow 生成的稠密奖励 + 触觉抓取奖励 + 触觉打滑安全惩罚。图例：🔥可训 / ❄冻结。

3.1 数据采集 — 两种来源喂四种基座

  • 人类手部示范（仿 HUDOR）：第三视角 RGB + Meta Quest 追 6-DoF 手位姿；用桌面 Aruco 标定把手轨迹重定向到机器人基座系（rTh = rTw·wTq·qTh）。
  • 遥操：Meta Quest 经 OpenTeach 把人手映射到末端位姿，记录同步 RGB / 机器人状态 / 动作。

3.2 四种视觉基座策略（都能被同一 RL pipeline 适配）

  • Flow-based Policy（主力，来自人类视频）：基于 Im2Flow2Act / GenFlowRL / Dex4D。用 DINOv2 + SAM 抽稀疏物体关键点、CoTracker3 跟踪，微调一个 flow 生成器从初始观测预测任务级物体流。这个流给出两样东西:(a) 给基座和残差策略的物体条件运动引导;(b) 残差 RL 里的稠密物体中心奖励。基座输入 o_flow = [c₀³ᴰ, c_t, T_{t0→t}, ĉ_ℓ, T̂_{t0→ℓ}, T_{t→ℓ}]，输出 6D delta 位姿序列 + 二值抓取信号，关键点子目标闭环推进。
  • ACT / DP / π0.5：都在遥操数据上训/微调，证明 pipeline 架构无关。

3.3 两阶段真机残差 RL（全篇核心）

Stage I — warm-start（每任务约 12 分钟）： - 不像 naive 做法（rollout 基座 → 直接 SAC，会因 critic 乱估 + 触觉表征漂移而不稳）。 - 用基座自主 rollout 的 transition 同时：① bootstrap 一个流-触觉 critic Q_η(q_t, z_t^f, z_t^τ, a_t)（本体+流+触觉+动作）；② 把预训练触觉编码器（如 AnyTouch2）适配到本任务，损失 L_E = L_Q + λ_rec·L_rec（critic 损失 + 重构正则），只用接触帧（marker 位移过阈判接触）更新触觉编码器。 - ControlTac 增广（仿 DrQ-v2 的轨迹级增广）：每条轨迹合成 2 条新轨迹——按接触力生成时序一致的触觉图，保持状态/动作/奖励标签不变；在无额外真机交互下扩接触样本，稳住触觉表征与 critic。

Stage II — 在线残差 RL： - 关键问题：一个残差 actor 怎么修正架构差异巨大的基座（Flow vs ACT）？答案 = 接口级架构无关——残差 actor 不碰基座内部表征，只吃两个与架构无关的输入：生成的关键点目标（共享任务级引导）+ 基座动作块（暴露短程运动意图）。 - 动作：a_t = a_t^b + s_t·a_t^r；残差策略 a_t^r = π_θ^r(q_t, z_t^f, g_t·z_t^τ, a_t^b, a_{t:t+K}^b)，其中 g_t 是接触门控（决定何时把触觉当输入），s_t 是调度器（跟 PLD，保证安全探索）。基座 π_b 全程冻结，只更新残差策略 π_θ^r 与 critic Q_η。 - policy-agnostic 的真正支点（呼应推文 6/n）：这里的关键点目标来自 §3.2 的 object-centric flow——同一个 flow 既是"与架构无关的共享接口"（喂残差策略），又是 §3.4 的稠密奖励来源。所以"换基座不改残差 actor"能成立，本质是"把策略间的差异挡在 flow 接口之外"：不管基座是 Flow/ACT/DP/π0.5，残差看到的都是同一套 flow 关键点 + 该基座的动作块。

3.4 物体中心多感奖励

r_t = normalize(w_r·r_t^reach + w_g·r_t^grasp + w_f·r_t^flow) − w_s·r_t^safety - r^reach：抓取前，末端到初始 3D 物体质心 c₀³ᴰ 的归一化距离奖励。 - r^flow：抓取后，跟踪生成物体流的稀疏子目标（ℓ_t/L 段进度 + 当前段距离），d^flow < ε_flow 判定到达并切下一子目标。 - r^grasp：触觉深度图 Dτ 过阈的二值接触奖励。 - r^safety：触觉 marker 位移过大 m_t > ε_safety → 判危险接触，给大负奖励并复位。

🤖 一句话串起来：flow 给"往哪走"的稠密监督，触觉给"接触对不对/安不安全"的信号——这正是 KI1"视觉管结构、触觉管接触"落到奖励函数里的样子。

四、实验详解（§4）

平台：xArm7 + 夹爪装 GelSight Mini + 标定第三视角 Intel RealSense。四个真机接触密集任务（Fig.3）： 1. Peg-in-Hole：空间泛化（多初始布局）+ 多阶段插入。 2. Charger Insertion：接触探索 + 精密插入。 3. Cap Opening：动态接触推理 + 位姿调整（杠杆式开瓶器开 GelSight 盒）。 4. Box Opening：精密边缘对齐 + 接触密集撬开。

图3（论文 Fig.3 四个任务的分阶段分解）：Peg-in-Hole=多初始布局的空间泛化 + 抓取→运输→精插；Charger=接触探索(reach/first-contact/explore/adjust/align)→精插；Cap Opening=杠杆开瓶器的调姿对齐→动态开盖；Box Opening=精准触盒→动态接触密集撬开。箭头示接触修正方向。

4.1 主结果（Table 1，20 trials）

方法 Peg Charger Cap Box 均值
PLD*（最强基线） 65 60 50 35 52.5
PLD（视觉版） 60 30 40 20 37.5
ViTAL 50 50 45 30 43.75
OmniTacTune 100 100 90 85 93.75

图4（论文 Fig.4 成功率-训练时间曲线，主结果）：四任务上 Ours（蓝）随真机练习快速爬升——Peg 40→100%/50min、Charger 10→100%/40min、Cap 5→90%/50min、Box 5→80%/80min；始终高于 PLD*（橙）、PLD 纯视觉（绿）、ViTAL（红）。灰底标注为对应的 +40% 起点差。

  • RL 前基座成功率仅 40/10/5/5%；训练总时长 50/40/60/80 分钟（各含 12 分钟 warm-start，ViTAL 无 warm-start）。
  • 基线定义：PLD* = 有 warm-start replay 但不做触觉编码器+critic 联合优化；ViTAL = 残差策略与 critic 从零训、无 warm-start。→ 二者的差距直接量化了 warm-start 那两步的价值。

4.2 换基座（仅 Peg-in-Hole，Fig.5）

human-flow 40→100(+60) · teleop-flow 50→90(+40) · ACT 25→80(+55) · DP 30→90(+60) · π0.5 15→75(+60)。全部 +40~+60pt，坐实 KI3"即插即用、跨架构"。

图5（论文 Fig.5 换基座柱状图）：同一 pipeline 挂到 5 种视觉基座上，浅色=适配前 / 深色=适配后：Human Flow 40→100(+60)、TeleOp Flow 50→90(+40)、TeleOp ACT 25→80(+55)、TeleOp DP 30→90(+60)、TeleOp π0.5 15→75(+60)。

4.3 对比视触觉模仿融合（Table 2，Peg-in-Hole；基线额外给 50 分钟遥操数据、演示 50→90 条）

ACT 25 / ACT+Tactile 60 / DP 30 / RDP 65 / π0.5 15 / π0.5+Tactile 45；OmniTacTune 挂各基座 80/90/75、human-flow 100。

结论（KI2 的实证）：同样的时间预算，"在线试错练触觉修正" > "多采触觉演示学融合策略"，各 backbone 高 20–30pt。作者原话："tactile correction … is better learned through trial-and-error"。

4.4 换触觉表征（Fig.6，Peg-in-Hole + Charger）

冻结骨干、只训投影层。逐值（适配后，基线 Peg 40%/Charger 10%）： - Peg-in-Hole：AnyTouch2 100 · Sparsh 100 · T3 90 · Marker 100 —— 几乎都拉满。 - Charger（更动态）：AnyTouch2 100 · Marker 100 · Sparsh 80 · T3 70 —— T3/Sparsh 在动态接触上掉队（作者归因：二者未在动态操作触觉数据上预训练）。

图6（论文 Fig.6 换触觉表征雷达图）：左 Peg-in-Hole（橙）/右 Charger Insertion（蓝）；虚线=适配前、实线=适配后。四种表征 AnyTouch2 / Sparsh / T3 / 低维 Marker 都被 OmniTacTune 大幅拉升；Charger 上 Sparsh(80)/T3(70) 逊于 AnyTouch2(100)/Marker(100)。

🤖 值得记：接触密集/动态任务上，触觉大模型未必赢简单 marker 特征（Marker 两任务都 100）——选型别迷信预训练编码器（双任务证据，别当定论）。库内表征卡见 卡片-AnyTouch/卡片-Sparsh/卡片-T3。

五、消融（App. C.2，均在 Peg-in-Hole）

  • 多感奖励（Fig.15）：去掉 reach / dense flow / tactile 任一项都变慢 + 终态更低。四项各司其职（reach 引导抓取、flow 给插入期物体中心监督、tactile 给抓取信号+异常惩罚）。
  • 残差策略设计（Fig.16）：轨迹级关键点 > 逐步关键点（后者过约束，ACT 因动作高方差直接失败）> 裸视触觉条件（关键点更紧凑的物体中心引导）；去掉接触门控也掉分（门控在非接触期减少无谓修正、接触期放大触觉驱动修正）。
  • warm-start 策略（Fig.17）：去掉"触觉编码器+critic 联合优化"= 退化成 PLD*，早期不稳、终态弱；去掉 ControlTac 也不稳；去 critic 损失或重构损失都掉——两目标互补（提任务级特征 vs 复原触觉结构）。
  • 动作空间（Fig.18）：去 scheduler → 变慢；去 action scaling → 显著变差（无约束残差难优化、易失稳）；用大 scale=0.5+scheduler 优于无 scaling 但仍逊于 0–0.15 全设计。

🤖 消融的信息量：这篇的成功不只靠"残差 RL"这个大想法，更靠 warm-start 那两步（编码器+critic 联合优化 + ControlTac）——去掉就退回 PLD* 的 52.5%。想复现/迁移别只抄"冻基座+残差"，warm-start 是隐形关键。

六、失败案例（App. D，Cap/Box Opening）

三类典型失败：① 接触力不足或施力不准 → 打滑开不了；② 未对齐盒边 → 接触点错过有效开启区；③ 操作中物体位姿倾斜 → 接触几何改变、无法沿预期方向施力。→ 说明这两个动态任务不只要"到位"，还要维持稳定物体位姿 + 生成精准的接触修正动作。

七、局限（作者明述 + 🤖）

  • 📄 真机 RL 通病：需人工复位、接触密集下硬件磨损，尤其脆弱视觉式触觉传感器（GelSight）。未来想引入世界模型生成物理可信视触觉 rollout 降真机成本；并称迁移到其它本体/传感器是"直接扩展"。
  • 🤖：4 任务、单臂夹爪、单指 GelSight；换基座/换传感器的泛化只在 Peg-in-Hole 一个任务上做全；依赖基座先验质量（起点太差则"局部精修"无从谈起）与关键点/物体流可靠抽取。

八、放进我们主线（🤖）

  • "接触修正/最后一毫米"三张卡的深度对照（同母题、三条正交轴）： | | 反馈 | 学法 | 与基座关系 | |---|---|---|---| | 卡片-RLT | 纯视觉 | 真机在线 RL | 冻结 VLA + RL-token 状态接口 | | 卡片-TacCoRL | 触觉 | 仿真 RL + 真机监督锚 | sim-real 共训后训练 | | OmniTacTune | 触觉 | 真机 RL | 冻结基座 + 关键点/动作块 架构无关接口 | 三者接口设计一脉：都在给在线 RL 找一个与大基座解耦的稳定状态/动作接口（RLT 的 RL-token ↔ OmniTacTune 的关键点+动作块）。
  • 与 卡片-T-Rex/卡片-Tactile-VLA 正交互补：后者改基座结构、把触觉当输入；OmniTacTune 不碰基座，把触觉当外挂残差 + 在线练——"已有好视觉策略、只想低成本补触觉"时更省。
  • 可操作判据（从这篇提炼，用于筛后续触觉工作）：是"残差外挂 / 在线学接触 / 低数据注入" → 高优先；是"再堆一个大触觉数据集+大模型" → 记录但降优先（除非当表征地基）。

九、复现评估 + 可借鉴资源积木清单（2026-07-13 调研）

一句话：OmniTacTune 本体至今未放代码/数据（项目页只有 paper/arXiv/X/YouTube，复核 2026-07-13）。但它站在一堆大多开源的积木上——复现 ≈ 用开源件拼一套"真机触觉残差 RL 栈"，而非等作者放码。硬件比 ForceVLA 的 Flexiv 便宜一档（xArm7 桌面级）。

9.1 可复现性总判

  • 软件：约 7–8 成可从开源件拼起；两个缺口——① OmniTacTune 的编排层（warm-start 两步 + 关键点/动作块残差接口 + 多感奖励调度）无参考实现，得照论文自写；② ControlTac 增广"Incoming Soon"、尚未放码（见下）。
  • 硬件：xArm7 + GelSight Mini + 一个 RealSense + Quest3——桌面级、门槛低，比 ForceVLA 的 Flexiv Rizon 便宜约一个数量级（🤖粗估：xArm7 ~$12–15k、GelSight Mini 数百美元级、Quest3 $500，采购前核价）。GelSight 脆、接触密集下有磨损/复位成本（作者自认的痛点）。
  • 数据：不需大规模配对视触觉数据（这正是它的卖点）——每任务只需人类视频/遥操采基座先验 + 真机在线练 40–80 分钟。
  • 结论："照论文自搭 + 复用开源积木"是唯一路径；难点在真机在线 RL 栈的工程化（安全复位、reward 分类器、replay/critic）与 warm-start 两步的稳定性调试，而非缺算法细节。

9.2 可借鉴积木清单（逐个查开源状态，2026-07-13）

✅=已开源可直接用 · ⏳=承诺未放 · ❓=未核到码。链接均为公开 repo/项目页。

A. 真机在线 RL 骨架（复现最省力的起点） - ✅ HIL-SERL（rail-berkeley）— 最接近现成的真机 RL 框架：SAC + replay + 二值 reward 分类器 + 人在环干预 + 安全封装，近满成功率。github.com/rail-berkeley/hil-serl。建议作为复现底座，在其上加"残差动作 + 触觉 critic + 多感奖励"。（前身 SERL 已弃用转 HIL-SERL） - ❓ PLD（Wenli Xiao 等，ICLR 2026，arXiv 2511.00091，项目页）— OmniTacTune 的残差调度器 s_t 与"冻结基座+轻量残差 actor"范式直接沿用它；LeCAR Lab 出品，码未核到（有项目页，值得盯）。是理解 OmniTacTune 残差设计的母本。

B. 视觉基座策略（4 选 1 即可起步） - ✅ Im2Flow2Act（real-stanford，CoRL 2024，MIT，157★）— flow-based 基座的地基（object flow 当接口）。github.com/real-stanford/im2Flow2Act。OmniTacTune 的 human-flow 基座就基于它 + GenFlowRL/Dex4D。 - ✅ ACT（tonyzhaozh/act）· ✅ Diffusion Policy（real-stanford/diffusion_policy）· ✅ π0.5/π0（Physical Intelligence openpi）— 其余三种基座全开源；证明 pipeline 架构无关，任选其一起步。 - ❓ GenFlowRL / Dex4D — flow 策略变体，码待确认。

C. 触觉编码器（可插拔，本文实测 AnyTouch2≈markers > T3/Sparsh 于动态接触） - ✅ AnyTouch / AnyTouch2（卡片-AnyTouch，AnyTouch2=arXiv 2602.09617）— 本文最优之一，冻结骨干只训投影层。 - ✅ Sparsh（Meta，卡片-Sparsh）· ✅ T3（卡片-T3，A级全开源）· ✅ 低维 markers（从零训，最省，两任务都拿 100%）—— 想快就直接上 markers，别迷信大模型。

D. 感知/关键点/跟踪（Meta 全家桶，全开源） - ✅ DINOv2 + SAM（物体关键点抽取）· ✅ CoTracker3（点跟踪）—— 生成 object flow 与关键点子目标的现成件。

E. 数据采集/遥操 - ✅ Open-Teach（NYU，arXiv 2403.07870，github.com/aadhithya14/Open-Teach）— 原生支持 xArm + Quest3，calibration-free，正是本文遥操用的。人类手部示范走 HUDOR 式重定向（Quest 追手位姿 + Aruco 标定）。

F. 触觉数据增广（warm-start 关键，但未开源） - ⏳ ControlTac（Dongyu Luo，arXiv 2505.20498，项目页）→ 已单独下卡 卡片-ControlTac（同 UMD Ruohan Gao 组）— 单张参考图 + 力/位控生成时序一致触觉图；warm-start 里"无额外真机交互扩接触样本"就靠它。项目页标"Incoming Soon"、尚未放码——是当前复现最实的一个卡点，可先用简单增广（DrQ-v2 式）替代。

9.3 复现路线建议（若立项）

  1. 底座：fork HIL-SERL → 换成"残差动作 a=a_base+s·a_r"，基座先用最易起的 markers + ACT/DP（避开 flow 基座的 DINOv2/SAM/CoTracker 链）。
  2. 单任务打通：Peg-in-Hole（论文里最完整、换基座/换表征都在它上做全）——先复现"5–40%→85%+"的曲线。
  3. 补 warm-start 两步：先上"接触帧更新触觉编码器 + bootstrap critic"，ControlTac 未放前用普通增广占位（消融说去掉 ControlTac 会不稳，但非致命）。
  4. 再谈 policy-agnostic：跑通单基座后，验证"同一残差 actor 换 DP/π0.5"。
  5. 主要风险：真机在线 RL 的工程稳定性（安全复位、reward 塑形调参）、GelSight 磨损、以及 warm-start 调不稳退回 PLD* 水平（52.5%）。

来源

  • 📄 arXiv 2607.03723（2026-07-04，UMD×GaTech）· 全文 txt 逐节精读 2026-07-08 · 本地 papers/OmniTacTune-PolicyAgnosticTactileResidualRL-2607.03723.pdf
  • 🔧 复现积木（9.2，2026-07-13 调研）：HIL-SERL github.com/rail-berkeley/hil-serl · Im2Flow2Act github.com/real-stanford/im2Flow2Act · Open-Teach github.com/aadhithya14/Open-Teach · PLD arXiv 2511.00091 · ControlTac arXiv 2505.20498
  • 📄 作者推文 thread（1/n–9/n 全部逐字核）：1/n · 2/n · 3/n · 4/n · 5/n–9/n（Method×2 / Result×2 / 消融，由用户从其 X 登录态复制提供 2026-07-08）
  • 🌐 项目页 · 视频

🔗 相关卡片
卡片-Tactile-VLA · 卡片-AnyTouch · 卡片-T3 · 卡片-OmniTacTune · 卡片-Sparsh · 卡片-T-Rex · 卡片-TacCoRL · 卡片-RLT