跳转至

TACTIC:不用"手"用"整条胳膊"去接触——把全臂触觉+视觉喂给一个会预测接触的 MPC

📅 2026-07 · 🏛 Cornell EMPRISE(Bhattacharjee 看护机器人组)× CMU × Toyota Research · 🏷 接触中心控制(非 VLA,模型式 MPC) 📌 一句话省流:让机器人用整条手臂表面(前臂+上臂,不只末端)去撑、扶、导、搬物体,把力分散到大面积上更安全。做法=一个接触中心的混合预测模型(RGB-D + 全臂分布式触觉 + 2D 邻近表示 → 预测"未来接触怎么形成/滑动/断开 + 交互力"),塞进采样式 MPC(MPPI) 规划,在"任务推进"和"全臂力调节"之间权衡。真机演示在看护场景:给真人大小的护理假人翻身、搬腿。 ≈ 打比方:别的策略盯着"手指尖碰哪";TACTIC 让机器人像护工一样用小臂大臂兜住病人——接触是全臂分布的,控制目标是"稳稳托住、别硌着"。 🎬 演示 & 项目页:https://emprise.cs.cornell.edu/tactic 🔬 全文精读(消融+仿真对比明细):待做 → 详读-TACTIC(本卡先据全摘要+项目页)

🧰 对我们(可用性速判)

  • 对我们的用处中,且是"另一条路"的参照。① 硬件:给了一个全臂分布式触觉皮肤的现实样板(Kinova Gen3 上贴 22 个力 taxel、压阻式 WiFi、~800Hz、无线缆)——我们触觉多聚焦指尖/手,全臂皮肤是新维度。② 范式对照:它是模型式 MPC + 接触预测,不是学习式 VLA——正好和我们主线(触觉×VLA)形成"model-based vs learned"对照,接触密集/安全敏感场景下模型式的物理一致性是其卖点。③ 新场景物理看护(翻身/搬腿)——我们库此前少涉的应用域(据现检索)。
  • 真实性(前期):Cornell EMPRISE + TRI,项目页标 RSS 2026 接收(🔶 项目页转述、未独立复核;若属实=顶会同行评议背书)→ 方法可信度较高;真机成功率中等且如实(见下)。
  • 训练/微调资源——不是大数据 VLA。学习部分只是潜动力学预测器(ViT)+DINOv3 骨干,靠遥操作演示,无需海量数据/工业算力。
  • 能借多少(开源)🟡 未落地——项目页称放硬件+码,但未见实际 repo 链接(2026-07-16 核,GitHub 亦搜不到);硬件方案(22 taxel 全臂皮肤)可照着自造,代码待放。
  • 可用性结论思路/硬件借鉴为主——全臂触觉皮肤 + 接触中心预测是可迁移的点;整套 MPC 栈非我们主线,不直接纳入。

亮点

  • "接触中心"状态表示:不把接触当噪声,而是显式建模——RGB-D + 分布式触觉力向量 + 2D 邻近表示(机器人-物体距离),经 DINOv3 骨干融合成接触中心状态。
  • 混合预测模型(物理一致性是关键)解析运动学分支(保证物理一致,抗分布漂移) + 学习的动作条件潜动力学(ViT 预测器,预测接触/力演化),两者用接触雅可比耦合 → 能 rollout"未来多连杆接触构型 + 交互力"。直击纯学习 rollout 在稀疏多接触构型下"物理不一致"的痛点。
  • 接触感知的动作采样:用接触雅可比投影,把采样动作序列偏向"能调节力"的方向,按实测接触力加权 → MPPI 采样更高效。
  • 全臂 = 更安全:力分散到大面积,适合受限空间与"抱人/托举"这类安全敏感操作。

🧬 与其他工作的关系

  • 区别于我们主线的 VLA:这不是 VLA/扩散/flow 学习策略,而是 receding-horizon MPC;学习只用在"潜动力学预测"这一小块。与 卡片-FoAR(力自适应控制)、卡片-ReactiveDiffusionPolicy(反应式)同属 kb/3 控制族,但更偏"模型+规划"。
  • 预测模型的世界模型味:其"预测未来接触/力演化"与 卡片-OmniVTA卡片-VT-WM 的视触觉世界模型思路相邻,但目的是给 MPC 供 rollout,不是当生成式策略。
  • 硬件同族:全臂分布式触觉皮肤,与 卡片-ReSkin(分布式磁触觉)同属"给大面积贴触觉"路线,但 TACTIC 用压阻式 + 无线、覆盖整条臂。
  • DINOv3 巧合:视觉骨干用 DINOv3,与 卡片-EgoSteer 的世界模型冻结教师同款——DINOv3 在具身接触/世界模型里正被反复用作骨干。

关键数字(每条带来源)

  • 硬件:Kinova Gen3 7-DoF 臂 + 22 个分布式力 taxel(沿臂连杆,前臂+上臂),压阻式、WiFi、~800Hz/板、无线缆;头顶 RGB-D 相机;镜像 Kinova leader-arm 遥操作采演示 [2]。
  • 真机 3 任务成功率(项目页🔶,未与正文交叉核)[2]:
  • 3D 动态迷宫到达:3/5
  • 护理假人侧翻(带力调节):12/20
  • 假人肢体重定位(搬腿到目标位):14/20
  • 假人:真人大小护理训练假人 ~46 lb(护士教学用);场景=物理看护(翻身/搬洗)[2]。
  • 主要定量优势在仿真:摘要称"在仿真里对比 SOTA 模型式/无模型方法 + 消融,一致胜出";真机是能力演示,成功率中等(口径见上)[1]。
  • ⚠️ 未获取:仿真具体分数、各消融数值、逐任务基线对比——待精读。

🔎 证据与可信度

  • 论文arXiv 2607.09218(v1 2026-07-10 / v2 2026-07-13,cs.RO)。作者 Rishabh Madan、Tapomayukh Bhattacharjee(Cornell EMPRISE)等 + Angchen Xie(CMU) + Mark Zolotas、Jose Barreiros(Toyota Research Institute)。项目页标 RSS 2026 接收(🔶 未独立复核)。摘要全文已读;正文方法/实验未逐节精读。作者归属(Cornell EMPRISE / CMU / TRI)据项目页 WebFetch,精确到人的院校划分🔶。
  • 代码/数据🟡 未见公开链接(项目页有此承诺措辞但无实际 repo;2026-07-16 核)。
  • 第三方复现:暂无(RSS 同行评议提供背书)。
  • 证据等级:C(摘要+项目页一手核实为主,真机数字取自项目页🔶、仿真明细/消融未核、开源未落地)→ 权重:中(顶会 + 全臂触觉硬件参照价值,但非主线且未开源)。

🧱 局限(🟡 未读 Limitations 节,据核心内容推断)

  • 真机成功率中等(3/5、12/20、14/20)——全臂多接触 + 重载假人本就极难,属"能做到"而非"高可靠";主战力证据在仿真。
  • 非学习式大模型路线:靠精心设计的接触模型 + MPC,泛化到全新物体/场景的能力,不如大数据 VLA(但换来物理一致性与可解释力控)。
  • 硬件依赖:需在臂上贴全臂 taxel 皮肤 + 头顶 RGB-D + 遥操作 leader-arm,复现有工程量;码未放更增门槛。
  • 依赖 2D 邻近表示,重遮挡下接触仍部分可观——作者明确点名为难点。

💡 我的批注 / 判断

  • 值得记的是"接触中心 + 物理一致混合模型"这个思路:把解析运动学(硬约束)和学习潜动力学(软预测)用接触雅可比缝起来,专治"纯学习 rollout 在稀疏多接触下物理崩坏"——这个诊断对我们做触觉世界模型/策略有借鉴:贵的物理先验别全交给数据学
  • 全臂触觉是我们视野盲区的补充:主线聚焦指尖/手内触觉,TACTIC 提醒"用整条臂做接触"在看护/协作/受限空间是真实且被顶会认可的方向;22-taxel 压阻无线皮肤是可照造的低成本样板。
  • 和 VLA 主线的关系是"对照组"不是"竞品":接触密集 + 安全敏感(抱人)场景,模型式 MPC 的可控力调节有其不可替代性;可作为"何时该上 model-based 而非 learned"的论据卡。
  • 待办:开源若落地则重估可用性(升到"硬件可复现");下全文补 详读-TACTIC,核仿真对比与消融、以及触觉皮肤的具体规格/成本。核前成功率保持🔶。

来源编号

  • [1] arXiv 2607.09218(v1 2026-07-10 / v2 2026-07-13,cs.RO,RSS 2026)。摘要全文一手核实;正文未逐节读。
  • [2] 项目页 Cornell EMPRISE / TACTIC(2026-07-16 一手)。硬件规格(Kinova Gen3 / 22 taxel / 800Hz / RGB-D / leader-arm 遥操作)、3 任务成功率(3/5、12/20、14/20)、看护场景与假人重量均据此🔶(未与论文正文交叉核)。

🔗 相关卡片
卡片-ReactiveDiffusionPolicy · 卡片-OmniVTA · 卡片-VT-WM · 卡片-FoAR · 卡片-EgoSteer · 卡片-ReSkin