跳转至

触觉 × 机器人 · 文献地图 & 阅读方案

怎么用：先看「阅读方案」按四级路径走；下面分类清单是全景。⭐=必读经典/关键。 总源头：Awesome-Touch 清单（持续更新，缺 ID 去这里查）。 前沿 VLA/世界模型+触觉的 5 篇已做精读卡片：卡片-Tactile-VLA 卡片-VLA-Touch 卡片-TacVLA 卡片-TacForeSight 卡片-LaWAM。

🧭 阅读方案（四级路径，建议顺序）

  1. 建图（先读综述，半天）：① ⭐Tactile Robotics: Past and Future (2025) 看大局；② When Vision Meets Touch: 视触觉传感器综述 (2024) 看传感器谱系。
  2. 打底（经典，建立直觉）：传感器 GelSight/DIGIT；操作经典 Calandra"More than a feeling"、in-hand rotation（RotateIt）；仿真 TACTO。见下「经典」标 ⭐。
  3. 上表征（这是接 VLA 的桥）：⭐T3、Sparsh、UniTouch/AnyTouch、TVL 数据集 —— 把多种触觉传感器统一成可迁移表示，是"触觉进大模型"的地基。
  4. 追前沿（VLA / 世界模型 + 触觉）：直接看我们已做的 5 张卡片 + OmniVTLA / HapticVLA / TacCoRL / Visuo-Tactile World Models。我们的切入点（双隐空间 / 可学门控）就长在这一层。

1. 综述 / 入门（最新）

  • ⭐ Tactile Robotics: Past and Future, 2025 — arXiv 2512.01106（最新全景）
  • When Vision Meets Touch: 视触觉传感器信号处理综述, 2024 — arXiv 2406.12226
  • Recent Progress in Tactile Sensing & ML for Texture (Humanoid), Wiley 2025（材料/感知向）

2. 触觉传感器（经典打底）

  • ⭐ GelSight: High-Resolution Robot Tactile Sensors (Yuan et al., 2017) — 视触觉鼻祖
  • ⭐ DIGIT: 低成本紧凑高分辨触觉 (Lambeta et al., RAL 2020)
  • GelSlim / GelSight Wedge (Donlon 2018 / Wang ICRA 2021)；TacTip 仿生 (Ward-Cherrier, SoRo 2018)；OmniTact (2020)；DenseTact (2022)；GelTip [arXiv 2112.01834]
  • 分两类：视觉式(GelSight/DIGIT，高分辨、出"触觉图")vs 阵列式(taxel，如 TacVLA 用的 15×8，低分辨)

    ID/链接统一见 Awesome-Touch。

3. 触觉表征 / 基础模型（最新·接 VLA 的桥）⭐重点 —— 已做全文卡片(均 A 级·全开源)

  • ⭐ T3 Transferable Tactile Transformers — arXiv 2406.13640 → 卡片-T3（共享trunk处理不对齐异构；FoTa 300万/13传感器；插拔比从头训 +25%）
  • ⭐ AnyTouch 多传感器静/动统一表征 — arXiv 2502.12191(ICLR25) → 卡片-AnyTouch（对齐数据 TacQuad + universal sensor token）；后续 AnyTouch 2 [2602.09617]
  • ⭐ TVL 触-视-语对齐 — arXiv 2402.13232(ICML24) → 卡片-TVL（语言对齐触觉编码器 + 伪标注配方）
  • Sparsh（Meta）自监督触觉表征, CoRL 2024（ID待补）；UniTouch / UniT 2024（接 CLIP/LLM）

    选型：跨传感器→T3/AnyTouch；接语言→TVL；有对齐多传感器数据→AnyTouch。这层是"双隐空间"地基，且全开源可直接用。 这层是"把杂七杂八的触觉传感器统一成一种可迁移 embedding"——没有它，触觉很难喂进通用 VLA。

4. 多模态数据集（触觉-视觉-语言）

  • ⭐ TVL Touch-Vision-Language Dataset (Fu et al., ICML 2024) — arXiv 2402.13232 · code（44K 触视对，+29% 对齐）
  • Touch100k 触觉-语言-视觉大数据集, 2024
  • Binding Touch to Everything (Yang et al., CVPR 2024)；FoTa（随 T3）

5. 触觉操作 / 策略学习（经典 + 近期）

  • ⭐ Calandra: More than a feeling — Learning to grasp and regrasp w/ vision+touch (RAL 2018) — 视触觉抓取经典
  • In-hand 灵巧：⭐General In-Hand Object Rotation w/ Vision and Touch (RotateIt, Qi et al., CoRL 2023)；Rotating without Seeing (Yin 2023)；Learning Purely Tactile In-Hand (Sievers, ICRA 2022)；(更早) OpenAI Rubik's cube 2019
  • 插拔/抓取：Tactile-RL for Insertion (Dong, ICRA 2021)；⭐SimPLE 视触觉仿真精准拾放 (Science Robotics 2024)；3D-ViTac (CoRL 2024)
  • 感知融合：⭐NeuralFeels 神经场视触觉 in-hand (Science Robotics 2024, Meta)
  • 近期视触觉策略：Reactive Diffusion Policy (慢快, 2025)；FoAR 力感知反应策略 (RAL 2025)；GelFusion / VitacFormer / Vital (2025)

6. 触觉仿真 / Sim2Real（经典 + 最新）

  • ⭐ TACTO 开源视触觉仿真 (Wang et al., RAL 2022)；Tactile Gym 2.0 (RAL 2022)
  • ⭐ DIFFTACTILE 可微物理触觉仿真 (Si et al., ICLR 2024)
  • TacSL GPU 加速视触觉仿真+学习 (2024/25, NVIDIA系, >200×加速)；Taccel；Tac2Real 零样本 91.7% [arXiv 2603.28475]

    Sim 是触觉数据稀缺的解法之一（呼应 卡片-TacForeSight 的 TacCoRL 路线）。

7. VLA / 世界模型 + 触觉（最前沿·我们的主战场）

  • 已精读卡片：卡片-Tactile-VLA（力进动作空间）· 卡片-VLA-Touch（外挂双层）· 卡片-TacVLA（接触门控）· 卡片-TacForeSight（触觉世界模型）· 卡片-LaWAM（视觉隐空间 WM，对照锚）
  • 待补卡片：OmniVTLA [2508.08706]、HapticVLA [2603.15257]、TacCoRL [2606.11743]、TA-VLA [2509.07962]、FD-VLA [2602.02142]
  • Visuo-Tactile World Models (Higuera et al., 2026) — 与 TacForeSight 同主题，值得对照（ID待补）
  • 旧线索：Octopi/Octopi-1.5 触觉-语言模型 (RSS 2024/2025)；FuSe；ForceVLA

🎯 与我们方向的接点

  • 桥在"表征层"：要把触觉喂进通用 VLA，先过 T3/AnyTouch 这类统一表征——这是 机器人与VLA "双隐空间联合" idea 的必要地基。
  • 门控演进线（跨卡片洞见）：VLA-Touch(想做事件触发) → TacVLA(硬阈值门控) → TacForeSight(可学 α 门控)。"可学接触门控"是明确改进方向，可作切入点。
  • 数据/仿真是瓶颈：触觉数据稀缺 → 关注 TacSL/Taccel/DIFFTACTILE + TacCoRL 的"仿真补触觉"。

⚠️ 核实说明

  • 标 arXiv 号者均来自检索链接(较可信)；标"ID待补"者只有题名/年份，属待验证，引用前去 Awesome-Touch 或 arXiv 核。
  • 经典论文(GelSight/DIGIT/Calandra 等)为领域公认，按题名+venue 可查。