跳转至

TacSL（GPU 视触觉仿真+学习库）

📅 2024-05｜🏛 NVIDIA Seattle Robotics Lab（Akinola, Xu, Carius, Fox, Narang）｜🏷 仿真工具·能跑｜🧬 把 GelSight 类视触觉接进 Isaac Gym 并行 RL；ManiFeel benchmark 即建于其上

📌 一句话：没硬件也能起步触觉学习——把视触觉图 + 接触力分布的仿真接进 NVIDIA Isaac Gym 做全并行 GPU 仿真，比前代 SOTA 快约 200×，配套接触密集操作(插孔/拧螺母)的学习工具与 sim2real。

🧰 对我们（速判）

  • 用处：还没买/搭传感器，先在仿真里跑触觉策略、攒经验、做 sim2real 预研。
  • 能借多少：📄 Python 库 for Isaac Gym；项目页 + NVIDIA 研究页公开；ManiFeel benchmark(仿真 GelSight 装 Franka)建于其上可直接借。
  • 复现/算力成本：要 NVIDIA GPU + Isaac Gym 环境；并行吞吐高、单卡可跑。
  • 真实性：NVIDIA SRL 出品、被后续工作(Tac2Real 2026)当基线对比 → 可信度较高；但本卡为摘要/项目页级，未实测 🟡。
  • 可用性结论："能跑"档首选起步。要更高保真/在线 RL 看更新的 Tac2Real(2026, GPU, 零样本迁真)；要 Isaac Sim 软体路线看 TacEx。

关键（摘要级）

  • 快 ~200×：相比前代 SOTA，生成视触觉图 + 提取接触力分布的速度。📄
  • 解决三难：① 解读复杂触觉信号 ② 在新接触场景生成逼真视触觉数据 ③ 可扩展的触觉操作策略学习。📄
  • 任务：接触密集——随机朝向插孔(peg insertion)、拧螺母(nut threading)；演示 sim2real 迁移。📄
  • 路线：penalty-based 接触模型(Tac2Real 对比中如此归类)；与 Tacchi(MPM)、Tac2Real(PNCG-IPC) 并列三条仿真路线，TacSL/Tac2Real 训练效果相近且远超 Tacchi 与无触觉。📄

局限 / 待核

  • 🟡 数字(200×/任务成功率)未亲测；91.4% 插孔等成功率是 Tac2Real 的结果，不要张冠李戴到 TacSL。
  • 依赖 Isaac Gym(逐步被 Isaac Lab 取代)；视触觉仿真到真机仍有 gap，作者强调需色彩增强等手段。
  • 仅视触觉(GelSight 类)，阵列式/6D 力传感器不在范围。

我的批注

  • 🤖 对触觉×操作主线，TacSL 是"零硬件起步"的标准入口；但别拿 sim 指标当真机结论(本库"算法水分卸妆水")。和 卡片-ORCA-Hand 的真机路线互补：仿真预研 → 真机验证。

来源