跳转至

AdapTac：用"力"动态决定该多看视觉还是多信触觉

📅 2025-05 · 🏛 学界(adaptac-dex) · 🏷 视触觉融合·力引导注意力 📌 一句话省流：操作时该信眼睛还是信手，得看"现在受力多大"。AdapTac 用力信号当指挥，动态调视觉/触觉的权重(不用人工标注)，还预测下一刻的力来稳住这个调节；3 个精细接触任务平均成功率从基线 73% 提到 93%。 ≈ 打比方：没碰到东西时多看，一接触就改"凭手感"，且能预判力的变化。 🎬 演示：项目页 adaptac-dex.github.io（含视频） 🔬 全文精读 + 关键图 + 数字：详读-AdapTac

🧰 对我们（可用性速判）

  • 对我们的用处：力引导自适应视触觉融合模块(撞 idea2)，可借；代码开源。
  • 真实性(前期)：高（全文+代码+93%）。证据 B+。
  • 训练/微调资源：融合模块+扩散力辅助损失；3 个灵巧接触任务。
  • 能借多少(开源)：✅ 代码(项目页)+方法；数据未确认。
  • 可用性结论：可用/可借模块(代码开源)。

要点（全文核实）

  • 力引导 cross-attention：把净力 F 投成 query、视觉(稀疏点云)/触觉特征当 key/value，softmax 出权重融合 Z = α_pc·V_pc + α_tac·V_tac。📄
  • 预测未来力引导：自监督扩散头预测未来 n 步净力，把"观测力+预测力"拼成引导力 → 稳住注意力、减少视觉偏置。📄
  • 集成进 RISE(3D 扩散策略基线)，总损失 L = L_π + α·L_ffp。📄
  • 结果(成功率)：AdapTac 93% 均值(开箱100/重定向90/翻转90) vs RISE(纯视觉)73%、3DTacDex-P(拼接)40%、FoAR 50%；未见物体 75%。✅📄
  • 消融：无"力引导融合+未来力预测"40% → 仅注意力融合 67% → 全 93%；未来力预测(FFP)是关键(翻转任务 50%→90%)。✅📄
  • 局限：不保证所有任务全成；依赖可靠力传感器；无明显接触动态的任务可能吃力。📄

🔎 证据 / 来源

💡 与我们的关系（判断来源：🤖Claude，待复核）

  • "力引导/预测性触觉门控"方向的代表：它已做"力引导、自适应(连续)调权视触觉融合 + 预测力"。
  • 价值：和 Bilateral Force Priors(2602.13689,"接触前门控")一起，是门控线最新一环、必读对照。

来源