TacK-JEPA：把"哪儿被碰了"直接算出来，让模型专攻"碰了会怎样"¶

📅 2026 · 🏛 Tenace Labs（个人项目·GT CREATE-X 孵化） · 🏷 触觉表征/JEPA 世界模型 📌 一句话省流：一个独立开发者做的触觉版 JEPA。不走视觉式触觉（GelSight/DIGIT 图像）那条路，而是面向关节可运动学追踪的分布式力传感阵列（成千上万个 taxel）——把每个触点的 3D 位置直接用正运动学算出来喂进去，省下模型容量专门去学"接触之后会怎么演化"。纯仿真训练，开源。 ≈ 打比方：与其让模型"猜"手指碰到了哪里，不如把关节角一代入几何就精确告诉它位置；省下的脑力全用来学接触动力学。 🎬 演示：https://tack.tenacelabs.com （交互式抓取回放）

🧰 对我们（可用性速判）¶

对我们的用处：思路可借，补库里"非光学触觉表征"这一格。库里卡片-Sparsh/卡片-T3/卡片-AnyTouch 全是视觉式触觉（图像输入）；本工作是力/taxel 图输入 + 运动学接地的另一条路线，可作对照参照点。
真实性(前期)：🟡 偏低。纯仿真、无实机、无论文、GitHub 6 star / 44 commit（2026-07-12 观测）；作者自述核心假设 H1/H3 "in progress" 未跑完。属早期个人项目，非成熟方法。
训练/微调资源：极轻——单 GPU、每个消融变体 6000 步、约 4000 episodes / 16 物体 仿真（Genesis 引擎）。复现门槛低。
能借多少(开源)：✅ MIT 全开——代码（GitHub）+ 权重（HuggingFace）+ Docker（CPU 数据生成 / GPU 训练）。架构清楚可拆：GATv2 图编码器 + 动作条件 latent predictor + JEPA loss + VICReg 抗塌缩 + EMA teacher。
可用性结论：仅思路借鉴——当"非光学触觉表征"的干净开源 baseline / 思路样例看，别当 SOTA（连作者自家消融都没证实其主论点，见「亮点」）。
📖 详读：暂不做（信息量未到需要详读；有进展/出论文再评）。

亮点（读 repo 自述文档后定位）¶

核心主张："若模型不必花容量去推断本可直接给定的几何，这些容量就该全用于真正难的部分——建模接触动力学。" → 用正运动学把 taxel 3D 位置精确算出，不靠视觉猜。
面向的硬件：关节可运动学追踪的分布式力阵列（点名 CMU ART-Glove：2048 taxel / 22-DoF 关节追踪；及 OSMO 开源手套；演示用 Allegro Hand URDF 当代理），而不是 GelSight/DIGIT 这类光学式触觉。这是它和 Sparsh 的输入维度差异。
确定性物理管线（编码器之前不含学习）：Genesis 接触求解（每接触点法向+摩擦力）→ 高斯核把力摊到固定 taxel 布局（总力守恒）→ 正运动学算精确 3D 位置 → 建图（节点=taxel[位置/法向/力/link-ID]，边=半径图+link 内静态骨架）。
学习栈：GATv2 图注意力编码器（6 层 / 256 维）+ EMA teacher（momentum 0.996→0.9999）+ 因果 Transformer predictor（4 层，动作条件、预测 k 步后的 target latent） + Huber JEPA loss（对 stop-gradient 目标）+ VICReg 抗塌缩 + 三个辅助头（力回归 / 滑移分类 / 接触面积）。
消融设计围绕三个可证伪假设：H1 运动学接地是否优于隐式几何（no_fk）；H2 力图是否优于图像（image_native）；H3 JEPA 潜预测是否优于原始力重建（reconstruction）。另有 no_vicreg 验证抗塌缩必要性。
工程诚实度（客观可观察）：主动公示不利结果——去 VICReg 即塌缩；发现并修复 canary 指标 bug；image_native 一度因"占用通道占了图像 100% 信号能量"的 bug 被 root-cause，修复后在滑移任务仍反超其主推方案，作者明确标为"未解的真实发现，未粉饰"。

🧬 与其他工作的关系¶

"首个 Tactile JEPA" 站不住 ⚠️：卡片-Sparsh（Meta FAIR, CoRL 2024, arXiv 2410.24090）已含 IJEPA 触觉变体，早于本工作。严格能守住的说法至多是"首个面向分布式力传感阵列 / 运动学接地的触觉 JEPA"（Sparsh 是视觉式触觉·图像输入；TacK-JEPA 是 taxel 力图输入）——是维度差异，不是"首个 tactile JEPA"。此断言仅 🟡，未做深度 prior-art 查新。
世界模型侧：与库里 JEPA 系（卡片-V-JEPA2/卡片-VLA-JEPA）同宗（潜空间预测 + 抗塌缩），但把 modality 换成触觉力图。

关键数字（每条带来源 [n]）¶

⚠️ 以下全部为作者自报·纯仿真·未经第三方复现，证据档一律 🟡。 - [1] 目标 taxel 规模 ~2,000–2,500（对齐 ART-Glove 的 2048）；数据 4,000 episodes / 16 物体变体（object-disjoint train/val）；架构 GATv2 6 层/256 维 + predictor 4 层因果 Transformer + EMA momentum 0.996→0.9999。🟡 作者自报 - [1b] H1（运动学接地）/ H3（JEPA vs 重建）状态：probe 回归数尚未跑完，结论未定（据 PRD/README）。仅 H2（力 vs 图像）与 no_vicreg 有初步结果，见 [3][4]。🟡 作者自报 - [2] 逐 taxel 力估计误差比"无运动学接地"低 31%；接触面积估计误差低 3.2×。🟡 作者自报·仿真 · ⚠️ 与仓库状态自相矛盾：repo README/PRD 明写"力/接触面积的 probe 回归数尚未跑完(not yet complete)"，故主页这两个数疑似超前宣传、当前无仓库证据支撑，勿引用。 - [3] 反直觉负结果：滑移检测 AUROC image_native 0.94 vs 图 baseline 0.60，且"probe 训得越久差距越大"——即其"力图>图像"的主论点被自家消融证伪/未证实。🟡 作者自报 - [4] 抗塌缩：去掉 VICReg（no_vicreg）表征塌缩——每维 std 0.0097(塌) vs 0.174(baseline)；修好图像栅格化 bug 后表征方差回升"约 19,000×"。🟡 作者自报 - [5] GitHub 6 star / 1 fork / 44 commit，Python 97%，MIT。✅ 我于 2026-07-12 抓取观测

🔎 证据与可信度（源头决定权重，见 _卡片规范）¶

论文：❌ 无（PRD.md / ROADMAP.md 为作者自述的技术记录）。
代码：✅ 开源 AmoghShrivastava/tack-jepa（MIT）；权重在 HuggingFace。
数据：仿真自生成（Genesis），未作为独立数据集发布。
第三方评阅/复现：❌ 无（无顶会、无复现帖）。
实机：❌ 纯仿真，无真机验证。
证据等级：C（有开源可复现，但无论文/无同行评审/无实机/关键结论自家未证实）→ 权重：低。

🧪 复现条件与成本（暂不亲做，只估）¶

硬件：单 GPU 即可（作者原话）；数据生成走 CPU Docker。
数据：作者已给仿真管线，可自生成；无需实机/实验室。
算力：每消融变体 6000 步 / 单卡——很轻。
时间估计：环境搭好后天级可跑通一轮。
侧证判价值：代码开源 ✅ / 权重开源 ✅ / 实机验证 ❌ / 第三方复现 ❌ / 关键论点自证 ❌。

💡 调研判断（🤖，待人复核）¶

性质：一名独立开发者在孵化器周期内、纯仿真完成的触觉世界模型原型。据 PRD 自述仍处"小规模验证架构"阶段——五组消融已训完，但力/接触面积的 probe 回归与下游样本效率对比尚未完成。非成熟方法，无实机、无论文、无同行评审。
可取之处（客观）：① 问题框定清晰且指向新硬件——"几何可由正运动学精确算得，无须模型推断"，切入的是分布式力传感阵列（ART-Glove / OSMO）这条区别于视觉式触觉的路线，此路线在触觉表征文献中占比小、本库亦缺此格；② 工程诚实度显著高于同类个人/推特项目——不利消融、指标 bug、与主张相悖的发现均如实公开而非掩盖，这在方法论态度上是可信信号。
局限（客观）：① 其核心主张"力图优于图像"被自身消融的反向证据（滑移 AUROC 0.60 vs 图像 0.94，且随训练扩大）压制，当前不成立；② 项目页宣称的力误差 −31% / 接触面积 −3.2× 与仓库"probe 未跑完"状态冲突，无仓库证据支撑；③ 纯仿真、单卡小规模，作者显式将跨传感器泛化、软体 FEM、实时部署列为 non-goal；④ 作者已宣布离场（结束 Tenace Labs / GT CREATE-X 这段），项目迭代前景存疑。
在本库的定位：作为"非光学 / 运动学接地触觉表征"这一路线的参照样本留存；其架构（GATv2 图编码 + 动作条件 JEPA + VICReg + 确定性物理管线）可作该方向的一个具体实现参考，代码/权重 MIT 全开、可拆解。当前证据不支持将其作为方法采用，亦不构成机会项（不进 P0）。 重估触发条件：出论文、补实机、或补齐 H1/H3 的 probe 结果。
新颖性与撞车说明：本卡不对其下"首个/最"类新颖性断言（未做深度 prior-art 查新，且 Sparsh 已证"首个 tactile JEPA"不成立）；与本方任何专利/想法不做机制层撞车判断。
相关：卡片-Sparsh（视觉式触觉 JEPA 对照）、卡片-T3、卡片-AnyTouch（触觉表征地基族）；世界模型侧卡片-V-JEPA2。

来源编号¶

[1][1b][2][3][4] TacK-JEPA 项目页（https://tack.tenacelabs.com ）+ GitHub README + PRD.md（https://github.com/AmoghShrivastava/tack-jepa ），均为作者自述·仿真，🟡 待验证。[2] 主页数字与 repo probe 状态冲突已标注。
[5] GitHub 仓库页，2026-07-12 抓取观测（✅ 观测事实）。
来源推文：https://x.com/stisov16/status/2075728235308995049 + 同串续帖 …767285141834（@stisov16 / Amogh Shrivastava）。

🔗 相关卡片
卡片-AnyTouch · 卡片-T3 · 卡片-Sparsh · 卡片-V-JEPA2 · 卡片-VLA-JEPA