跳转至

Perceptron Egocentric（Perceptron Inc.·2026-07-09 发布 early access）

📌 一句话：把原始机器人/第一人称视频自动切成"原子操作事件"并逐段打可训练标签 + 逐手稠密 grounding（21关键点骨架+左右手）的标注 API——不训练在任务上、靠自研通用具身感知模型 Mk1 做推理时框架；号称在此领域超过 Gemini Robotics ER-1.6 与 Gemini 3.5 Flash（原 SOTA）。面向机器人实验室/数据商的大规模数据标注。 🎬 官方博客 · 公司（仅 Request Early Access，闭源 API） ⚠️ 厂商博客卡，非论文：无 arXiv、无开源权重/代码/数据；下述数字全部厂商自报、在其自己跑的 benchmark 上评（🟡待独立复现）。

🧰 对我们（可用性速判）

  • 用处：直击我们数据侧痛点——aloha-demo 要找实习生采数据，采完的视频标注是瓶颈（人工 ~$50/视频小时）。这类工具把"视频→带时间边界的子任务标签 + 逐手接触/抓取/释放信号"自动化，正是 概念-机器人数据与标注 §二里我们标记"待单独成卡"的自动标注管道/数据飞轮。
  • 真实性：🟡 全为厂商自报（vendor self-report），benchmark 由第三方 Macrodata 出题(WGO-Bench)但由 Perceptron 自己跑分；无独立第三方复现、无论文同行评审。
  • 训练资源：不适用（不是给我们训的模型，是标注服务）。Mk1 闭源，只能通过 API 用。
  • 能借多少开源：几乎为零——闭源 API、early access 申请制、模型/代码/数据均不公开。只能借"思路"（手部边界优于像素边界、instruction-optional、把标注做成推理时框架而非微调）。
  • 可用性结论：理念上高度对口、落地上受限。真要用得申请 early access + 按 API 计费 + 数据出境/隐私顾虑。近期定位=对照标杆与思路来源，不是马上能接进 aloha-demo 的开源件。要不要申请 early access 看采数规模再定。

亮点（亮点在哪 = 把"标注"重构成"感知"，而非又一个采帧问答 VLM）

  1. 手驱动的操作边界：Perceptron Mk1 手部检测+姿态 sidecar 逐帧输出双手 bbox + 21 关键点骨架（腕+每指4关节）+左右手身份 → 切分跟着"手在干嘛"走，而不是像素变化，contact/grasp/release 有直接信号。每只手独立按预定义动作分类法（reaching/grasping/pinching/lifting/holding/placing/inserting/pushing/pulling/rotating/opening/closing/releasing…）打标 + 可见性状态。
  2. instruction-optional（可无指令）：两档运行——给任务指令当上下文，或完全盲跑、无任何指令从视频本身还原"发生了什么"。盲跑仍超前代 SOTA 管道（见数字）。
  3. 零任务微调：Mk1 是预训练规模学出的通用具身感知模型（手/接触/物体状态/空间关系是其表征里的原生概念）；标注功能全没进训练——纯推理时框架套在通用模型外。作者论点："赢在模型不在管道"，会随 Mk1 变强而拉大。

关键数字（均厂商自报 · 🟡）

  • Benchmark：WGO-Bench（"What's Going On"，Macrodata 出）——743 段人工标注 / 62 任务指令 / 71.5 分钟视频，跨 HomER(第一人称) + DROID(外部机器人相机) + Galaxea(机器人头部相机)。
  • 带指令档：比人工标注便宜 10–15×（人工基准 ~$50/视频小时）；端到端 F1 +77% 相对、且比 Macrodata 全管道更便宜。
  • 语义端到端 F1 0.280 vs 0.158（+77% 相对，vs WGO 单遍 Gemini 3.5 Flash 变体）；743 段里完整正确 181 段 vs ~101。
  • Segment F1 0.370 vs 0.302（+23%）；segment 精度 0.435 / 召回 0.322。
  • 语义精度 0.330 vs 0.190、语义召回 0.244 vs 0.136。
  • 无指令档：最优档在切分与端到端仍超前代 SOTA；快速档削 ~30% 成本、落 0.182 端到端 F1，仍高于 WGO 无指令 seeded 变体 0.138。
  • WGO 的 seeded-relabeling（每段再过一遍 Gemini）拿到 78.1% 标签准确率，但端到端只 0.168，仍低于 Perceptron 带指令 0.280 约 40%。
  • 手部姿态流跑在自家 GPU（非计费 API），开启约 +$1/视频小时。

证据与可信度

  • 档位：C（厂商博客/产品公告级）。 存在性与功能描述 ✅（官方博客一手）；所有性能/SOTA/成本数字 🟡待验证——厂商自报、自跑分、无独立复现、无开源可核。
  • 对照系 Gemini 3.5 Flash / Gemini Robotics-ER 1.6 是它对标要超的基线（Macrodata 管道用 Gemini 3.5 Flash），不是 Perceptron 的底座（底座是自研 Mk1）——勿把两者说反。
  • "Macrodata / WGO-Bench" 第三方出题真实性未独立核（🟡）。

复现成本

  • 无法复现：闭源 API、模型/代码/数据不公开、early access 申请制。只能申请试用或借设计思路。

局限

  • 闭源、按量计费、需申请；数据要送到 Perceptron 侧（采集数据的隐私/出境顾虑）。
  • 数字无第三方背书；benchmark 自跑。
  • 只解决"标注"，不产出策略；且强绑其专有 Mk1。

我的批注

  • 🤖 对我们的真正价值 = 思路而非工具：①"标注边界跟手不跟像素" ②"instruction-optional 盲跑还原子任务" ③"把标注做成通用感知模型的推理时框架、零任务微调"——这三点用开源手部姿态（如 HaMeR/WiLoR）+ 开源 VLM 或许能自搭一个廉价平替喂 aloha-demo，值得评估（待验证是否够用）。
  • 🤖 触觉视角：它的 grounding 是视觉手部姿态，接触/抓取/释放靠视觉推断而非真触觉——与本库主线"触觉管接触时发生了什么"（_观点-老板对触觉的核心判断 内部）正好互补：视觉标注管道能规模化产"结构"标签，但接触真值仍缺触觉。

来源

🔗 相关卡片
卡片-DROID