跳转至

Holistic Fusion：一个因子图，吃下所有传感器和坐标系

📅 2025-04 · 🏛 ETH RSL + MPI + NASA JPL · 🏷 状态估计/传感器融合 📌 一句话省流：把机器人身上所有传感器(IMU、GNSS、LiDAR 建图、腿/轮里程计、RADAR…)和它们各自的坐标系，全塞进同一个数学优化里一起算，既给"全局在哪(准)"又给"局部怎么动(稳、不跳)"，换平台不用改代码。 ≈ 打比方：像个超级会计——每个传感器用不同币种(坐标系)记账、汇率还在漂，HF 把所有账本和实时汇率放进一张总表一起对平，随时能换算成任意币种。 🎬 演示：项目页(含视频) · 代码 🔬 全文精读 + 全表数字：详读-HolisticFusion

🧰 对我们（可用性速判）

  • 对我们的用处：① 这是 Flexion 感知/状态估计层的"底子"——一作 Julian Nubert = Flexion 感知负责人、Marco Hutter = Flexion 顾问/联合创始人，Parkour 实验还致谢 Flexion CEO(Rudin)/CTO(Hoeller)，读它≈读 追踪-Flexion-Reflect 那层的技术血统(且有论文实据，非营销口径)。② 工程上是现成的开源多模态状态估计/定位管理基线。
  • 真实性(前期)：知名团队(ETH RSL + NASA JPL)、开源、已是多平台默认估计器；但仅预印本(T-RO 审稿中)、无第三方复现、无标准基准横评 → 性能按 B 档对待。
  • 训练/微调资源：无需训练——是经典优化(因子图)而非学习模型；在线在笔记本级 CPU即可跑(实测 Intel i9-13900K，延迟低 µs 级)。
  • 能借多少(开源)：✅ 代码全开源(C++/GTSAM/Eigen + ROS/ROS2 包装，含 Doxygen + Read-the-Docs + 多平台示例)；无"模型权重"概念；部分样例数据随仓库。
  • 可用性结论：思路 + 代码均可借鉴；做"多坐标系/多 SLAM/GNSS 时断"融合的项目可直接当起点基线。不涉触觉，与主线是"定位底座"交集。
  • 🔬 详读：详读-HolisticFusion

亮点

  • 把"参考坐标系"当成优化变量：GNSS、LiDAR 建图位姿、各类里程计分属不同、且彼此漂移的坐标系——HF 不预对齐、不转相对量，直接把每个参考系的对齐变换塞进同一个因子图里一起估(O3 自动对齐 = 同步的"定位管理器")。
  • 用随机游走显式建模坐标系漂移：单个刚体(Umeyama)对齐对付不了漂移；HF 把每个参考系的演化建成 SE(3) 随机游走(图里一个 between 因子)，于是实质做到非刚体、分段对齐——还对几何退化天然鲁棒(无需主动退化检测)。
  • 局部关键帧对齐：绕世界原点对齐时距离越远旋转越不稳(~150s 后振荡)；改成绕就近关键帧对齐 → 大范围任务数值稳定。
  • 局部平滑 + 全局精确"双解"：同一次优化既给世界系 W 的全局精确位姿(供寻路)，又给里程计系 O 的无跳变平滑里程计(供控制/局部建图)——靠机体系速度积分把 GNSS 回归造成的突跳挡在 O 之外。
  • 在线(IMU 速率)+ 离线批优化两套；离线产全 IMU 频率伪真值(PGT)，可当学习式估计器的训练目标。
  • 通用性来自结构不靠模型：新测量只需实现几个接口函数(O5)，同一套代码跑四足/越野车/挖掘机。

🧬 与其他工作的关系

  • 承接谁：是作者前作 Graph MSF / GMSF(ICRA 2022，[14])的彻底泛化——GMSF 用"双因子图"在有/无 GNSS 间切换、为施工机器人定制；HF 去掉所有定制，用单图通吃。
  • 区别/推进：相比 MSF(假设同一坐标系)/TSIF(纯残差滤波难迁移)/WOLF(能否处理多绝对测量存疑)/SuperOdometry(单全局系、LO 只当二元因子)，HF 独有"参考系漂移建模 + 重力对齐 + 离线估计"的组合(见详读 Table I)。
  • 同源工作：连续时间状态估计综述([73] arXiv 2411.03951)、Boxi 传感器盒(arXiv 2504.18500, RSS2025)、退化感知 LiDAR 配准(X-ICP)同出 Nubert/RSL。

关键数字（每条带来源 [n]）

  • [1] ANYmal 登山全局精度：HF-World(GNSS 过滤) ATE 0.31m / ARE 1.22°，优于 GNSS+IMU 0.78m、把 LO 当 between 因子的 0.82m、纯 LO 1.35m、TSIF 25.80m。
  • [2] 局部平滑：HF-Odom 跳变数 NOJ=0、jerk 3,470(最平滑)；对比 TSIF NOJ 45/jerk 48,400、GNSS+IMU-World NOJ 4,487/jerk 154,919。
  • [3] 算力：延迟低 µs 级(10Hz 22µs→100Hz 30µs)，单次优化 1.29ms@10Hz→8.96ms@100Hz；40Hz 与 100Hz 精度近乎无差。状态全程 IMU 速率(400Hz)传播。
  • [4] 室内动捕真值：IMU+LO+紧融腿运动学 HF-World ATE 2.8cm / ARE 2.58°(优于松融 TSIF 速度 4.0cm、无 LO 时 10.1cm)。
  • [5] 平台规模：森林登山 23.6min=167,020 变量/离线 56.7s；RACER 越野 4.1km、9.66m/s、5 模态(IMU+GNSS+LiDAR+RADAR+轮速)；HEAP 挖掘机 GNSS 拒止+几何退化走廊、三参考系并存。
  • [6] Parkour(高动态 2.07m/s、59.43m/s²)：加 LO 后离线 ATE 4.9m / RTE 3.9%（纯腿+惯性会漂到 33–43m）。

🔎 证据与可信度（源头决定权重，见 _卡片规范）

  • 论文：arXiv 2504.06479（v1, 2025-04-08，IEEE T-RO under review）
  • 代码：✅ 开源 github.com/leggedrobotics/holistic_fusion（C++/GTSAM，ROS/ROS2，文档齐全）
  • 数据：部分样例数据随仓库/项目文档；非数据集型工作
  • 第三方评阅/复现：无公开第三方复现；T-RO 审稿不公开
  • 证据等级：B → 权重：中（开源 + 知名团队，但仅预印本、无独立复现/标准基准横评）

🧪 复现条件与成本（暂不亲做，只估）

  • 硬件：自家机器人平台(四足/越野/挖掘机)+ 传感器套件；算法本身笔记本/PC CPU 即可(实测 i9-13900K)。
  • 数据：可用作者放出的多平台示例数据先跑通；上自己平台需自采 + 标定外参。
  • 算力：无需 GPU 训练；在线优化在 CPU 上低 µs 延迟、ms 级单步优化。
  • 时间估计：跑通示例数天内；迁移到新平台主要成本在传感器标定 + 调参 + 初始化处理(单天线 yaw 可观测性是坑)。
  • 侧证判价值：代码✅开源、文档✅齐全；但数据非完整开放、第三方复现无、标准基准横评缺、样本=自家平台。

💡 我的批注 / 判断

  • 这是目前最能"实锤" Flexion 感知层底子的公开论文：作者本人就是 Flexion 感知负责人，致谢里出现 CEO/CTO，自主登山用 VLM 规划器(论文审稿中未发表)呼应 Reflect 顶层。读这篇 ≈ 把 追踪-Flexion-Reflect 里"营销口径的感知/状态估计"换成"可核实的工程范式"。（🧑+🤖，建议引用时点明此关联）
  • 真正值钱的是"参考系当变量 + 随机游走建漂移"这一招的通用性，不是某个精度数字。凡"多个会漂的坐标系要融"的场景都能借。
  • ⚠️ 性能数字按 B 档：自家平台、自家基线(TSIF/GMSF/Open3D-SLAM)、伪真值多为自家离线 HF 生成，缺 KITTI/Hilti 类公开基准上与 MINS/gnssFGO 的同台对比——引用时注明"作者自评"。(🤖，待复核)
  • 与触觉×VLA 主线无直接交集，归档在"感知/状态估计底座"；它的价值在情报面(Flexion 追踪)> 在我们触觉主线的方法面。

来源编号

  • [1] arXiv 2504.06479, Table V（ANYmal 登山全局精度）📄
  • [2] 同上, Table VI（局部平滑 NOJ/jerk）📄
  • [3] 同上, Table VII（算力-精度权衡）📄
  • [4] 同上, Table IX（室内动捕 5 段平均）📄
  • [5] 同上, Sec. VI-A/D/E + Table IV（平台与规模）📄
  • [6] 同上, Table VIII（Parkour）📄
  • 关联：追踪-Flexion-Reflect（Nubert=Flexion 感知负责人、Hutter=顾问、Parkour 致谢 Rudin/Hoeller）🧑+🤖