互联网视频学机器人综述(Generalist Robot Learning from Internet Video)¶
📌 一句话:系统梳理"如何用大规模互联网视频来训机器人、绕开机器人数据稀缺"——讲怎么从无动作标签的视频里抽知识,以及要克服的两大坎:分布偏移与缺动作标签;主张走可扩展的基础模型路线来增强策略与动力学模型学习。
🧰 对我们(速判)¶
- 适合谁读:被"真机数据太贵太少"卡住、想用人类/网络视频补数据的人;做视频预训练→机器人策略的人。
- 能当地图吗:✅ 能,专门把"视频→机器人"这条数据线的方法谱系画清楚。
- 新旧:2024-04 首发、修订到 v4;数据视角的综述,框架稳,具体方法需配近一年工作。
关键(摘要级)¶
- 📄 分类法:按"从视频里学什么/怎么补动作"组织——表征/可供性、动力学(世界模型)、策略学习等路径,横切两难题(distribution shift、missing action labels)。
- 📄 主要结论:互联网视频是破解数据稀缺的关键来源;需要可扩展的视频基础模型来支撑通用机器人策略与动力学学习。
- 关联本库:大规模数据/标注见 概念-机器人数据与标注;通用策略代表见 卡片-GR00T-N1。