【资料图】
本报记者 张伟
物理AI基模的核心,是从真实经验中学习可迁移的物理规律,形成理解、预测和作用于物理世界的能力。真实世界的数据里藏着丰富的物理信息:互联网视频记录运动与环境演化,Egocentric呈现手物交互,真机轨迹记录动作与状态响应,力触反馈补充接触力、滑移与形变,不同数据共同提供了互补的物理经验。如何衡量、提炼和耦合这些数据中的物理特性,是构建物理AI基模亟待解决的基础问题。
围绕这一问题,近日,智源研究院联合逆矩阵、北京大学、清华大学、北京航空航天大学推出悟界·PhysCapBench——首个覆盖第三人称场景、第一人称操作与手持夹爪示范三大领域,统一评测视频Caption物理信息的基准。
它从视频描述入手,统一度量描述对物理信息的覆盖与保真,为描述策略选择、标注质量评估和训练数据优化提供一把跨领域的“物理数据量尺”。
世界模型缺的物理信息,可能就藏在一段Caption里。在世界模型预训练数据的建设中,研究人员持续观察到:面对第三人称场景、第一人称操作与手持夹爪示范等不同来源的视频,现有Caption往往能概括场景与动作,却未能充分保留运动、接触、状态变化及其时序关系;这一缺口不只存在于原始数据的简短说明里,也可能出现在更长、更流畅的自动生成描述中。语言表达的完整,并不等于物理信息的完整。
软胶玩具是一个典型例子:它被压扁后,会随压力解除逐渐恢复形状,受压、形变、卸载与回弹,共同构成这一过程的关键物理信息。在研究人员的生成对比中,使用物理描述时,结果更好地保留了玩具的立体形态与卸载后的恢复趋势;使用原始描述时,玩具在压力解除后仍呈现明显的扁平状态。Caption对物理过程的表达,直接关系到模型获得怎样的条件与监督。
据介绍,悟界·PhysCapBench把预训练数据实践中的观察与思考,沉淀为跨领域参考描述、统一评价维度与下游验证流程:既评价Caption保留了哪些物理信息,也检验这些信息能否服务于视频生成与机器人策略学习,为多源真实数据转化为有效训练监督提供依据。
世界模型的数据建设,需要关注视频中有哪些物理经验,以及这些经验是否被完整、准确地转化为训练监督。悟界·PhysCapBench将预训练中的数据实践,沉淀为一把跨领域的“物理数据量尺”:通过三大领域的参考数据、七个物理信息评价维度,以及视频生成与操作策略的下游验证,它为描述策略选择、标注质量评估与训练数据优化提供统一依据。
业界人士表示,从评测Caption的物理信息,到验证其下游价值,悟界·PhysCapBench为世界模型基座建设提供可复用的数据与评测基础设施。
