提供成熟的具身智能解决方案,是获取数据的敲门砖。没有具身智能的数据,能力便难以提升,但具身智能要进入实际场景,又需要有成熟的解决方案。这仿佛是“鸡生蛋、蛋生鸡”的困境。

今年世界人工智能大会期间,多位具身智能领域的业内人士探讨世界模型与物理AI。在提到数据缺乏问题时,中国科学院院士、南京大学副校长周志华认为,先以少量数据构建一个较为可靠的世界模型,通过交互形成决策。当这些决策应用于真实世界时,就能将试错成本大幅压缩。在此基础上持续迭代和优化世界模型。

上海交通大学工程力学系长聘教轨副教授、千觉机器人创始人马道林表示,数据获取的悖论,也是赢得客户信任的关键。松应科技创始人兼首席执行官聂凯旋则希望打造一套国产物理AI操作系统,为AI“上物理课”,教会AI物理世界的规律和规则。

“鸡生蛋、蛋生鸡”的数据困境

中国科学院院士、南京大学副校长周志华表示,当前具身智能面临的重大挑战是开放环境,开放环境需要应对形形色色的场景,但诸多场景甚至缺乏训练数据。数据驱动的强化学习范式要与环境进行大量交互与试错。但在现实任务中,这种模式的试错代价高昂。智能工厂中的设备精密复杂,每一次意外损坏都将带来巨大成本,无法容忍机器人频繁试错。


中国科学院院士、南京大学副校长周志华。

能否仅靠少量交互,以极低的成本训练出性能优良的决策模型?周志华提出了一种思路,即对环境建模,构建“世界模型”,通过和世界模型的交互来替代与现实世界的交互。优秀的环境建模能力会带来优秀的环境适应能力和优秀的具身智能系统。

但这又带来了“鸡生蛋、蛋生鸡”的数据问题。构建世界模型需要大量数据,然而现实中恰恰无法获取如此充足的数据,也难以保证由此开发出的世界模型能够替代真实世界的交互。

松应科技创始人兼首席执行官聂凯旋同样看到了这样的数据困境。当前人形机器人并未找到刚需工业场景,缺乏训练数据。聂凯旋表示,场景方出于生产节拍与安全考量,尚不成熟的方案难以进入工厂采集数据,场景方的数据也无法直接提供给机器人公司。更现实的问题是,机器人企业采集的多为遥操作本体数据,但工厂遵循严格的生产节拍与上下游协同频率,这类数据与工厂实际需求并不匹配,即便采集也难以训练出能够落地工厂的机器人。

除此之外,聂凯旋告诉澎湃科技,真实的物理任务不仅包含空间位置,还包括物体形变、作用力、空气密度、温度、电磁场、热力学变化等因素,远超三维空间本身。在工厂作业的机器人需要感知的远不止空间维度,依靠视觉无法判断物体重量和温度,而人类在搬运瞬间就能迅速实现大脑与身体协同,完成重量感知、判断搬运策略等一连串复杂实时工程。因此,机器人仅仅像人一样“看到”这个世界,远不足以胜任实际工作。

上海交通大学工程力学系长聘教轨副教授马道林2024年创办了千觉机器人,聚焦智能机器人与真实物理世界的感知和自主交互。今年世界人工智能大会期间,千觉机器人展出了VTLA(视觉-触觉-语言-动作)具身触觉模型、视触觉多模态数据集、核心数采设备与触觉传感器硬件矩阵。VTLA算法模型和触觉传感器采集纹理、硬度、弹性等多维触觉特征,结合模型的多模态融合能力,可应用于消费品真伪鉴定。


机器人装配耳机。

“推一下物体,它会滑移多远、多久停下,或者会不会翻倒,仅靠语言和视觉的多模态是不够的,这些模型无法辨识出来。”马道林告诉澎湃科技,物理AI就是将数字空间的AI与机器人有效结合,让机器人为人类干活,机器人叠加AI所形成的整体能力即物理AI。其核心在于让机器人在物理空间里主动发起接触和碰撞,利用接触和碰撞来改变周围事物的关系。“如果不改变事物关系,那就像自动驾驶,只是规避一切碰撞。但机器人是给我们干活的,它必须把东西拿起来,塞到该去的地方。”

马道林也表示,为机器人和具身模型提供数据,是当前各方正在着力解决的事,但数据缺口过大,绝非半年一年就能完成。

物理智能的数据破题思路

为了打破“鸡生蛋、蛋生鸡”的数据困局,周志华提出,先以少量数据构建一个较为可靠的世界模型,通过它的交互形成决策。当这些决策应用于真实世界时,就能将试错成本大幅压缩。在此基础上,借助交互积累的新数据持续迭代和优化世界模型。

机器人产线多样,不同机器人是否都需要建立专门的世界模型?周志华提出“学件”概念,团队正在探索世界模型的学件基座系统。所谓“学件”,即由模型与AI自动生成的“规约”共同构成,允许多个异构模型在不公开数据的前提下进行复用与组装。

周志华表示,学件系统只收集模型,不收集数据。当用户提出需求时,无需从头训练,也无需用文字详细描述任务,更不必提交自身数据,即可通过组装多个模型解决问题。“我们把模型汇集起来,这是一个可成长、可演化的异构大模型,它会长大,由于有规约,它可以重组,甚至还可以瘦身。未来可能只需要做出少数几个世界模型,再装配,就能解决问题。”

英伟达的Omniverse在物理AI生态系统中,被用于构建仿真应用、生成合成数据,并支持数字孪生和机器人开发工作流。对标英伟达Omniverse,聂凯旋正在打造一套国产物理AI操作系统,为AI“上物理课”,教会AI物理世界的规律和规则。


物理AI着眼于系统级的大规模调度。

聂凯旋表示,物理AI着眼于系统级的大规模调度。物理世界中,无人机、机器狗、机器人、履带式车辆等具备智能化能力的装备都可以纳入物理AI的范畴,物理AI模型可以统一驱动这些设备协同作业。物理AI模型的构建需要在明确定义应用场景的基础上设计全新架构。在物理AI这个多物理场的数字训练场里,工厂输入数据,机器人企业使用统一标准的数据,基于奖励函数在仿真环境中依据正确的反馈机制完成训练,国产GPU支撑算力需求。系统部署在场景方,将场景方的现存数据打通,并由场景方托管。在标准与验证侧,松应科技与国家机器人检测与评定中心(总部)围绕仿真数据集CR认证、仿真测试训练联合平台和数据质量评价体系开展合作。

今年世界人工智能大会期间,松应科技推出多形态机器人协同训练的物理AI操作系统,该系统可让人形机器人、四足机器人、无人机等异构智能体在同一数字工厂场景中协同训练与执行任务,探索复杂工业环境下统一调度、任务分工与群体协作的落地路径。物理AI操作系统连接数字场景、训练数据、算法模型、算力资源和真实机器,让AI能力在数字世界中被开发和验证,最终目标是作用于物理世界。

“我们过去做过一个实验,把人手的触觉麻痹掉后,干活能力变得极差。比如划火柴,正常人一秒钟就能完成,可触觉一麻醉,几分钟都划不着。可见,触觉在做精细动作时是必需品。”但马道林说,目前绝大多数机器人恰恰欠缺这项能力,而他的团队正在培养机器人的“手感”,让机器人拥有类人甚至超越人的触觉感知:抓住物体时,不靠眼睛也能知道它的形状、重量、表面滑不滑、软硬如何,这些信息全来自直接的物理接触。

马道林表示,打造物理AI的关键,当前看是数据,数据会让模型变得越来越强;长远看是交付解决方案的能力,“能拿到客户不向别人开放的数据,会成为长期的技术护城河。”

清华大学交叉信息研究院助理教授、破壳机器人创始人许华哲表示,数据Scaling始终是最重要的事。无论选择哪种模型路线,数据都是不可动摇的前提。实现数据Scaling的关键,并非写代码本身,而在于对数据分布进行有效度量。在收集数据时,必须将直觉转化为可度量的数字,就像数据分析一样,才能确保数据分布覆盖足够广,否则重复抓取同一物体数万次也没有意义。