盖世具身智能获悉 穹彻智能于近日发布了具身世界模型 Noe-0 的技术预览,并介绍了团队在具身世界动作模型训练、全链路无本体数据和 AI 基础设施方面的阶段性进展。

Noe-0 以世界模型架构为基础,构建具身世界动作模型,将对真实环境变化的建模与机器人动作生成放在同一个学习过程中。在具体推理过程中,Noe-0 接收图像与任务语义,在同一共享表示中同时进行隐式世界想象与动作规划,并输出机器人动作。

image.png

图片来源: 穹彻智能

在这一过程中,隐式世界想象为动作规划提供物体状态和上下文,动作信号也反过来约束模型关注与任务进程真正相关的变化。每次动作执行后,新的观察进入下一轮联合推理,形成“观察—联合推理—执行—再观察”的连续闭环。

据悉,从模型预训练到任务后训练,Noe-0 均使用由穹彻智能自研数据采集设备 RoboPocket 采集的无本体数据,使两个训练阶段建立在连续一致的动作分布之上,形成贯穿模型训练全过程的无本体数据链路。

RoboPocket 是一套便携式、可穿戴的数据采集设备,可以记录操作过程中的图像信息与人的操作轨迹。目前,基于 RoboPocket,穹彻智能正在全国范围内开展了大规模的分布式数据采集

穹彻智能的数据采集网络已覆盖全国超过50个城市,累计采集超过10 万小时的真实世界数据。在真实环境中,采集人员可以根据现场的空间、物体与任务开展采集,持续引入不同材质、形态、使用状态和操作方式的长尾样本。

在预训练阶段,这些来自真实环境的无本体数据构成了 Noe-0 的训练基础。而进入任务后训练阶段,Noe-0 仍然使用由 RoboPocket 采集的无本体数据。由此,Noe-0 从真实世界数据采集、模型预训练到任务后训练形成了全链路无本体数据。