盖世具身智能获悉 近日,智元AGIBOT正式发布WITA-Omni(硅光动语全模态大模型)。这是具身全模态端到端交互大模型,支持音视频、触觉、本体状态等多模态输入,以及机器人动作、表情等输出,并已在量产机器人本体实现部署。

图片来源:智元
在智元创新日现场,搭载WITA-Omni的智元远征A3-Ultra机器人进行了实时互动演示。该模型交互响应最快约400毫秒,平均约600毫秒。系统支持全模态拒识,无需唤醒词即可进行自然对话,并能结合声纹、唇动与视觉定位抑制环境噪声。此外,WITA-Omni支持上百种语言和方言的免切换自由交流与流式同声传译,可呈现数十种不同强度的拟人情绪,并能在面部屏幕实时可视化复杂内容。
在底层技术方面,WITA-Omni基于机器人本体感知数据深度训练,采用流式全双工架构与快慢双模系统。前台负责流式理解与即时回应,后台负责推理、规划与长程任务,两者共享上下文。目前,该模型已登顶DailyOmni、ActivityNet-TimeLens、MMAU和EmbSpatialBench四个具身交互相关的权威榜单。
在应用落地方面,搭载WITA-Omni的智元机器人已在部分文娱导览场景中完成面向公众开放环境下的交互任务,承担知识讲解与乐园导览工作。智元计划持续加码交互智能研发,推动人形机器人在真实作业场景中的部署态加速落地。