盖世汽车讯 人形机器人——即外形与人类相似的机器人系统——能够承担各类日常杂务及手工任务。然而，要顺利完成这些任务，机器人必须能够可靠地协调自身的动作与姿态，并精准掌控与各类物体接触或抓取的方式。
人类在完成任务时的示范，可为人形机器人提供宝贵的参考与引导。不过，收集有助于训练机器人算法的人类示范数据，往往并非易事。
据外媒报道，来自上海人工智能实验室、浙江大学和上海交通大学的研究人员近期构建了一个数据集，其中包含了通过一套新型可穿戴系统所记录的、总时长达 100 小时的人类活动数据。该数据集的构建方法在一篇 arXiv 预印本论文中有所介绍；它整合了多种数据源，包括佩戴者视角下的视频、重建的身体动作、记录的手指动作、触觉数据，以及对各项任务步骤的详细描述。
图片来源：arXiv
Yunsong Zhou、Xuekun Jiang及其同事在论文中写道：“通过人类演示来让仿人机器人学习‘移动-操作’（loco-manipulation）能力，关键在于观察在任务执行过程中，移动方式、身体姿态以及与物体的交互是如何协同演变的。若要在大规模、多样化的环境中进行数据采集，就需要轻便、易于携带的捕捉系统。然而，现有的数据集仅能呈现这种协同机制的局部视角。”
在人们执行任务时记录数据
Zhou、Jiang及其同事开发出一种新型可穿戴系统，能够在人们进行各种活动时采集数据。该系统集成了头戴式 GoPro HERO13 摄像机、五个 VIVE Ultimate 追踪器、配有传感器的 MANUS Metagloves 或 Wuji 手套，以及定制的 3D 打印固定支架和绑带。
头戴式摄像机从佩戴者的视角进行视频录制。五个追踪器分别放置在佩戴者的头部、双手手背以及双脚脚踝处，用于追踪各自的位置与朝向。
配有传感器的手套能够记录佩戴者手指的动作，其中 Wuji 手套还能记录触觉数据。此外，系统还配备了固定支架和绑带，用于将这些设备稳固地固定在佩戴者身上。
研究人员利用这套可穿戴系统，记录了100小时的数据，涵盖了使用者在进行各类活动时的表现。这些采集到的数据被整合为一个名为“EgoExplorer”的新数据集。
研究人员在文中写道：“该数据集侧重于专业活动，其连续记录内容将第一视角视频与重建的全身动作、精细的手指动作以及触觉观测信息进行了对齐，并辅以步长级别的详细描述。”
在论文中，Zhou、Jiang及其同事还提出了一种名为“校准-补全-约束”（Calibrate-Complete-Constrain）的动作重建流程。这是一套处理步骤，能够将可穿戴系统所记录的数据转化为对全身动作的估算结果。
“为了通过稀疏的身体感知实现这种覆盖效果，我们开发了一套‘校准-补全-约束’（Calibrate-Complete-Constrain）流程，”Zhou、Jiang及其同事写道，“具体而言，该流程中的‘校准’环节可在动作推断之前，通过可复用的校准步骤确定参与者的身体几何结构及传感器的佩戴位置，从而将安装偏差与肢体关节运动区分开来。”
研究人员开发的这款软件能够估算在传感器未直接追踪的情况下，关节是如何运动的。它利用预先学习到的运动模式来实现这一功能。最后，软件还会进行核验，确保重构出的动作与传感器采集的数据相吻合，在时间序列上保持平滑，并符合佩戴者的身体形态。
从人类演示到机器人仿真
研究团队将他们提出的动作重建方法与此前的一些现有方法进行了对比，结果发现，该方法能有效降低身体位置误差（以配备追踪装置的参考测量数据为基准）。在初步学习实验中，研究发现，同时生成视频、动作和触觉数据，其效果优于分别单独生成这些数据。
此外，研究人员还训练了一个控制器，用于驱动仿真环境下的宇树G1人形机器人，使其能够执行根据所采集的人类演示记录转化而来的动作。仿真机器人成功完成了两组动作序列，且过程中未发生跌倒；不过，该系统尚未展现出精确的物体交互能力，在处理陌生任务时的表现也尚待提升。此外，本研究尚未在实体机器人上进行部署测试。
研究人员写道：“与配备追踪装置的参考数据相比，该方法将身体关节点误差降低了 71.9%（相较于表现最优的基准模型）；评估结果还显示，该方法在手部稳定性和接触估计方面均有所提升。初步研究探索了多模态生成与条件控制，以及在仿真环境中结合全身控制的人形机器人动作重定向。”
未来，EgoExplorer 数据集可用于在仿真环境中训练其他机器人控制器。最终，利用这些记录训练出的控制器，将有助于提升人形机器人在各种现实世界环境中完成任务的能力。