新突破：全身实时操控人形机器人，让它帮你做任何事 |CyberDaily

封面：DALL-E3

CyberDaily：

人机协作的时候

想想哪些是人类该做的

理想状态下，让人形机器人自主决策和执行任务才是真正地解放人类双手，不过现阶段要让人形机器人完全自主执行任务还需要一定时间，首先需要对其强化训练和强化学习，就像Figure的人形机器人，在强化训练10小时后，它才可自主操作咖啡机煮咖啡。

但面对复杂任务下， 可能还是比较困难。因而，科学家们在这个平衡点，将一种实时操控机器人的方式来强化训练人形机器人，以达到人机无缝协作的状态，从而更好执行目标任务。

卡内基梅隆大学的研究团队近日发表了一项创新研究，他们开发出了一个实时人对人形机器人（human to humanoid,简称H2O）的全身遥控系统，这标志着人类与机器之间无缝协作的未来即将到来。值得一提，实验中被操控的人形机器人为宇树科技的H1人形机器人，最近它们同样进化走得更快了（3.3m/s）。

该遥控系统基于强化学习（RL）技术，并利用大规模的人体动作数据集，具备可扩展的重新定位和训练能力。现在，通过仅用一个RGB摄像头，个人就能够与全尺寸的人形机器人进行无缝遥控，执行多种动作。研究人员表示，从简单的拾取放置任务到动态的行走、踢击，甚至拳击等动作，这项技术使用户能够以前所未有的沉浸式和直观方式进行交互。

该团队关于这项研究的详细内容已经发表在ArXiv期刊上。https://human2humanoid.com/resources/H2O_paper.pdf

通过强化学习，操控人形机器人完成任务

由于人形机器人在外形上与人类相似，它们十分适合于实时遥控。研究团队旨在使用RGB摄像头将人类的手势实时转换为人形机器人的行为。此外，这项技术可能使我们能够收集大量高质量的人类操作数据，供机器人使用，其中模仿学习可以应用于人类遥控的任务。

然而，长期以来，人形机器人的全身控制一直是机器人领域的一个挑战，而当试图让人形机器人模仿实时的自由式人体动作时，复杂性更是增加了。

最近在人形机器人控制方面的强化学习（RL）进展提供了一个可行的替代方案。首先，强化学习（RL）已经在图形学界应用，以产生复杂的人体动作，执行多种任务，并在模拟中实时跟随由摄像头记录的人体动作。

然而，由于设计中不切实际的状态空间和对硬件限制（如扭矩/关节限制）的忽视，这些技术是否可以应用于全尺寸的人形机器人尚未确认。尽管如此，RL已在实际环境中实现了稳定和快速的双脚行走，但至今为止尚未进行基于RL的全身人形机器人遥控研究。

人形机器人遥控的进步：未来远程遥控人形机器人来执行家务、危险任务以及需要类人手的灵巧和适应性的复杂任务

该团队的Human to Humanoid (H2O)系统是一个可扩展的基于学习的系统，它只利用一个RGB摄像头，就可以实现人形机器人的实时全身遥控。研究人员称，通过一个新的"模拟到数据"（sim-to-data）过程和强化学习，他们的方法解决了将人体动作转换为人形机器人可以执行的动作的复杂问题。

利用一个全面的全身动作模仿器，类似于持久人形控制器（Perpetual Humanoid Controller, PHC），该团队提出了一种训练和无缝过渡到现实世界部署的方法，其中使用零次学习（zero-shot learning）。

如团队分享的视频中所见，该框架涉及一个Unitree H1人形机器人，它能通过人类操作者和一个简单的网络摄像头界面实现人形机器人的实时遥控。该系统能够轻松地由人类操作者协调执行多样化的任务，包括拾取放置、踢击动作、推婴儿车行走等。

团队宣称，这一突破标志着遥控技术新纪元的来临，它易于操作且功能多样，能够实现人类与人形机器人之间直观且动态的互动。卡内基梅隆大学H2O项目的首席研究员赫泰然（Tairan He）在X社区分享的帖子中表示：“在未来，我们可以远程遥控人形机器人来执行家务、危险任务以及需要类人手的灵巧和适应性的复杂任务。”

团队的最终目标是使人形机器人能够模仿尽可能多的人类展示的动作。此外，一条有趣的未来研究途径可能是开发一种能够在稳固的行走与熟练的下半身跟踪之间转换的遥控人形机器人。