Meta AI｜HomeRobot: 开放词汇移动操纵

HomeRobot: Open-Vocabulary Mobile Manipulation

Sriram Yenamandra, Arun Ramachandran, Karmesh Yadav, Austin Wang, Mukul Khanna, Theophile Gervet, Tsung-Yen Yang, Vidhi Jain, Alexander William Clegg, John Turner, Zsolt Kira, Manolis Savva, Angel Chang, Devendra Singh Chaplot, Dhruv Batra, Roozbeh Mottaghi, Yonatan Bisk, Chris Paxton
[Georgia Tech & Meta AI]

HomeRobot: 开放词汇移动操纵

• 动机：在家庭环境中，移动操作机器人需要能够理解和操作各种物体，与环境互动，并能够智能地探索有限感知的世界。这个问题被称为开放词汇移动操作(OVMM)：一个有用的机器人应该能够在任意家庭环境中找到并移动任意物体。然而，现有的研究并没有在大型、连续、真实世界环境中处理移动操作问题，而是大大简化了设置，例如使用离散动作空间、有限的物体集合或容易探索的小型、单房间环境。
• 方法：为了推动该领域的研究，本文介绍了HomeRobot OVMM基准测试，其中一个智能体需要在家庭环境中导航，抓取新的物体并将它们放在目标容器上。HomeRobot有两个组成部分：一个模拟组件，在新的、高质量的多房间家庭环境中使用大量和多样的精选物体集；和一个真实世界组件，为低成本的Hello Robot Stretch提供软件栈，以鼓励实验室之间复制真实世界的实验。
• 优势：HomeRobot提供了一个模拟环境，允许进行多样化、长期任务的实验；其真实世界的HomeRobot栈允许进行真实数据的实验，并设计了一套真实世界的测试来评估当前基线在不同条件下的性能。

一句话总结： 提出名为HomeRobot的开放词汇移动操作(OVMM)基准测试，能在模拟和真实世界环境中进行移动操作任务，以推动机器人在真实家庭环境中的应用研究。

https://arxiv.org/abs/2306.11565