解密炒虾机器人远程控制技术：动捕手套/隔空取物/VR远程，都能训练机器人

---

  新智元报道  

火爆全网的ALOHA炒虾机器人，突然解决了这届网友们们的养老焦虑。

然后，虽然网友后边发现，机器人熟练的家务劳动不是完全自主的能力。主要还是要靠人工操作。

如果没有人工干预，机器人能干的家务依然还是挺有限的，还动不动翻车。

现阶段，要真正让机器人能够做出人类级别的流畅操作，还是需要人类在背后操作。

最近，英伟达高级科学家Jim fan分享了现阶段让人类操作机器人的3种主要技术。

在它看来，伴随着人类操作「操纵杆++」来执行任务和收集数据，或者在存在任何安全问题时进行干预介入。

机器人在完成了学习曲线的爬升之后，就能像人练习游戏技巧一样，最终在物理世界中很好的模拟人的行为。

如果机器人手和人类一样也是有5个手指，动作就可以「无缝完成」。

例如，演示者可以佩戴CyberGlove并操纵机器人。

CyberGlove将实时捕捉运动信号和触觉反馈，然后将其重新定位到人形机器人上。

相关的数据同样也可以用来训练像ALOHA这样的机器人系统。

英伟达的研究人员在2019年就提出过一个名为DexPilot的低成本、基于视觉的远程操作系统。

计算机只需观察人的裸手即可完全控制整个23DoA的机器人系统。

DexPilot使操作员能够执行各种复杂的操作任务，允许收集高维、多模态、状态动作数据。

这些数据可以在未来用于学习具有挑战性的操作任务的感觉运动策略。系统性能是通过两名人类演示者执行各种任务的速度和可靠性指标来衡量。

这种隔空取物的方式来控制机器人看着是真的非常科幻。

视觉感知模块不断观察和测量裸露的人手运动（姿势和手指配置）。

然后，人手的动作被传递到机器人系统，使得复制的动作成为了可能。

这种方法使人类操作者能够卷曲和排列手指、形成抓握、重新定向和平移手掌，而机器人系统也以类似的方式跟随。

整个系统主要由：

-通过黎曼运动策略 (RMP) 和扭矩级阻抗控制器进行运动生成和控制。

完整的系统架构如图所示，整个系统产生大约一秒的延迟。

DexPilot通过将观察到的人手和手指运动转化为机器人手臂和手指运动，使高度驱动的手臂系统能够找到适合各种操纵任务的电机解决方案。

重要的是，从钱包中提取钱和打开塑料容器内的纸板箱等多项任务非常复杂，以至于手工设计机器人解决方案或直接应用学习方法可能没法完成。

在系统本身上创建这些解决方案可以读取、访问和存储机器人指尖的 92 个触觉信号、通过手和手臂命令和测量的 23 个关节位置和速度信号、整个系统的 23 个扭矩命令，以及与系统相关的任何摄像机源。

这种丰富的数据源对于学习方法的应用至关重要，这些方法有望学会解决复杂、多阶段、长期的任务。

而且，目前的DexPilot系统未来也将进行多方面的改进。例如，随着深度学习架构的进步、RGB 数据的纳入、更大的数据集以及成像硬件的变化，可以提高人手跟踪的准确性。

理想情况下，人手跟踪精度应该得到足够的提高，以大大减少运动重定位方法中的投影距离，增强手指对小物体的精细控制和操纵以及多指精确抓握。

抓取和操纵控制算法可以在手上实现，自动进行力调节控制，以减轻用户的控制负担，并最大限度地减少因施加不正确的抓力而导致的意外零件掉落。

最后，可以实施意图识别方案，使机器人能够预测人类意图并部署自动化解决方案，例如，系统识别出人类抓握物体的意图，系统自动获取抓握力。

项目地址：https://svl.stanford.edu/igibson/

iGibson 是一个基于Bullet的模拟环境，提供快速视觉渲染和物理模拟。