Press "Enter" to skip to content

ICLR 2022 | 操作3D铰接物体的视觉操作轨迹学习

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

项目主页: https://hyperplane-lab.github.io/vat-mart/

 

01  研究背景

 

未来的家庭助理机器人,需要具备感知和操作人类环境中大规模多样性 3D 物体的能力。在 3D 物体中,3D 铰接物体包含具有重要的功能和语义信息的铰接部件(例如,橱柜的门和抽屉),人类和家庭助理机器人经常与它们进行交互,因此值得我们的关注。然而,与只有6个自由度(DoF)的普通刚性物体相比,铰接物体具有更高的自由度,更难以被机器人理解和交互。

 

先前的工作,大多数使用估计 3D 铰接物体的关节、部件姿态、动力学模型等的方法来理解和操作 3D 铰接物体。在这篇论文里,我们通过预测目标物体铰接部件上每个点的可操作性分数,以及提出每个点上完成目标任务的多样性轨迹,提出了一种新型的可操作性视觉表示(图1)。这样的视觉可操作性表示,可以泛化到不同形状的物体上,且和操作物体的机器人型号无关。为了获得这种视觉可操作性先验表示,我们设计了一个通过交互进行感知学习的框架 VAT-Mart。

 

图1. 输入一个3D铰接物体,我们的方法输出了每个点的可操作性分数,以及多样的操作轨迹

 

02  方   法

 

我们提出的 VAT-Mart 框架(图2),由两个模块构成:基于强化学习的交互式操作轨迹探索模块,以及视觉可操作性感知模块。轨迹探索模块为感知模块提出可操作性和多样的操作轨迹数据,感知模块从轨迹探索模块的数据中整合可操作性和操作轨迹信息,并且利用好奇心机制,为轨迹探索模块的轨迹多样性提供指导。

 

具体而言,交互式操作轨迹探索模块,使用基于目标物体状态的强化学习方法,生成不同物体、不同铰接部件上可以完成不同任务的轨迹以及交互点的可操作性。为了收集多样性的轨迹,操作轨迹探索模块使用的强化学习方法的奖励由两部分构成:轨迹是否可以完成任务的外部奖励,以及感知模块提供的、当前轨迹是否新颖多样的内部奖励。感知模块由可操作性预测模块、轨迹提出模块、轨迹打分模块这三个子模块构成,它们分别预测每个点的可操作性、提出多样化的可以完成指定任务的轨迹、预测轨迹是否可以完成指定任务。轨迹打分模块的输出,同时会被作为内部奖励,激励轨迹探索模块以探索多样性的轨迹。

 

图2. 框架结构

 

03  实   验

 

我们使用 SAPIEN  模拟器,在大规模 PartNet-Mobility  数据集上进行实验。我们选取了 2 类常见的关节类型:门(旋转)和抽屉(平移),选取开关门或抽屉作为 4 类任务,选取了 7 类物体,对于每个任务,我们把物体分为训练类别(train-cat)和在训练中没有出现的新类别(test-cat)。对于每个任务,我们的框架预测出物体上每个点的可操作性分数,以及提出多样的操作轨迹(图 3 )。

 

图3. 在不同任务和不同物体上,每个点的可操作性分数,以及多样的操作轨迹

 

进一步地,我们在真实世界扫描的 3D 物体(Google Scan, RBO, Our Scan)上进行了实验(图4的左半部分),并且使用 franka panda 机械臂进行了真机实验(图4的右半部分)。

 

在大规模数据集和真实世界数据、真机上,我们的方法展现能够高效地预测可操作性和提出动作轨迹,并且在新环境、新类别物体上展现出了不错的泛化能力。

 

图4. 在真实世界数据上(左),以及真机实验(右)的效果

 

04  总   结

 

在这篇论文中,为了感知和操作 3D 铰接物体,我们提出了一个新颖的可泛化的视觉可操作性表示,并且设计了 VAT-Mart 框架,预测目标物体铰接部件上每个点的可操作性,以及提出可以完成目标任务的多样性操作轨迹。在大规模 PartNet-Mobility 数据集和真实世界数据、真实机械臂上的实验,证明了我们提出的框架的高效性。

 

图文 | 吴睿海

 

PKU Hyperplane Lab

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注