Press "Enter" to skip to content

ECCV 2020 | GRNet: 用于稠密点云补全的网格化残差网络

 

作者:哈尔滨⼯业⼤学在读博⼠ 谢浩哲

 

Paper: https://arxiv.org/pdf/2006.03761

 

Project Page:

 

https://haozhexie.com/project/grnet

 

GitHub: https://github.com/hzxie/GRNet

 

引  言

 

由于传感器本身的分辨率限制或物体的遮挡,现实场景中采集的点云往往不完整,而完整的点云对于点云理解有很大帮助。因此, 点云补全 在现实应用中有着非常重要的意义。

 

早期的工作(如3D-EPN [1])将该问题转换为体素的补全问题,然而转换为体素时会引入量化误差,从而丢失物体的细节。近几年的方法(如PCN [2] 、TopNet  [3] 和Cascade Point Completion  [4] 等)直接使用多层感知机回归点云的坐标值。但由于点云的无序性,多层感知机无法很好地获得点云的几何结构和相邻点的上下文信息。

 

反观近几年点云分割的方法(如SPLATNet  [5] 和InterpConv  [6] ),它们在Permutohedral Lattice和3D Grid中进行卷积操作,从而考虑点云的空间结构和上下文信息。然而 这两个方法假定点云中点的坐标和数量在输入输出时保持不变,因此无法直接用于点云补全 。

 

为了解决上述问题,本文提出了 Gridding Residual Network(GRNet) 将无序的点云规则化至3D Grid ,从而在点云补全中考虑了点云的空间结构和上下文信息,最终在点云补全任务中取得了更好的效果。

 

一、工作亮点

 

点云补全 在计算机视觉和机器人领域都有着重要的应⽤前景。现有的工作(如PCN、TopNet和Cascade Point Completion等)直接将多层感知机(Multi-layer Perceptrons,MLP)应用于点云,然而 多层感知机无法很好地获得点云的几何结构和上下文信息 。

 

为了解决这个问题,本文提出了 Gridding Residual Network(GRNet) 将无序的点云规则化至3D Grid,并提出了Gridding, Gridding Reverse和Cubic Feature Sampling更好地感知点云的几何结构和上下文信息。

 

此外,相比于Chamfer Distance,基于Gridding的Gridding Loss可以帮助网络更好地恢复点云的细节。 本文所提出的GRNet在ShapeNet、Completion3D和KITTI上的实验结果超越了state-ofthe-art方法

 

二、解决方案

 

本文所提出的GRNet包含了 5 个元素: Gridding , 3D CNN , Gridding Reverse , Cubic Feature Sampling 和 MLP ,如图1(a)所示。

 

 

图1. GRNet的概览

 

 

图2. GRNet的网络结构

 

2.1 Gridding

 

2D和3D卷积已经被广泛用于规则的数据中(如像素和体素),但它们在处理点云这类不规则且无序的数据时依然充满挑战。 相比多层感知机(可看作卷积核大小为1的1D卷积),卷积层往往具有大于1的卷积核,因此可以更好地获得数据中的上下文。

 

GRNet使用了 3D Grid规则化无序的点云 ,并提出了 Gridding层 将无序的点云 转换至3D Grid 的同时保留点云的空间结构,其中 的顶点集 和值集 可分别表示为:

 

其中,,表示点云中点的个数,表示3D Grid的分辨率。如图1(b)所示,3D Grid中包含了若干个Cell,每个Cell包含8个顶点。对于Cell中的每一个顶点,若点云中的点的坐标满足:

 

则落在顶点的邻域中,即。

 

如图1(b)所示,给定顶点和,该顶点对应的权值可定义为:

 

其中:

 

特别地,对于,。

 

2.2 3D CNN

 

在Gridding将无序且不规则的点云数据转换为规则的3D Grid之后,可以对3D Grid的值集应用3D卷积神经网络,从而填补缺失值达到补全的目的。 3D CNN的设计主要延用了U-Net的思想 ,网络结构如图2所示。

 

给定3D Grid的值集,3D CNN 的过程被形式化地描述为

 

其中,。

 

2.3 Gridding Reverse

 

Gridding Reverse为Gridding的逆操作:将3D Grid转换回点云。给定3D CNN 生成的3D Grid

 

,Gridding Reverse将其作为输入生成一个粗糙的点云 。如图1(c)所示,对于 中的每个Cell,Gridding Reverse将为这个Cell生成一个点 ,其坐标可由这个Cell的8个顶点的坐标和权值加权得到:

 

其中表示这个Cell顶点的下标索引的集合。

 

和分别表示这个Cell的顶点集和值集。

 

特别地,如果,那幺Gridding Reverse不再为这个Cell生成点。

 

2.4 Cubic Feature Sampling

 

早期基于多层感知机的方法(如PCN [2])可视为使用了多个Kernel Size = 1的1D的卷积层。又因为点云的无序性,无法直接使用Kernel Size > 1的卷积核。因此这些方法无法获得点云的上下文信息。

 

为了解决这个问题,本文提出了 Cubic Feature Sampling ,它可以 从3D的特征图中抽取点云中点的特征并保留上下文信息 。如图1(d)所示,给定3D CNN某个特征图的特征集合和粗糙点云中的某个点,所对应的特征可表示为:

 

其中,表示连接(Concatenation)操作,表示所在的Cell的8个顶点的特征集合。

 

为了减少特征冗余,GRNet从粗糙点云中随机采样(Random Sampling)2048个点,Cubic Feature Sampling从3D CNN的前3个转置卷积层的特征图中抽取特征并生成这2048个点的特征。

 

2.5 MLP

 

MLP被用于从粗糙点云中恢复细节。对于采样后的粗糙点云中的点,它为每一个点估计出个偏移量,从而生成最终的点云。具体来说,给定粗糙点云和其对应的特征,MLP将生成最终的点云。

 

其中Tile将重复次生成一个新的大小为的张量。在GRNet中,,即最终的点云中将包含16384个点。

 

2.6 Gridding Loss

 

现有的点云重建/补全的方法主要使用倒角距离(Chamfer Distance)作为损失函数训练网络。倒角距离的优化目标是最小化两个点集的最小距离之和:

 

其中和为两个点集。相比于应用于像素的L1/L2 Loss和应用于体素的Binary Cross Entropy Loss,倒角距离无法完成点对点的监督;另一方面,由于点云的无序性,导致无法像体素和像素一样找到点到点的对应关系。这些问题最终容易导致预测结果中细节的丢失。

 

但现在 有了Gridding,无序的点云就可以被规则化到一个规则的结构上,从而可以非常容易地找到点对点的对应关系并实现点对点的监督 。令和分别表示预测输出和Ground Truth在Gridding之后生成的值集,则Gridding Loss可以定义为和的L1距离:

 

其中表示3D Grid的分辨率。

 

三、实验结果

 

3.1 ShapeNet

 

对于ShapeNet,本文使用了PCN [2]所生成的数据集,并使用了Chamfer Distance和F-Score@1%度量GRNet的结果,如表1-2和图3所示。

 

 

表1. ShapeNet测试集上的点云补全定量结果,使用L2范式的Chamfer Distance作为度量指标。

 

表2. ShapeNet测试集上的点云补全定量结果,使用FScore@1%作为度量指标。

 

 

图3. ShapeNet测试集上的点云补全定性结果。GT表示Ground Truth。

 

3.2 Completion 3D

 

除了ShapeNet,本文还在Completion 3D Benchmark上提交了结果,如表3所示。 截止撰稿时,GRNet在Benchmark位居第一 。

 

表3. Completion 3D测试集上的点云补全定量结果,使用L2范式的Chamfer Distance作为度量指标。

 

3.3 KITTI

 

图4展示了GRNet和其他对比方法在KITTI数据集上的结果。输入点云来自于雷达扫描的数据,并使用3D Detection的Bounding Box对其进行裁剪和标准化,使其具有相同的位姿和尺度。

 

 

图4. KITTI测试集上的点云补全结果

 

希望进一步了解该工作的朋友点击下方视频,查看作者详解~

 

 

//

 

 

作者介 绍

 

谢浩哲 | 哈尔滨工业大学 计算机科学与技术学院在读博士

 

谢浩哲,目前在哈尔滨工业大学计算机科学与技术学院攻读博士学位。 他的研究方向主要包含3D重建和计算机视觉。 目前在CVPR/ICCV/ECCV/IJCV等计算机视觉顶级会议和期刊上发表多篇论文。

 

个人主页: https://haozhexie.com/about

 

最后,别忘了

 

#本期互动话题#

 

你觉得点云补全的实际应用有哪些?

 

目前的工作距离应用还有多远?

 

我们将从中选出  3  位送出大红包一个~

 

更有机会与论文一作深入交流切磋哦!

 

参考文献

 

 

[1] Dai et al. Shape Completion using 3D-Encoder-Predictor CNNs and Shape Synthesis. CVPR 2017.

 

[2] Yuan et al. PCN: Point Completion Network. 3DV 2018.

 

[3] Tchapmi et al. TopNet: Structural Point Cloud Decoder. CVPR 2019.

 

[4] Wang et al. Cascaded Refinement Network for Point Cloud Completion. CVPR 2020.

 

[5] Su et al. SPLATNet: Sparse Lattice Networks for Point Cloud Processing. CVPR 2018.

 

[6] Mao et al. Interpolated Convolutional Networks for 3D Point Cloud Understanding. ICCV 2019.

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注