Press "Enter" to skip to content

【图像分割模型】BRNN下的RGB-D分割—LSTM-CF

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

深度信息的引入往往会给分割带来更好的结果。之前提到的ENet除了直接变成ReSeg分割网络,同样也可以结合RGB-D信息实现更准确的分割。

 

作者 | 孙叔桥

 

编辑 | 言有三

 

本期论文

 

: Unifying Context Modeling and Fusion with LSTMs for RGB-D Scene Labeling 》

 

1 RGB-D分割

 

前面我们已经讨论过许多基于RGB信息的分割网络了,今天就来谈谈RGB-D分割。RGB-D分割中的D指的是“Depth”,即“”,也就是相机到物体在实际空间中的距离。

 

那幺既然RGB信息已经能够实现分割,为什幺要用到深度信息呢?原因很简单:引入深度信息后,其提供的额外结构信息能够有效辅助复杂和困难场景下的分割。比如,与室外场景相比,由于语义类别繁杂、遮挡严重、目标外观差异较大等原因,室内场景的分割任务要更难实现。 此时,在结合深度信息的情况下,能够有效降低分割的难度。

 

虽然道理容易,但是如何实现RGB-D分割还是有些问题需要解决的:

 

如何有效地表述和融合共存的深度和光度(RGB)数据

 

如何在特征学习过程中有效获取全局场景上下文

 

下面我们就通过LSTM-CF网络结构来了解一下,如何实现RGB-D下的分割。

 

2 LSTM-CF

 

上一篇文章我们已经介绍过了ReNet,这里简单回顾一下。ReNet是通过在两个正交方向上级联应用RNN来获取图像中的2D依赖项。ReNet的具体实现方式如下图所示:

 

 

基于ReNet,LSTM-CF利用长短时间记忆和DeepLab实现分割。LSTM-DF 主要包括四个部分:用于竖直深度上下文提取的层,用于竖直光度上下文提取的层,用于整合光度和深度上下文成2D全局上下文的记忆融合层,和像素级场景分割层。

 

下图是LSTM-CF网络模型:

 

 

输入深度信息后,LSTM-CF利用HHA描述,将深度信息转换成视差、表面法线和高这三个通道的信息。随后,利用ReNet提取不同方向上的上下文信息,并在两个方向进行双向传播。

 

与此同时,对于RGB通道信息,网络利用如上图所示的卷积结构提取特征,利用插值将各级特征恢复到相同分辨率下,并级联。之后,同样利用ReNet获取上下文信息。

 

细心的读者可能注意到了,RGB通道比深度通道多出了两层。这是因为,考虑到光度图像比离散、稀疏的深度图像包含的信息多,网络对光度图像分支给予更多的关注。

 

概括起来,LSTM-CF的分割流程可以总结为下图的形式:

 

 

3 实验结果

 

为了验证深度信息和长短信息记忆等模块对于分割任务的影响,LSTM-CF对网络结构进行了剥离实验。下图是实验结果:

 

 

可见,分割的主要精度还是来源于RGB信息的,但是引入了深度信息和上下文信息后,网络的精度能够得到一定的提升。

 

下图是LSTM-CF在SUNRGBD数据库下的实验结果:

 

 

第一行为图像,第二行为真值,第三行为LSTM-CF分割结果

Be First to Comment

发表评论

邮箱地址不会被公开。 必填项已用*标注