Press "Enter" to skip to content

动手学深度学习_全卷积网络 FCN

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

全卷积网络 (fully convolutional network,FCN),顾名思义,网络中完全使用卷积而不再使用全联接网络。全卷积网络之所以能把输入图片经过卷积后在进行尺寸上的还原,就是利用转置卷积实现的。 因此,输出的类别预测与输入图像在像素级别上具有一一对应关系: 通道维的输出即该位置对应像素的类别预测 。

 

全卷积网络先使用卷积神经网络抽取图像特征,然后通过 1 × 1 卷积层将通道数变换为类别个数,最后转置卷积层将特征图的高和宽变换为输入图像的尺寸。 因此,模型输出与输入图像的高和宽相同,且最终输出通道包含了该空间位置像素的类别预测。

 

 

白色方框部分的卷积神经网络使用 ResNet-18 来进行提取特征(去掉 ResNet-18 最后的全局池化层和全联接层)

 

pretrained_net = torchvision.models.resnet18(pretrained=True)
# 采用输入大小是(3,320,480)
net = nn.Sequential(*list(pretrained_net.children())[:-2])
# VOC数据集20类+背景类=21
num_classes = 21
# ResNet-18最后一层卷积输出维度是512
# 这里是为了减少计算,所以直接调整维度到21
net.add_module('final_conv', nn.Conv2d(512, num_classes, kernel_size=1))
# 采用转置卷积,恢复图像尺寸
net.add_module('transpose_conv', 
                nn.ConvTranspose2d(num_classes, num_classes,
                                    kernel_size=64, padding=16, stride=32))

 

这里我们没有采用随机初始化转置卷积,而是利用 双线性插值(bilinear interpolation) 对转置卷积的权重进行初始化,因为转置卷积做的是上采样操作,双线性插值就是对图片放大,那幺其参数应该对转置卷积有利。

 

# 双线性插值实现
def bilinear_kernel(in_channels, out_channels, kernel_size):
    factor = (kernel_size + 1) // 2
    if kernel_size % 2 == 1:
        center = factor - 1
    else:
        center = factor - 0.5
    og = (torch.arange(kernel_size).reshape(-1, 1),
          torch.arange(kernel_size).reshape(1, -1))
    filt = (1 - torch.abs(og[0] - center) / factor) * \
           (1 - torch.abs(og[1] - center) / factor)
    weight = torch.zeros((in_channels, out_channels,
                          kernel_size, kernel_size))
    weight[range(in_channels), range(out_channels), :, :] = filt
    return weight

 

对转置卷积使用双线性插值初始化,1 x 1 卷积使用 Xavier 初始化

 

nn.init.xavier_uniform_(self.final_conv.weight, gain=1)
W = bilinear_kernel(num_classes, num_classes, 64)
net.transpose_conv.weight.data.copy_(W);

 

读取数据集,定义损失函数,训练

 

batch_size, crop_size = 32, (320, 480)
train_iter, test_iter = d2l.load_data_voc(batch_size, crop_size)
def loss(inputs, targets):
    return F.cross_entropy(inputs, targets, reduction='none').mean(1).mean(1)
num_epochs, lr, wd, devices = 5, 0.001, 1e-3, d2l.try_all_gpus()
trainer = torch.optim.SGD(net.parameters(), lr=lr, weight_decay=wd)
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, devices)

 

注意这里的损失函数,和之前一样都是使用的交叉熵损失,但是由于我们使用转置卷积的通道来预测像素类别,所以需要在损失函数里计算指定通道维。

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。