动手学深度学习_全卷积网络 FCN

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

全卷积网络 （fully convolutional network，FCN），顾名思义，网络中完全使用卷积而不再使用全联接网络。全卷积网络之所以能把输入图片经过卷积后在进行尺寸上的还原，就是利用转置卷积实现的。 因此，输出的类别预测与输入图像在像素级别上具有一一对应关系： 通道维的输出即该位置对应像素的类别预测 。

全卷积网络先使用卷积神经网络抽取图像特征，然后通过 1 × 1 卷积层将通道数变换为类别个数，最后转置卷积层将特征图的高和宽变换为输入图像的尺寸。 因此，模型输出与输入图像的高和宽相同，且最终输出通道包含了该空间位置像素的类别预测。

白色方框部分的卷积神经网络使用 ResNet-18 来进行提取特征（去掉 ResNet-18 最后的全局池化层和全联接层）

pretrained_net = torchvision.models.resnet18(pretrained=True)
# 采用输入大小是（3，320，480）
net = nn.Sequential(*list(pretrained_net.children())[:-2])
# VOC数据集20类+背景类=21
num_classes = 21
# ResNet-18最后一层卷积输出维度是512
# 这里是为了减少计算，所以直接调整维度到21
net.add_module('final_conv', nn.Conv2d(512, num_classes, kernel_size=1))
# 采用转置卷积，恢复图像尺寸
net.add_module('transpose_conv', 
                nn.ConvTranspose2d(num_classes, num_classes,
                                    kernel_size=64, padding=16, stride=32))

这里我们没有采用随机初始化转置卷积，而是利用 双线性插值（bilinear interpolation） 对转置卷积的权重进行初始化，因为转置卷积做的是上采样操作，双线性插值就是对图片放大，那幺其参数应该对转置卷积有利。

# 双线性插值实现
def bilinear_kernel(in_channels, out_channels, kernel_size):
    factor = (kernel_size + 1) // 2
    if kernel_size % 2 == 1:
        center = factor - 1
    else:
        center = factor - 0.5
    og = (torch.arange(kernel_size).reshape(-1, 1),
          torch.arange(kernel_size).reshape(1, -1))
    filt = (1 - torch.abs(og[0] - center) / factor) * \
           (1 - torch.abs(og[1] - center) / factor)
    weight = torch.zeros((in_channels, out_channels,
                          kernel_size, kernel_size))
    weight[range(in_channels), range(out_channels), :, :] = filt
    return weight

对转置卷积使用双线性插值初始化，1 x 1 卷积使用 Xavier 初始化

nn.init.xavier_uniform_(self.final_conv.weight, gain=1)
W = bilinear_kernel(num_classes, num_classes, 64)
net.transpose_conv.weight.data.copy_(W);

读取数据集，定义损失函数，训练

batch_size, crop_size = 32, (320, 480)
train_iter, test_iter = d2l.load_data_voc(batch_size, crop_size)
def loss(inputs, targets):
    return F.cross_entropy(inputs, targets, reduction='none').mean(1).mean(1)
num_epochs, lr, wd, devices = 5, 0.001, 1e-3, d2l.try_all_gpus()
trainer = torch.optim.SGD(net.parameters(), lr=lr, weight_decay=wd)
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, devices)

注意这里的损失函数，和之前一样都是使用的交叉熵损失，但是由于我们使用转置卷积的通道来预测像素类别，所以需要在损失函数里计算指定通道维。