Press "Enter" to skip to content

第4章 Pytorch数据处理工具箱

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

文章目录

4.1 数据处理工具箱概述
4.4.1 tensorboardX简介
4.4.2用tensorboardX可视化神经网络
4.4.3用tensorboardX可视化损失值
4.4.4用tensorboardX可视化特征图

在3.2节我们利用Pytorch的torchvision、data等包,下载及预处理MNIST数据集。数据下载和预处理是机器学习、深度学习实际项目中耗时又重要的任务,尤其是数据预处理,关系到数据质量和模型性能,往往要占据项目的大部分时间。好在Pytorch为此提供了专门的数据下载、数据处理包,使用这些包,可极大提高我们的开发效率及数据质量。

 

本章将介绍以下内容:

 

 简单介绍Pytorch相关的数据处理工具箱

 

 utils.data简介

 

 torchvision简介

 

 tensorboardX简介及实例

 

4.1 数据处理工具箱概述

 

如果你看了第3章,应该对torchvision、data等数据处理包有了初步认识,但可能理解还不够深入,接下来我们将详细介绍。Pytorch涉及数据处理(数据装载、数据预处理、数据增强等)主要工具包及相互关系如图4-1所示。

 

 

图4-1 Pytorch主要数据处理工具

 

图4-1 的左边是torch.utils.data工具包,它包括以下三个类:

 

(1)Dataset:是一个抽象类,其它数据集需要继承这个类,并且覆写其中的两个方法(__getitem__、__len__)。

 

(2)DataLoader:定义一个新的迭代器,实现批量(batch)读取,打乱数据(shuffle)并提供并行加速等功能。

 

(3)random_split:把数据集随机拆分为给定长度的非重叠新数据集。

 

(4)*sampler:多种采样函数。

 

图4-1中间是Pytorch可视化处理工具(torchvision),Pytorch的一个视觉处理工具包,独立于Pytorch,需要另外安装,使用pip或conda安装即可:

 

pip  install torchvision #或conda install torchvision

 

它包括4个类,各类的主要功能如下:

 

(1)datasets:提供常用的数据集加载,设计上都是继承torch.utils.data.Dataset,主要包括MMIST、CIFAR10/100、ImageNet、COCO等。

 

(2)models:提供深度学习中各种经典的网络结构以及训练好的模型(如果选择pretrained=True),包括AlexNet, VGG系列、ResNet系列、Inception系列等。

 

(3)transforms:常用的数据预处理操作,主要包括对Tensor及PIL Image对象的操作。

 

(4)utils:含两个函数,一个是make_grid,它能将多张图片拼接在一个网格中;另一个是save_img,它能将Tensor保存成图片。

 

4.2 utils.data简介

 

utils.data包括Dataset和DataLoader。torch.utils.data.Dataset为抽象类。自定义数据集需要继承这个类,并实现两个函数。一个是__len__,另一个是__getitem__,前者提供数据的大小(size),后者通过给定索引获取数据和标签。 __getitem__一次只能获取一个数据,所以通过torch.utils.data.DataLoader来定义一个新的迭代器,实现batch读取。首先我们来定义一个简单的数据集,然后具体使用Dataset及DataLoader,以便有个直观认识。

 

(1) 导入需要的模块

 

import torch
from torch.utils import data
import numpy as np

 

(2)定义获取数据集的类

 

该类继承基类Dataset,自定义一个数据集及对应标签。

 

class TestDataset(data.Dataset):#继承Dataset
    def __init__(self):
        self.Data=np.asarray([[1,2],[3,4],[2,1],[3,4],[4,5]])#一些由2维向量表示的数据集
        self.Label=np.asarray([0,1,0,1,2])#这是数据集对应的标签
 
    def __getitem__(self, index):
        #把numpy转换为Tensor
        txt=torch.from_numpy(self.Data[index])
        label=torch.tensor(self.Label[index])
        return txt,label 
 
    def __len__(self):
        return len(self.Data)

 

(3)获取数据集中数据

 

Test=TestDataset()
print(Test[2])  #相当于调用__getitem__(2)
print(Test.__len__())
 
#输出:
#(tensor([2, 1]), tensor(0))
#5

 

以上数据以tuple返回,每次只返回一个样本。实际上,Dateset只负责数据的抽取,一次调用__getitem__只返回一个样本。如果希望批量处理(batch),同时还要进行shuffle和并行加速等操作,可选择DataLoader。DataLoader的格式为:

 

data.DataLoader(
    dataset,
    batch_size=1,
    shuffle=False,
    sampler=None,
    batch_sampler=None,
    num_workers=0,
    collate_fn=,
    pin_memory=False,
    drop_last=False,
    timeout=0,
    worker_init_fn=None,
)

 

主要参数说明:

 

 dataset: 加载的数据集;

 

 batch_size: 批大小;

 

 shuffle:是否将数据打乱;

 

 sampler:样本抽样

 

 num_workers:使用多进程加载的进程数,0代表不使用多进程;

 

 collate_fn:如何将多个样本数据拼接成一个batch,一般使用默认的拼接方式即可;

 

 pin_memory:是否将数据保存在pin memory区,pin memory中的数据转到GPU会快一些;

 

 drop_last:dataset 中的数据个数可能不是 batch_size的整数倍,drop_last为True会将多出来不足一个batch的数据丢弃。

 

test_loader = data.DataLoader(Test,batch_size=2,shuffle=False,num_workers=2)
for i,traindata in enumerate(test_loader):
    print('i:',i)
    Data,Label=traindata
    print('data:',Data)
    print('Label:',Label)

 

运行结果

 

i: 0

 

data: tensor([[1, 2],

 

[3, 4]])

 

Label: tensor([0, 1])

 

i: 1

 

data: tensor([[2, 1],

 

[3, 4]])

 

Label: tensor([0, 1])

 

i: 2

 

data: tensor([[4, 5]])

 

Label: tensor([2])

 

从这个结果可以看出,这是批量读取。我们可以像使用迭代器一样使用它,如对它进行循环操作。不过它不是迭代器,我们可以通过iter命令转换为迭代器。

 

dataiter=iter(test_loader)
imgs,labels=next(dataiter)

 

一般用data.Dataset处理同一个目录下的数据。如果数据在不同目录下,不同目录代表不同类别(这种情况比较普遍),使用data.Dataset来处理就不很方便。不过,可以使用Pytorch另一种可视化数据处理工具(即torchvision)就非常方便,不但可以自动获取标签,还提供很多数据预处理、数据增强等转换函数。

 

4.3 torchvision简介

 

torchvision有4个功能模块,model、datasets、transforms和utils。其中model后续章节将介绍,利用datasets下载一些经典数据集,3.2小节有实例,大家可以参考一下。这节我们将主要介绍如何使用datasets的ImageFolder处理自定义数据集,如何使用transforms对源数据进行预处理、增强等。下面我们重点介绍transforms及ImageFolder。

 

4.3.1 transforms

 

transforms提供了对PIL Image对象和Tensor对象的常用操作。

 

(1)对PIL Image的常见操作如下:

 

 Scale/Resize: 调整尺寸,长宽比保持不变;

 

 CenterCrop、RandomCrop、RandomSizedCrop:裁剪图片,CenterCrop和RandomCrop在crop时是固定size,RandomResizedCrop则是random size的crop;

 

 Pad: 填充;

 

 ToTensor: 把一个取值范围是[0,255]的PIL.Image 转换成 Tensor。形状为(H,W,C)的numpy.ndarray,转换成形状为[C,H,W],取值范围是[0,1.0]的torch.FloatTensor。

 

 RandomHorizontalFlip:图像随机水平翻转,翻转概率为0.5;

 

 RandomVerticalFlip: 图像随机垂直翻转;

 

 ColorJitter: 修改亮度、对比度和饱和度。

 

(2)对Tensor的常见操作如下:

 

 Normalize: 标准化,即减均值,除以标准差;

 

 ToPILImage:将Tensor转为PIL Image。

 

如果要对数据集进行多个操作,可通过Compose将这些操作像管道一样拼接起来,类似于nn.Sequential。以下为示例代码

 

transforms.Compose([
    #将给定的 PIL.Image 进行中心切割,得到给定的 size,
    #size 可以是 tuple,(target_height, target_width)。
    #size 也可以是一个 Integer,在这种情况下,切出来的图片形状是正方形。            
    transforms.CenterCrop(10),
    #切割中心点的位置随机选取
    transforms.RandomCrop(20, padding=0),
    #把一个取值范围是 [0, 255] 的 PIL.Image 或者 shape 为 (H, W, C) 的 numpy.ndarray,
    #转换为形状为 (C, H, W),取值范围是 [0, 1] 的 torch.FloatTensor
    transforms.ToTensor(),
    #规范化到[-1,1]
    transforms.Normalize(mean = (0.5, 0.5, 0.5), std = (0.5, 0.5, 0.5))
])

 

还可以自己定义一个python lambda表达式,如将每个像素值加10,可表示为:transforms.Lambda(lambda x: x.add(10))。

 

更多内容可参考官网:

 

https://pytorch.org/docs/stable/torchvision/transforms.html

 

4.3.2 ImageFolder

 

当文件依据标签处于不同文件下时,如:

 

─── data

 

├── zhangliu

 

│ ├── 001.jpg

 

│ └── 002.jpg

 

├── wuhua

 

│ ├── 001.jpg

 

│ └── 002.jpg

 

……………..

 

我们可以利用 torchvision.datasets.ImageFolder 来直接构造出 dataset,代码如下:

 

loader = datasets.ImageFolder(path)
loader = data.DataLoader(dataset)

 

ImageFolder 会将目录中的文件夹名自动转化成序列,那幺DataLoader载入时,标签自动就是整数序列了。

 

下面我们利用ImageFolder读取不同目录下图片数据,然后使用transorms进行图像预处理,预处理有多个,我们用compose把这些操作拼接在一起。然后使用DataLoader加载。

 

对处理后的数据用torchvision.utils中的save_image保存为一个png格式文件,然后用Image.open打开该png文件,详细代码如下:

 

from torchvision import transforms, utils
from torchvision import datasets
import torch
import matplotlib.pyplot as plt 
%matplotlib inline
 
 
my_trans=transforms.Compose([
    transforms.RandomResizedCrop(224),
    transforms.RandomHorizontalFlip(),
    transforms.ToTensor()
])
train_data = datasets.ImageFolder('./data/torchvision_data', transform=my_trans)
train_loader = data.DataLoader(train_data,batch_size=8,shuffle=True,)
                                            
for i_batch, img in enumerate(train_loader):
    if i_batch == 0:
        print(img[1])
        fig = plt.figure()
        grid = utils.make_grid(img[0])
        plt.imshow(grid.numpy().transpose((1, 2, 0)))
        plt.show()
        utils.save_image(grid,'test01.png')
    break

 

tensor([2, 2, 0, 0, 0, 1, 2, 2])

 

 

图4-2 make_grid拼接在一起的图形

 

打开test01.png文件

 

from PIL import Image
Image.open('test01.png')

 

 

图4-3 用Image查看png文件

 

4.4 可视化工具

 

Tensorboard是Google TensorFlow 的可视化工具,它可以记录训练数据、评估数据、网络结构、图像等,并且可以在web上展示,对于观察神经网路训练的过程非常有帮助。PyTorch可以采用tensorboard_logger, visdom等可视化工具,但这些方法比较复杂或不够友好。为解决这一问题,人们推出了可用于Pytorch可视化的新的更强大工具tensorboardX。

 

4.4.1 tensorboardX简介

 

tensorboardX功能很强大,支持scalar, image, figure, histogram, audio, text, graph, onnx_graph, embedding, pr_curve and videosummaries等可视化方式。

 

安装也比较方便,先安装tensorflow(CPU或GPU版),然后安装tensorboardX,在命令行运行以下命令即可。

 

pip install tensorboardX

 

使用tensorboardX的一般步骤为:

 

(1)导入tensorboardX,实例化SummaryWriter类,指明记录日志路径等信息。

 

from tensorboardX import SummaryWriter
#实例化SummaryWriter,并指明日志存放路径。在当前目录没有logs目录将自动创建。
writer = SummaryWriter(log_dir='logs')
#调用实例
writer.add_xxx()
#关闭writer
writer.close()

 

【说明】

 

①如果是windows环境,log_dir注意路径解析,如

 

writer = SummaryWriter(log_dir=r’D:\myboard\test\logs’)

 

②SummaryWriter的格式为

 

SummaryWriter(log_dir=None, comment='', **kwargs)  
#其中comment在文件命名加上comment后缀

 

③如果不写log_dir,系统将在当前目录创建一个runs的目录。

 

(2)调用相应的API接口,接口一般格式为:

 

add_xxx(tag-name, object, iteration-number)
#即add_xxx(标签,记录的对象,迭代次数)

 

(3)启动tensorboard服务

 

cd到logs目录所在的同级目录,在命令行输入如下命令,logdir等式右边可以是相对路径或绝对路径。

 

tensorboard --logdir=logs --port 6006   
#如果是windows环境,要注意路径解析,如
#tensorboard --logdir=r'D:\myboard\test\logs' --port 6006

 

(4)web展示

 

在浏览器输入

 

http://服务器IP或名称:6006  #如果是本机,服务器名称可以使用localhost

 

便可看到logs目录保存的各种图形,图4-4为示例图:

 

 

图4-4 tensorboardx示例图形

 

鼠标在图形上移动,还可以看到对应位置具体数据。

 

有关tensorboardX的更多内容,大家可参考其官网:

 

https://github.com/lanpa/tensorboardX

 

4.4.2用tensorboardX可视化神经网络

 

上节我们介绍了tensorboardX的主要内容,为帮助大家更好理解,这节我们将介绍几个实例。实例内容涉及如何使用tensorboardX可视化神经网络模型、可视化损失值、图像等。

 

(1)导入需要的模块

 

import torch
import torch.nn as nn
import torch.nn.functional as F
import torchvision
from tensorboardX import SummaryWriter

 

(2)构建神经网络

 

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(1, 10, kernel_size=5)
        self.conv2 = nn.Conv2d(10, 20, kernel_size=5)
        self.conv2_drop = nn.Dropout2d()
        self.fc1 = nn.Linear(320, 50)
        self.fc2 = nn.Linear(50, 10)
        self.bn = nn.BatchNorm2d(20)
 
    def forward(self, x):
        x = F.max_pool2d(self.conv1(x), 2)
        x = F.relu(x) + F.relu(-x)
        x = F.relu(F.max_pool2d(self.conv2_drop(self.conv2(x)), 2))
        x = self.bn(x)
        x = x.view(-1, 320)
        x = F.relu(self.fc1(x))
        x = F.dropout(x, training=self.training)
        x = self.fc2(x)
        x = F.softmax(x, dim=1)
        return x

 

(3)把模型保存为graph

 

#定义输入
input = torch.rand(32, 1, 28, 28)
#实例化神经网络
model = Net()
#将model保存为graph
with SummaryWriter(log_dir='logs',comment='Net') as w:
    w.add_graph(model, (input, ))

 

打开浏览器,便可看到图4-5:

 

 

图4-5 tensorboardx可视化计算图

 

4.4.3用tensorboardX可视化损失值

 

可视化损失值,使用add_scalar函数,这里利用一层全连接神经网络,训练一元二次函数的参数。

 

dtype = torch.FloatTensor
writer = SummaryWriter(log_dir='logs',comment='Linear')
np.random.seed(100) 
x_train = np.linspace(-1, 1, 100).reshape(100,1) 
y_train = 3*np.power(x_train, 2) +2+ 0.2*np.random.rand(x_train.size).reshape(100,1) 
 
model = nn.Linear(input_size, output_size)
 
criterion = nn.MSELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)
 
for epoch in range(num_epoches):
    inputs = torch.from_numpy(x_train).type(dtype)
    targets = torch.from_numpy(y_train).type(dtype)
 
    output = model(inputs)
    loss = criterion(output, targets)
 
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    # 保存loss的数据与epoch数值
    writer.add_scalar('训练损失值', loss, epoch)

 

图4-6 可视化损失值与迭代步的关系

 

 

4.4.4用tensorboardX可视化特征图

 

利用tensorboardX对特征图进行可视化,不卷积层的特征图的抽取程度是不一样的。

 

x从cifair10数据集获取,具体请参考第6章代码pytorch-06。

 

import torchvision.utils as vutils
writer = SummaryWriter(log_dir='logs',comment='feature map')
 
img_grid = vutils.make_grid(x, normalize=True, scale_each=True, nrow=2)
net.eval()
for name, layer in net._modules.items():
 
    # 为fc层预处理x
    x = x.view(x.size(0), -1) if "fc" in name else x
    print(x.size())
 
    x = layer(x)
    print(f'{name}')
 
    # 查看卷积层的特征图
    if  'layer' in name or 'conv' in name:
        x1 = x.transpose(0, 1)  # C,B, H, W  ---> B,C, H, W
        img_grid = vutils.make_grid(x1, normalize=True, scale_each=True, nrow=4)  # normalize进行归一化处理
        writer.add_image(f'{name}_feature_maps', img_grid, global_step=0)

 

图4-7 conv1的特征图

 

 

图4-8 conv2的特征图

 

 

4.5 小结

 

本章详细介绍了Pytorch有关数据下载、预处理方面的一些常用包,以及对计算结果进行可视化的工具tensorboardX,并通过一个实例详细说明如何使用tensorboardX。

Be First to Comment

发表评论

邮箱地址不会被公开。 必填项已用*标注