深度学习与神经网络:制作数据集,完成应用

先说说我们上一篇文章我们的自制数据集的一切缺点,第一,数据集过于分散,在一个文件夹里读取难免导致内存利用率低,而我们将会使用TensorFlow的tfrecords()函数来讲图片和标签制作成这种二进制文件,这样我们的内存利用率会增加不少.

将数据保存为tfrecords文件可以视为这样一个流程:

提取features -> 保存为Example结构对象 -> TFRecordWriter写入文件

而如果我们要存储训练数据的时候,我们会使用tf.train.Example()来去存储,并且训练数据的特征用键值对来表示.

现在让我们看看代码:

1:首先,我们先加入文件的路径.这些文件是从mnist数据集中随机找了一些,当然,我们也可以换成别的.

定义变量,加入引用的路径:

2:制作数据集.

首先我们新建一个writer.

然后使用for循环来去遍历我们文件中的每一张图和每一张图的标签

最后我们把每张图片及其标签封装到example中

最终将其序列化后即可完成.

这样我们的数据集就已经制作完成了.

3:读取tfrecords()文件

具体代码:

先从read_tfRecord函数说起:

在这个函数中,我们主要使用的是:

filename_queue = tf.train.string_input_producer([tfRecord_path])

在使用这个函数后,这个函数会产生一个先进先出的队列,文本阅读器会用它来读取数据.

而这个队列,我们在get_tfrecord中使用到:

具体的参数,在此说明下:

tf.train.string_input_producer( string_tensor, #存储图像和标签信息的 TFRecord 文件名列表

num_epochs=None, #循环读取的轮数(可选)

shuffle=True,#布尔值(可选),如果为 True,则在每轮随机打乱读取顺序

seed=None,#随机读取时设置的种子(可选)

capacity=32, #设置队列容量

shared_name=None, #如果设置,该队列将在多个会话中以给定名 称共享。所

name=None,#操作的名称(可选)

cancel_op=None)#取消队列(None)

接着说reader_tfrecord中:

reader = tf.TFRecordReader() #新建一个 reader

这个操作是把读出的样本在serialized_example中进行解析,标签和图片的键名应该和制作 tfrecords 的键名相同.该函数可以将 tf.train.Example 协议内存块(protocol buffer)解析为张量。

img = tf.decode_raw(features['img_raw'], tf.uint8) #将 img_raw 字符串转换为 8 位无符号整型 img.set_shape([784]) #将形状变为一行 784 列

img = tf.cast(img, tf.float32) * (1. / 255) #变成 0 到 1 之间的浮点数

label = tf.cast(features['label'], tf.float32)#把标签列表变为浮点数

return image,label #返回图片和标签(跳回到 get_tfrecord)

回到get_tfrecord中:

tf.train.shuffle_batch(),随机读取一个batch的数据

这个函数值得说说,完整的格式如下:

tf.train.shuffle_batch(

tensors, #待乱序处理的列表中的样本(图像和标签)

batch_size, #从队列中提取的新批量大小

capacity, #队列中元素的最大数量

min_after_dequeue, #出队后队列中的最小数量元素,用于确保元素 的混合级别

num_threads=1, #排列 tensors 的线程数

seed=None, #用于队列内的随机洗牌

enqueue_many=False, #tensor 中的每个张量是否是一个例子

shapes=None, #每个示例的形状

allow_smaller_final_batch=False, #如果为 True,则在 队列中剩余数量不足时允许最终批次更小。

shared_name=None, #如果设置,该队列将在多个会话中以给定名称 共享。

name=None #操作的名称)

最后返回的图片和标签为随机抽取的 batch_size 组

而在下一篇文章中,我们将在反向传播文件中修改图片标签的获取接口,并且利用多线程来去提高图片和标签的批处理获取效率.

发表评论

电子邮件地址不会被公开。 必填项已用*标注