深度学习与神经网络:制作数据集,完成应用(1)

在这一篇文章里,我们将继续上一篇文章的工作,并且在上一篇文章的前提下加入数据集的制作,最终我们将完成这个全连接神经网络的小栗子.

先说说我们上一篇文章我们的自制数据集的一切缺点,第一,数据集过于分散,在一个文件夹里读取难免导致内存利用率低,而我们将会使用TensorFlow的tfrecords()函数来讲图片和标签制作成这种二进制文件,这样我们的内存利用率会增加不少.

将数据保存为tfrecords文件可以视为这样一个流程：

提取features -> 保存为Example结构对象 -> TFRecordWriter写入文件

而如果我们要存储训练数据的时候,我们会使用tf.train.Example()来去存储,并且训练数据的特征用键值对来表示.

现在让我们看看代码:

1:首先,我们先加入文件的路径.这些文件是从mnist数据集中随机找了一些,当然,我们也可以换成别的.

定义变量,加入引用的路径:

2:制作数据集.

首先我们新建一个writer.

然后使用for循环来去遍历我们文件中的每一张图和每一张图的标签

最后我们把每张图片及其标签封装到example中

最终将其序列化后即可完成.

这样我们的数据集就已经制作完成了.

3:读取tfrecords()文件

具体代码:

先从read_tfRecord函数说起:

在这个函数中,我们主要使用的是:

filename_queue = tf.train.string_input_producer([tfRecord_path])

在使用这个函数后,这个函数会产生一个先进先出的队列,文本阅读器会用它来读取数据.

而这个队列,我们在get_tfrecord中使用到:

具体的参数,在此说明下: tf.train.string_input_producer( string_tensor, #存储图像和标签信息的 TFRecord 文件名列表

num_epochs=None, #循环读取的轮数（可选）

shuffle=True,#布尔值（可选），如果为 True，则在每轮随机打乱读取顺序

seed=None,#随机读取时设置的种子（可选）

capacity=32, #设置队列容量

shared_name=None, #如果设置，该队列将在多个会话中以给定名 称共享。所

name=None,#操作的名称（可选）

cancel_op=None)#取消队列（None）

接着说reader_tfrecord中:

reader = tf.TFRecordReader() #新建一个 reader

这个操作是把读出的样本在serialized_example中进行解析,标签和图片的键名应该和制作 tfrecords 的键名相同.该函数可以将 tf.train.Example 协议内存块(protocol buffer)解析为张量。

img = tf.decode_raw(features['img_raw'], tf.uint8) #将 img_raw 字符串转换为 8 位无符号整型 img.set_shape([784]) #将形状变为一行 784 列

img = tf.cast(img, tf.float32) * (1. / 255) #变成 0 到 1 之间的浮点数

label = tf.cast(features['label'], tf.float32)#把标签列表变为浮点数

return image,label #返回图片和标签（跳回到 get_tfrecord）

回到get_tfrecord中:

tf.train.shuffle_batch(),随机读取一个batch的数据

这个函数值得说说,完整的格式如下:

tf.train.shuffle_batch(

tensors, #待乱序处理的列表中的样本（图像和标签）

batch_size, #从队列中提取的新批量大小

capacity, #队列中元素的最大数量

min_after_dequeue, #出队后队列中的最小数量元素，用于确保元素 的混合级别

num_threads=1, #排列 tensors 的线程数

seed=None, #用于队列内的随机洗牌

enqueue_many=False, #tensor 中的每个张量是否是一个例子

shapes=None, #每个示例的形状

allow_smaller_final_batch=False, #如果为 True，则在 队列中剩余数量不足时允许最终批次更小。

shared_name=None, #如果设置，该队列将在多个会话中以给定名称 共享。

name=None #操作的名称)

最后返回的图片和标签为随机抽取的 batch_size 组

而在下一篇文章中,我们将在反向传播文件中修改图片标签的获取接口,并且利用多线程来去提高图片和标签的批处理获取效率.