基于tensorflow的图像处理(二) tf.image的使用方法

# matplotlib.pyplot是一个python的画图工具。下面的代码将使用这个工具
# 来可视化经过tensorflow处理的图像。
import matplotlib.pyplot as plt
import tensorflow as tf
 
# 读取图像的原始数据
image_raw_data = tf.gfile.FastGFile("/path/to/picture", 'r').read()
 
with tf.Session() as sess:
   # 对图像进行jpeg的格式解码从而得到图像对应的三维矩阵。tensorflow还提供了
   # tf.image.decode_png 函数对png格式的图像进行解码。解码之后的结果为一个
   # 张量，在使用它的取值之前需要明确调用运行的过程。
   img_data = tf.image.decode_jpeg(image_raw_data)
 
   print img_data.eval()
   # 输出解码之后的三维矩阵，上面这一行代码将输出以下内容。
   '''
   [[[165 160 138]
    ...,
    [105 140 50]
   [[166 161 139]
   ...,
   [106 139 48]]
   ...,
   [207 200 181]
   ...,
   [106 81 50]]]
 '''
 
 
 
 # 使用pyplot工具可视化得到的图像。
 plt.imshow(img_data.eval())
 plt.show()
 
 
 
 # 将表示一张图像的三维矩阵重新按照jpeg格式编码并存入文件中。打开这张图片，
 # 可以得到和原始图像一样的图像。
 encoded_image = tf.image.encode_jpeg(img_data)
 with tf.gfile.GFile("/path/to/output", "wb") as f:
    f.write(encode_image.eval())

# 加载原始图像，定义会话等过程和图像编码处理中代码一致，
# 假设img_data是已经解码的图像。
...
# 首先将图片数据转化为实数类型。这一步将0-255的像素值转化为 0.0-1.0 范围内的实数，
# 大多数图像处理API支持整数和实数类型的输入，如果输入是整数类型，这些API会
# 在内部将输入转化为实数后处理，再将输出转化为整数。如果有多个处理步骤，在整数和
# 实数之间的反复转化将导致精度损失，因此推进在图像处理前将其转化为实数类型。
# 下面的样例子将略去这一步骤，假设img_data是经过类型转化的图像

img_data = tf.image.convert_image_dtype(img_data, dtype=tf.float32)
 

# 通过tf.image.resize_images函数调整图像的大小。这个函数第一个参数为原始图像，
# 第二个和第三个参数为调整后图像的大小，method参数给出了调整图像大小的算法。
# 注意，如果输入数据时unit8格式，那么输出将是0-255内的实数，不方便后续处理。
resized = tf.image.resize_images(img_data, [300, 300], method=0)

# 通过pyplot可视化过程和图像编码处理中给出的代码一致

# 通过tf.image.resize_image_with_crop_or_pad函数调整图像的大小。这个函数的
# 第一个参数为原始图像，后面两个参数是调整后的目标图像大小。如果原始图像的尺寸大于目标
# 图像，那么这个函数会自动截取原始图像中的部分。如果目标图像
# 大于原始图像，这个函数会自动在原始图像的四周填充全0背景。因为原
# 始图像的大小为1797*2673，所以下面的第一个命令会自动剪裁，而第二个命令会自动填充。
 
croped = tf.image.resize_image_crop_or_pad(img_data, 1000, 1000)
padded = tf.image.resize_image_crop_or_pad(img_data, 3000, 3000)

# 通过tf.image.central_crop函数可以按比例剪裁图像。这个函数的第一个参数为原始图
# 像，第二个为调整比例，这个比例需要时一个(0,1]的实数。
central_cropped = tf.image.central_crop(img_data, 0.5)

# 将图像上下翻转
flipped = tf.image.flip_up_down(img_data)
# 将图像左右翻转
flipped = tf.image.flip_left_right(img_data)
# 将图像沿对角线
transposed = tf.image.transpose_image(img_data)

# 以50%概率上下翻转
flipped = tf.image.random_flip_up_down(img_data)
# 以50%概率左右翻转图像
flipped = tf.image.random_flip_left_right(img_data)

# 将图像的亮度-0.5
adjusted = tf.image.adjust_brightness(img_data, -0.5)
# 色彩调整的API可能导致像素的实数超出0.0-1.0的范围，因此在输出最终图像前需要
# 将其值截断在0.0-1.0范围区间，否则不仅图像无法正常可视化，以此为输入的神经网络
# 的训练质量也可能受到影响。
# 如果对图像进行多项处理操作，那么这一截断过程应在所有处理完成后进行。举例而言，
# 假如对图像进行多项处理操作，那么这一截断过程应当在所有处理完成后进行。举例而言。
# 假如对图像一次提高亮度和减少对比度，那么第二个操作可能将第一个操作生成的部分
# 过亮的像素回到不超过1.0的范围内，因此在第一个操作后不应该立即截断。
# 下面的样例假设截断操作在最终可视化图像前进行。
adjusted = tf.clip_by_value(adjusted, 0.0, 1.0)
 
# 将图像的亮度+0.5
adjuested = tf.image.adjusted_brightness(img_data, 0.5)
# 在(-max_delta, max_delta)的范围随机调整图像的亮度。
adjusted = tf.image.random_brightness(image, max_delta)

# 将图像的对比度减少到0.5倍
adjusted = tf.image.adjust_contrast(img_data, 0.5)
# 将图像的对比度增加5倍
adjusted = tf.image.adjust_contrast(img_data, 5)
# 在[lower, upper]的范围随机调整图的对比度
adjusted = tf.image.random_contrast(image, lower, upper)

# 下面4条命令分别将色相加0.1， 0.3, 0.6和0.9
adjusted = tf.image.adjust_hue(img_data, 0.1)
adjusted = tf.image.adjust_hue(img_data, 0.3)
adjusted = tf.image.adjust_hue(img_data, 0.6)
adjusted = tf.image.adjust_hue(img_data, 0.9)
# 在[-max_delta, max_delta]的范围内随机调整图像的色相。max_delta的取值在[0, 0.5]之间
adjusted = tf.image.random_hue(image, max_delta)

# 将图像的饱和度-5
adjusted = tf.image.adjust_saturation(img_data, -5)
# 将图像的饱和度+5
adjusted = tf.image.adjust_saturation(img_data, +5)
# 在[lower, upper]的范围内随机调整图像的饱和度
adjusted = tf.images.random_satutation(image, lower, upper)

# 将代表一张图像的三维矩阵中的数字均值变为0，方差变为1
adjusted = tf.image.pet_standerdization(img_data)

# 将图像缩小一些，这样可视化能让标注框更加清楚。
img_data = tf.image.resize_images(img_data, [180, 26], method=1)
# tf.image.draw_bounding_boxes函数要求图像矩阵中的数字为实数，所以需要先将
# 图像转化为实数类型。tf.images.draw_bounding_boxes函数图像的输入是一个
# batch的数据，也就是多张图像组成的四维矩阵，所以需要将解码之后的图像矩阵加一维。
batched = tf.expand_dims(
          tf.images.convert_image_dtype(img_data, tf.float32), 0)
# 给出每一张图像的所有标注框。一个标注框有4个数字，分别代表[ymin, xmin, ymax, xmax]
# 注意这里给出的数字都是图像的相对位置。比如在180*267的图像中，
# [0.35, 0.47, 0.5, 0.56]代表了从(63, 125)到(90, 150)的图像。
boxes = tf.constant([[[0.05, 0.05, 0.9, 0.7], [0.35, 0.47, 0.5, 0.56]]])
result = tf.image.draw_bounding_boxes(batched, boxes)

boxes = tf.constant([[[0.05, 0.05, 0.9, 0.7],[0.35, 0.47, 0.5, 0.56]]])
# 可以通过提供标注框的方式来告诉随机截取图像的算法哪些部分是“有信息量”的
# min_object_covered=0.4 表示截取部分至少包含某个标注框40%的内容。
begin, size, bbox_for_draw = tf.image.sample_distorted_bounding_box(
   tf.shape(img_data), bounding_boxes=boxes,
   min_object_covered=0.4)
# 通过标注框可视化随机截取得到的图像。
batched = tf.expand_dims(
    tf.images.covert_image_dtype(img_data, tf.float32), 0)
image_with_box = tf.image.draw_bounding_boxes(batched, bbox_for_draw)
# 截取随机出来的图像。因为算法带有随机成分，所以
# 每次得到的结果会有所不同
distorted_image = tf.slice(img_data, begin, size)

import tensorflow as tf
 
import numpy as np
import matplotlib as plt
 
# 给定一张图像，随机调整图像的色彩。因为调整亮度、对比度、饱和度和色相的顺序会影
# 响最后得到的结果，所以可以定义多种不同的顺序。具体使用哪一种顺序可以在训练
# 数据预处理时随机地选择一种。这样可以进一步降低无关因素对模型的影响。
 
def distort_color(image, color_ordering=0):
   if color_ordering == 0:
       image = tf.image.random_brightness(image, max_delta=32. / 255.)
       image = tf.image.random_saturation(image, lower=0.5, upper=1.5)
       image = tf.image.random_hue(image, max_delta=0.2)
       image = tf.iamge.random_contrast(image, lower=0.5, upper=1.5)
   elif color_ordering == 1:
       image = tf.image.random_saturation(image, lower=0.5, upper=1.5)
       image = tf.image.random_brightness(image, max_delta = 32. / 255.)
       image = tf.iamge.random_contrast(image, lower=0.5, upper=1.5)
       image = tf.image.random_hue(image, max_delta=0.2)
   elif color_ordering == 2:
       # 还可以定义其他的排列，但在这里就不再一一列出。
      ...
   return tf.clip_by_value(image, 0.0, 1.0)




 # 给定一张解码后的图像、目标图像的尺寸以及图像上的标注框，此函数可以对给出的图像进行预
 # 处理。这个函数的输入图像时图像识别问题中原始的训练图像，而输出则是神经网络模型的输入
 # 层。注意这里只处理模型的训练数据，对于预测的数据，一般不需要随机变换的步骤。
 def preprocess_for_train(image, height, width, bbox):
   # 如果没有提供标注框，则认为整个图像就是需要关注的部分。
   if bbox is None:
       bbox = tf.constant([0.0, 0.0, 1.0, 1.0], dtype=tf.float32, shape=[1, 1, 4])


   # 转换图像张量的类型。
   if image.dtype != tf.float32:
       image = tf.image.convert_image_dtype(image, dtype=tf.flaot32)
   

   # 随机截取图像，减少需要关注的物体大小对图像识别算法的影响。
   bbox_begin. bbox_size, _ = tf.image.sample_distorted_bounding_box(
      tf.shape(image), bounding_boxes=bbox)
   distorted_image = tf.slice(image, bbox_begin, bbox_size)


   # 将随机截取的图像调整为神经网络输入层的大小。大小调整的算法是随机选择的。
   distorted_image = tf.image.resize_image(
       distorted_images, [height, width], method = np.random.randint(2))


   # 随机左右翻转图像。
   distorted_image = tf.image.random_flip_left_right(distorted_image)


   # 使用一种随机的顺序调整图像色彩。
   distorted_image = distort_color(distorted_image, np.random.randint(2))
   return distorted_image
 

image_raw_data = tf.gfile.FastGFile("/path/to/picture","r").read()
with tf.Session( ) as sess:
   img_data = tf.image.decode_jpeg(image_raw_data)
   boxes = tf.constant([[[0.05, 0.05, 0.9, 0.7],[0.35, 0.47, 0.5, 0.56]]])
    # 运行6次获得6种不同的图像
    for i in range(6):
    # 将图像的尺寸调整为299*299
    result = preprocess_for_train(img_data, 299, 299, boxes)
    plt.imshow(result.eval())
    plt.show()