人工智能|TensorFlow前向传播实例

算法与编程之美

修改于 2020-04-26 17:35:01

8860

问题描述

举一个mnist手写数据集的识别的例子，这个数据集在机器学习中是非常经典的数据集，由60k个训练样本和10k个测试样本组成，每个样本都是一张28*28像素的灰度手写数字图片。这些高维图片无法用一个线性模型来实现，因此，就需要用一个非线性模型来实现。下面，就通过方法介绍和代码示例来完成这个实例。

方法介绍：

由于线性模型无法满足，需要实现的数据集识别的需求，因此需要引入激活函数（Relu函数），其目的是用来加入非线性因素。如果这样还是不能够满足需求，可以通过串联非线性层来增加复杂度，以得到一个这样的输出：out=relu{relu{relu[X@W1+b1]@W2+b2}@W3+b3}。如图1，是Relu函数的函数模型。

图1 Relu函数模型

解决方案

1.导入tensorflow为tf、获取数据集


import   tensorflow  as  tf

from     tensorflow  import  keras

from     tensorflow.keras  import  datasets

(x,y),_ = datasets.mnist.load_data()

2.创建tensor

把numpy转换为tensor，并且通过除以255来将x值从0~255调整为0~1。


x =  tf.convert_to_tensor(x,dtype=tf.float32) / 255.

y =  tf.convert_to_tensor(y,dtype=tf.int32)

print(tf.reduce_min(x),tf.reduce_max(x))   #查看x最小值、最大值

print(tf.reduce_min(y),tf.reduce_max(y))   #查看y最小值、最大值

3.创建数据集

通过batch一次获取128个数据，使数据变为可迭代对象后，不停调用next方法。


train_db =  tf.data.Dataset.from_tensor_slices((x,y)).batch(128)

train_iter = iter(train_db)  #迭代器，以便能够不停调用next

sample = next(train_iter)

print('batch:',sample[0].shape,sample[1].shape)

4.定义参数与学习率

通过tf.random.truncated_normal()方法来随机生成维度为[784,256]的参数，其中stddev是正态分布的标准差；lr是学习率。


w1 =  tf.Variable(tf.random.truncated_normal([784,256],stddev=0.1))   #stddev用来设置标准差

b1 = tf.Variable(tf.zeros([256]))

w2 =  tf.Variable(tf.random.truncated_normal([256,128],stddev=0.1))

b2 = tf.Variable(tf.zeros([128]))

w3 =  tf.Variable(tf.random.truncated_normal([128,10],stddev=0.1))

b3 = tf.Variable(tf.zeros([10]))

lr=1e-3

5.循环数据集

把训练过程放在withtf.GradientTape()astape中，之后可以用tape.gradient()自动求得梯度，用forstep分批循环数据集，再对整个数据集进行十次循环。

or epoch in range(10):  # iterate db for 10

     # 分批循环数据集

     for step,(x,y) in enumerate(train_db):   # for every batch

         # x:[128,28,28]

        # y:[128]

         # [b,28,28] => [b,28*28]

         # 把 x 转换为[batch,784]

         x = tf.reshape(x,[-1,28*28])

 

         # tensor提供的自动求导

         # 把训练过程放在with tf.GradientTape() as tape中，之后可以用tape.gradient()自动求得梯度

         with tf.GradientTape() as tape:    # tf.Variable

            # x:[b,28*28]

            # h1 = x @ w1 + b1

            # [b,784] @ [784,256] + [256]  => [b,256] + [256] => [b,256] + [256]

            h1 = x @ w1 +  tf.broadcast_to(b1,[x.shape[0],256])

            # 非线性激励

             h1 = tf.nn.relu(h1)

            #[b,256] => [b,128]

            h2 = h1 @ w2 + b2

            h2 = tf.nn.relu(h2)

            # [b,128] => [b,10]

            out = h2 @ w3 + b3

 

            # compute loss

            # out:[b,10]

            # y:[b] => [b,10]

            y_onehot = tf.one_hot(y,depth=10)

 

            # mse = mean(sum(y-out)**2)

            # [b,10]

            loss = tf.square(y_onehot - out)

            # mean:scalar

            loss = tf.reduce_mean(loss)

6.传入损失函数

传入loss函数和参数，并通过梯度下降方法对数据进行更新。


         grads = tape.gradient(loss,[w1,b1,w2,b2,w3,b3])

         # w1 = w1 - lr * w1_grad

         w1.assign_sub(lr * grads[0])

         b1.assign_sub(lr * grads[1])

         w2.assign_sub(lr * grads[2])

         b2.assign_sub(lr * grads[3])

         w3.assign_sub(lr * grads[4])

         b3.assign_sub(lr * grads[5])

7.输入损失值

       if step % 100 == 0:
             print(epoch,step,'loss:',float(loss))

输出结果:

END

编辑 | 王楠岚

责编 | 吴怡辰

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2020-04-25，如有侵权请联系 cloudcommunity@tencent.com 删除

神经网络

本文分享自算法与编程之美微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

神经网络

登录后参与评论

0 条评论

热度

人工智能|TensorFlow前向传播实例

人工智能|TensorFlow前向传播实例

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐