科普知识
NIPS(NeurIPS),全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems),是一个关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行,由NIPS基金会主办。NIPS是机器学习领域的顶级会议 。在中国计算机学会的国际学术会议排名中,NIPS为人工智能领域的A类会议。
# 前言
SEP.
理论篇的上一篇文章中我们学习了残差网络(ResNet),其核心思想是通过跳跃连接构建残差结构,使得网络可以突破深度的限制,从而构建更加深层次的网络。
TensorFlow之ResNet实战
本期实战分享我们主要对ResNet网络结构中常用的ResNet-18进行代码Tensorflow实践, 本次代码十分简洁,希望各位全程跟上。
1.数据准备
本次数据采用RAFDB人脸表情数据集,包含七个分类:平和,开心,悲伤,
惊讶,厌恶,愤怒,害怕。与之前的数据集类似,该人脸表情数据集也包含
训练集合测试集,每个集中没别包含7个文件夹(表情)。与之前的数据集
一样,该数据集包含训练集与测试集,每个集包含七个文件夹(表情)
一些样本展示
2.网络结构
上图包含了ResNet网络的常见版本,本次分享以18层的ResNet-18为例,网络结构为:
# 残差块构建
def ResBlock(name, num_blocks, input, inchannel, outchannel, stride):
conv_input = input
conv_inchannel = inchannel
conv_stride = stride
for i in range(num_blocks):
out = Conv_layer(names = '{}{}'.format(name, i), input = conv_input , w_shape = [3, 3, conv_inchannel, outchannel], b_shape = [outchannel], strid = [conv_stride, conv_stride])
conv_input = out
conv_inchannel = outchannel
conv_stride = 1
# 残差
if stride > 1:
shortcut = Conv_layer(names = '{}_{}'.format(name,i), input = input , w_shape = [1, 1, inchannel, outchannel], b_shape = [outchannel], strid = [stride, stride])
out = out + shortcut
return out
# 残差网络构建
def inference(images, batch_size, n_classes,drop_rate):
print("******** images {} ".format(images.shape))
#第一层预处理卷积
pre_conv1 = Conv_layer(names = 'pre_conv', input = images , w_shape = [7, 7, 3, 64], b_shape = [64], strid = [2, 2])
print("******** pre_conv1 {} ".format(pre_conv1.shape))
# 池化层
pool_1 = Max_pool_lrn(names = 'pooling1', input = pre_conv1 , ksize = [1, 3, 3, 1], is_lrn = False)
# print("******** pool_1 {} ".format(pool_1.shape))
# 第一个卷积块(layer1)
layer1 = ResBlock('Resblock1', 2, pool_1, 64, 64, 1)
print("******** layer1 {} ".format(layer1.shape))
# 第二个卷积块(layer2)
layer2 = ResBlock('Resblock2', 2, layer1, 64, 128, 2)
print("******** layer2 {} ".format(layer2.shape))
# 第三个卷积块(layer3)
layer3 = ResBlock('Resblock3', 2, layer2, 128, 256, 2)
print("******** layer3 {} ".format(layer3.shape))
# 第四个卷积块(layer4)
layer4 = ResBlock('Resblock4', 2, layer3, 256, 512, 2)
print("******** layer4 {} ".format(layer4.shape))
# 全局平均池化
global_avg = tf.nn.avg_pool(layer4, ksize=[1,7,7,1],strides=[1,7,7,1],padding='SAME')
print("******** global_avg {} ".format(global_avg.shape))
reshape = tf.reshape(global_avg, shape=[batch_size, -1])
dim = reshape.get_shape()[1].value
with tf.variable_scope('softmax_linear') as scope:
weights = tf.Variable(tf.truncated_normal(shape=[dim, n_classes], stddev=0.005, dtype=tf.float32),
name='softmax_linear', dtype=tf.float32)
biases = tf.Variable(tf.constant(value=0.1, dtype=tf.float32, shape=[n_classes]),
name='biases', dtype=tf.float32)
resnet18_out = tf.add(tf.matmul(reshape, weights), biases, name='softmax_linear')
print("---------resnet18_out:{}".format(resnet18_out))
return resnet18_out
3.训练过程
源码获取:https://gitee.com/fengyuxiexie/res-net-18
END
结语
本期分享就到此结束了,残差网络因其卓越的性能深受众多研究者喜爱,由此,残差网络在很多数据集上已经成为了基线模型。
由于残差网络结构实现简单,小编希望各位童鞋能够在看懂网络结构后自己动手实现,深刻体会图像在残差网络中的维度变换,同时学习Tensorflow中卷积的步长与填充的使用,进一步提升Tensorflow的实战能力。
此外,由于Pytorch框架在学术界的受欢迎程度,后面的文章我们或许不再使用Tensorflow,而是直接采用Pytorch实现,希望各位继续喜欢。
编辑:玥怡居士|审核:小圈圈居士