基于Pytorch构建AlexNet网络对cifar-10进行分类

AlexNet网络是CV领域最经典的网络结构之一了，在2012年横空出世，并在当年夺下了不少比赛的冠军。也是在那年之后，更多的更深的神经网络被提出，比如优秀的vgg,GoogLeNet。AlexNet和LeNet的设计非常类似，但AlexNet的结构比LeNet规模更大。

AlexNet的结构比LeNet规模更大，AlexNet包含8层变换，其中包含5层卷积和2层全连接隐藏层，以及最后的一个全连接的输出层。

在AlextNet中，第一层中的卷积核的size为1111.第二层中的卷积核的size为55，之后的卷积核的size全部为33.此外，第1，2，5个卷积层的之后都使用了size为33，步长为2的最大池化。

紧接着最后一个卷积层是两个输出个数位4096的全连接层。

AlexNet采用了丢弃法来控制全连接层的模型复杂度。而LeNet没有使用丢弃。

AlexNet引入了大量的图像变换，如旋转，裁剪，颜色变换等等，进一步扩大了数据集来缓解数据过拟合的问题

AlexNet网络：

(1).激活函数使用ReLU替代Tanh或Sigmoid加快训练速度，解决网络较深时梯度弥散问题。

(2).训练时使用Dropout随机忽略一部分神经元，以避免过拟合。

(3).使用重叠最大池化(Overlapping Max Pooling)，避免平均池化时的模糊化效果；并且让步长比池化核的尺寸小，提升特征丰富性。filter的步长stride小于filter的width或height。一般，kernel(filter)的宽和高是相同的，深度(depth)是和通道数相同的。

(4).使用LRN对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其它反馈较小的神经元，增强了模型泛化能力。LRN只对数据相邻区域做归一化处理，不改变数据的大小和维度。

(5).数据扩充(Data Augmentation)：训练时随机地从256*256的原始数据中截取227*227大小的区域，水平翻转；光照变换。增加了数据量，大大减少过拟合，提升泛化能力。

(6).多GPU并行运算。

AlexNet输入是一种属于1000种不同类别的一张BGR图像，大小为227*227，输出是一个向量，大小为1000。输出向量的第i个元素值被解释为输入图像属于第i类的概率。因此，输出向量的所有元素的总和为1。

AlexNet架构：

5个卷积层(Convolution、ReLU、LRN、Pooling)+3个全连接层(InnerProduct、ReLU、Dropout)，predict时对各层进行说明：参照https://github.com/BVLC/caffe/blob/master/models/bvlc_alexnet/deploy.prototxt

(1).输入层(Input)：图像大小227*227*3。如果输入的是灰度图，它需要将灰度图转换为BGR图。训练图大小需要为256*256，否则需要进行缩放，然后从256*256中随机剪切生成227*227大小的图像作为输入层的输入。

(2).卷积层1+ReLU+LRN：使用96个11*11的filter，stride为4，padding为0，输出为55*55*96，96个feature maps，训练参数(11*11*3*96)+96=34944。

(3).最大池化层：filter为3*3，stride为2，padding为0，输出为27*27*96，96个feature maps。

(4).卷积层2+ReLU+LRN：使用256个5*5的filter，stride为1，padding为2，输出为27*27*256，256个feature maps，训练参数(5*5*96*256)+256=614656。

(5).最大池化层：filter为3*3，stride为2，padding为0，输出为13*13*256，256个feature maps。

(6).卷积层3+ReLU：使用384个3*3的filter，stride为1，padding为1，输出为13*13*384，384个feature maps，训练参数(3*3*256*384)+384=885120。

(7).卷积层4+ReLU：使用384个3*3的filter，stride为1，padding为1，输出为13*13*384，384个feature maps，训练参数(3*3*384*384)+384=1327488。

(8).卷积层5+ReLU：使用256个3*3的filter，stride为1，padding为1，输出为13*13*256，256个feature maps，训练参数(3*3*384*256)+256=884992。

(9).最大池化层：filter为3*3，stride为2，padding为0，输出为6*6*256，256个feature maps。

(10).全连接层1+ReLU+Dropout：有4096个神经元，训练参数(6*6*256)*4096=37748736。

(11).全连接层2+ReLU+Dropout：有4096个神经元，训练参数4096*4096=16777216。

(12).全连接层3：有1000个神经元，训练参数4096*1000=4096000。

(13).输出层(Softmax)：输出识别结果，看它究竟是1000个可能类别中的哪一个。

当然在实践中，不能完全照搬这个模型的相关参数设置，需要根据不同数据源规格进行调整，而且网上的代码千差万别，参数设置不同，组合方式也不同，需要消化吸收！

本次代码在原有代码的基础上追加了导出网络图的功能，此外变更了模型，预置条件：

1、安装graphviz应用

2、pip install torchviz

第一步，导入torch、numpy、matplotlib等包

1. import time
2. import torch
4. import matplotlib.pyplot as plt
5. import numpy as np
6. import torch.nn.functional as F
7. import torchvision
9. from torch import nn, optim
10. from torchvision.datasets import CIFAR10
11. from torchvision.transforms importCompose, ToTensor, Normalize, Resize
12. from torch.utils.data importDataLoader
13. from torchviz import make_dot
15. import torchvision.transforms as transforms
16. from sklearn.metrics import accuracy_score

第二步，定义全局参数

1. # 定义全局参数
2. model_name='AlexNet'# 定义模型名称
3. BATCH_SIZE = 64# 批次大小
4. EPOCHS = 20# 迭代轮数
5. Loss= [] # 计算损失率
6. Accuracy= [] # 计算准确率
7. # 设备
8. DEVICE = 'cuda'if torch.cuda.is_available() else'cpu'

第三步，数据转换设置，并进行数据加载

1. # 数据转换
2. transformers = Compose(transforms=[ToTensor(), Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])
4. # 数据装载
5. # MNIST 包含 0~9的手写数字, 共有 60000个训练集和 10000个测试集. 数据的格式为单通道 28*28的灰度图.
6. dataset_train = CIFAR10(root='./data', train=True, download=True, transform=transformers)
7. dataset_test = CIFAR10(root='./data', train=False, download=True, transform=transformers)
8. dataloader_train = DataLoader(dataset=dataset_train, batch_size=BATCH_SIZE, shuffle=True)
9. dataloader_test = DataLoader(dataset=dataset_test, batch_size=BATCH_SIZE, shuffle=True)
10. classes = ('plane', 'car', 'bird', 'cat','deer', 'dog', 'frog', 'horse', 'ship', 'truck')

第四步，图片显示设置

1. # 显示图片
2. def imshow(img):
3. img = img / 2+ 0.5# unnormalize
4. npimg = img.numpy()
5. # np.transpose 交换坐标轴,即将图片色素进行坐标翻转
6. plt.imshow(np.transpose(npimg, (1, 2, 0)))

第五步，定义AlexNet网络

2. # 定义AlexNet网络
3. classAlexNet(nn.Module):
4. def __init__(self):
5. super(AlexNet, self).__init__()
6. # 定义每一个就卷积层
7. self.layer1 = nn.Sequential(
8. # 卷积层 #输入图像为3*32*32
9. nn.Conv2d(3, 32, kernel_size=3, padding=1),
10. # stride默认为1
11. # output_size=(input_size - kernel_size + 2*padding) / stride + 1= （32- 3+ 2*1）/1+ 1= 32
12. # 输出为：32* 32* 32= 32768
13. # 池化层
14. nn.MaxPool2d(kernel_size=2, stride=2), # 池化层特征图通道数不改变，每个特征图的分辨率变小
15. # padding默认为0
16. # output_size=(input_size - kernel_size + 2*padding) / stride + 1= （32- 2+ 2*0）/2+ 1= 16
17. # 输出为：32* 16* 16= 8192
18. # 激活函数Relu
19. nn.ReLU(inplace=True),
20. )
22. self.layer2 = nn.Sequential(
23. nn.Conv2d(32, 64, kernel_size=3, padding=1),
24. # output_size=(input_size - kernel_size + 2*padding) / stride + 1= （16- 3+ 2*1）/1+ 1= 16
25. # 输出为：64* 16* 16= 16384
26. nn.MaxPool2d(kernel_size=2, stride=2),
27. # output_size=(input_size - kernel_size + 2*padding) / stride + 1= （16- 2+ 2*0）/2+ 1= 8
28. # 输出为：64* 8* 8= 4096
29. nn.ReLU(inplace=True),
30. )
32. self.layer3 = nn.Sequential(
33. nn.Conv2d(64, 128, kernel_size=3, padding=1),
34. # output_size=(input_size - kernel_size + 2*padding) / stride + 1= （8- 3+ 2*1）/1+ 1= 8
35. # 输出为：128* 8* 8= 8192
36. )
38. self.layer4 = nn.Sequential(
39. nn.Conv2d(128, 256, kernel_size=3, padding=1),
40. # output_size=(input_size - kernel_size + 2*padding) / stride + 1= （8- 3+ 2*1）/1+ 1= 8
41. # 输出为：256* 8* 8= 16384
42. )
43. self.layer5 = nn.Sequential(
44. nn.Conv2d(256, 256, kernel_size=3, padding=1),
45. # output_size=(input_size - kernel_size + 2*padding) / stride + 1= （8- 3+ 2*1）/1+ 1= 8
46. # 输出为：256* 8* 8= 16384
47. nn.MaxPool2d(kernel_size=3, stride=2),
48. # output_size公式计算非整数时，向下取整
49. # output_size=(input_size - kernel_size + 2*padding) / stride + 1= （8- 3+ 2*0）/2+ 1= 3
50. # 输出为：256* 3* 3= 2034
51. nn.ReLU(inplace=True),
52. )
54. # 定义全连接层
55. self.fc1 = nn.Linear(256* 3* 3, 1024)
56. # 2304- > 1024
57. self.fc2 = nn.Linear(1024, 512)
58. # 1024- > 512
59. self.fc3 = nn.Linear(512, 10)
60. # 512- > 10
61. # 对应十个类别的输出
63. def forward(self, x):
64. x = self.layer1(x)
65. x = self.layer2(x)
66. x = self.layer3(x)
67. x = self.layer4(x)
68. x = self.layer5(x)
69. x = x.view(-1, 256* 3* 3)
70. x = self.fc1(x)
71. x = self.fc2(x)
72. x = self.fc3(x)
74. return x

第六步，定义损失函数和优化器

1. # 定义模型输出模式，GPU和CPU均可
2. model = AlexNet().to(DEVICE)
3. # 定义损失函数
4. criterion = nn.CrossEntropyLoss()
5. # 定义优化器
6. # 使用 SGD（随机梯度下降）优化，学习率为 0.001，动量为 0.9
7. optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9)

第七步，定义模型训练过程函数和模型验证过程函数

1. # 定义模型输出模式，GPU和CPU均可
2. # 定义模型训练过程
3. def train_runner(model, device, trainloader, optimizer, epoch):
4. #训练模型, 启用 BatchNormalization和 Dropout, 将BatchNormalization和Dropout置为True
5. model.train()
6. total = 0
7. correct =0.0
9. # enumerate迭代已加载的数据集,同时获取数据和数据下标
10. for i, data in enumerate(trainloader, 0):
11. inputs, labels = data
12. # 把模型部署到device上
13. inputs, labels = inputs.to(device), labels.to(device)
14. # 初始化梯度
15. optimizer.zero_grad()
16. # 保存训练结果
17. outputs = model(inputs).to(device)
18. # 计算损失和
19. # 多分类情况通常使用cross_entropy(交叉熵损失函数), 而对于二分类问题, 通常使用sigmod
20. loss = F.cross_entropy(outputs, labels)
21. # 获取最大概率的预测结果
22. # dim=1表示返回每一行的最大值对应的列下标
23. predict = outputs.argmax(dim=1)
24. total += labels.size(0)
25. correct += (predict == labels).sum().item()
26. # 反向传播
27. loss.backward()
28. # 更新参数
29. optimizer.step()
30. if i % 1000== 0:
31. # loss.item()表示当前loss的数值
32. print("Train Epoch{} \t Loss: {:.6f}, accuracy: {:.6f}%".format(epoch, loss.item(), 100*(correct/total)))
33. Loss.append(loss.item())
34. Accuracy.append(correct/total)
35. return loss.item(), correct/total
37. # 定义模型验证过程
38. def test_runner(model, device, testloader):
39. # 模型验证, 必须要写, 否则只要有输入数据, 即使不训练, 它也会改变权值
40. # 因为调用eval()将不启用 BatchNormalization和 Dropout, BatchNormalization和Dropout置为False
41. model.eval()
42. # 统计模型正确率, 设置初始值
43. correct = 0.0
44. test_loss = 0.0
45. total = 0
46. # torch.no_grad将不会计算梯度, 也不会进行反向传播
47. with torch.no_grad():
48. for data, label in testloader:
49. data, label = data.to(device), label.to(device)
50. output = model(data).to(device)
51. test_loss += F.cross_entropy(output, label).item()
52. predict = output.argmax(dim=1)
53. # 计算正确数量
54. total += label.size(0)
55. correct += (predict == label).sum().item()
56. # 计算损失值
57. print("test_avarage_loss: {:.6f}, accuracy: {:.6f}%".format(test_loss/total, 100*(correct/total)))

以下为训练了20轮次的效果，可以看出在CPU笔记本上运行了4个多小时，但在6G显卡的GPU上训练只要6分钟，而且准确率提升到74%左右，比LeNet网络提升了15%！

1. start_time 2023-08-1501:09:02
2. TrainEpoch1Loss: 2.308738, accuracy: 4.687500%
3. test_avarage_loss: 0.035032, accuracy: 19.680000%
4. end_time: 2023-08-1501:09:18
6. ...
7. start_time 2023-08-1519:44:20
8. TrainEpoch1Loss: 2.312408, accuracy: 7.812500%
9. test_avarage_loss: 0.034595, accuracy: 21.690000%
10. end_time: 2023-08-1519:46:41
12. ...
14. start_time 2023-08-1600:01:57
15. TrainEpoch20Loss: 0.608510, accuracy: 70.312500%
16. test_avarage_loss: 0.011993, accuracy: 74.830000%
17. end_time: 2023-08-1600:06:05

第八步，进行20轮次的训练和验证

1. # 根据EPOCHS开展训练
2. for epoch in range(1, EPOCHS+1):
3. print("start_time",time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())))
4. loss, acc = train_runner(model, DEVICE, dataloader_train, optimizer, epoch)
5. Loss.append(loss)
6. Accuracy.append(acc)
7. test_runner(model, DEVICE, dataloader_test)
8. print("end_time: ",time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())),'\n')
10. # AlexNet网络结构
11. # AlexNet(
12. # (layer1): Sequential(
13. # (0): Conv2d(3, 32, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
14. # (1): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
15. # (2): ReLU(inplace=True)
16. # )
17. # (layer2): Sequential(
18. # (0): Conv2d(32, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
19. # (1): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
20. # (2): ReLU(inplace=True)
21. # )
22. # (layer3): Sequential(
23. # (0): Conv2d(64, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
24. # )
25. # (layer4): Sequential(
26. # (0): Conv2d(128, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
27. # )
28. # (layer5): Sequential(
29. # (0): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
30. # (1): MaxPool2d(kernel_size=3, stride=2, padding=0, dilation=1, ceil_mode=False)
31. # (2): ReLU(inplace=True)
32. # )
33. # (fc1): Linear(in_features=2304, out_features=1024, bias=True)
34. # (fc2): Linear(in_features=1024, out_features=512, bias=True)
35. # (fc3): Linear(in_features=512, out_features=10, bias=True)
36. # )
37. torch.save(model, f'./model/cifar10_{model_name}.pkl') #保存模型
39. print('Finished Training')

第九步，显示训练过程中的损失函数和准确率

1. fig = plt.figure()
2. plt.subplot(2,1,1)
3. plt.plot(Loss)
4. plt.title('Loss')
6. plt.subplot(2,1,2)
7. plt.plot(Accuracy)
8. plt.title('Accuracy')
9. plt.show()

通过matplotlib显示训练过程中的损失函数和准确率的曲线

第十步，对具体数据开展验证工作，红色代码为新增代码

1. dataiter = iter(dataloader_test)
2. images, labels = dataiter.__next__()
4. # 显示图片
5. imshow(torchvision.utils.make_grid(images))
6. print('GroundTruth: ', ' '.join('%5s'% classes[labels[j]]
7. for j in range(BATCH_SIZE)))
8. plt.show()
10. outputs = model(images.to(DEVICE).to(DEVICE))
11. # torchviz 可视化模型
12. model_pic = make_dot(outputs.mean(), params=dict(model.named_parameters()))
13. model_pic.format="png"
14. model_pic.directory = "data"
15. model_pic.view()
16. model_pic.save(f'{model_name}_Digraph.png')
17. # 输出是10个标签的能量。一个类别的能量越大，神经网络越认为它是这个类别。所以让我们得到最高能量的标签
18. _, predicted = torch.max(outputs, 1)
20. print('Predicted: ', ' '.join('%5s'% classes[predicted[j]]
21. for j in range(BATCH_SIZE)))

以下为前64张图片的预测和实际值

1. GroundTruth: plane cat truck dog frog bird horse cat bird frog cat truck truck frog frog horse horse plane car horse deer frog cat ship plane frog deer cat dog horse deer horse ship truck bird truck car cat frog ship bird deer dog car car dog plane bird horse plane plane horse horse plane deer horse frog bird truck deer truck cat ship truck
2. Predicted: plane cat truck cat frog bird horse cat bird frog frog truck truck frog frog horse horse plane car horse deer frog dog ship plane bird deer cat dog truck deer horse ship truck bird truck car horse frog ship dog deer dog car car cat plane dog horse plane plane horse dog ship deer horse frog dog truck deer truck cat ship ship

以下为前64张图片的实际图片，比LeNet网络提升了15%！

这是基于深度学习开展图像识别的第二个模型，有了一定的提升，后续也多少有了更大的信心。