上半节讲到一个数据集正常需要划分为train、validation和test三个数据集,那么具体到代码中是如何实现的?
需要注意的是正常代码提供的是两种划分,即train和test两部分,我们在划分train的数据集中再划分为两部分,即可设定val数据集。
代码如下
print('train:', len(train_db), 'test:', len(test_db))
# 首先先查看train和test数据集的数量,看看是否满足预订的分配目标
train_db, val_db = torch.utils.data.random_split(train_db, [50000, 10000])
# 随机分配法将数据分为50k和10k的数量
train_loader = torch.utils.data.DataLoader(
train_db,
batch_size = batch_size, shuffle=True)
# 将数据喂给Loader中
val_loader = torch.utils.data.DataLoader(
val_db,
batch_size = batch_size, shuffle=True)
那么这种划分方式也会有一些问题,如下图,假设我们得到的总数据量为70k。
那么此时test set中的数据是无法使用的,这样便只有50K+10K的数据集可以供给神经网络学习,而还有10K的val数据集无法用于backward。因此为增加数据量,使函数模型更准确,我们使用K-fold cross-validation法,将这60K数据重新随机划分出50K的train set和10K的Val set。如下图所示
这样白色部分为新划分的Val set,两个黄色部分加一块为Train set。
依次类似,每进行一次epoch,便将新的数据喂给了train set。这样做的好处是使得数据集中的每一个数据都有可能加入到train set中,防止神经网络对相同的数据产生一个记忆特性。
叫K-fold cross-validation的原因在于
假设有60K的train+val数据集可供使用,分成了N份。
每次取N-1/N份用来做train,另外1/N份用来做validation,
这种方式总的来说对神经网络的提升不会很大。
本文分享自 python pytorch AI机器学习实践 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!