首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Pytorch小技巧-数据增强(下)

Pytorch小技巧-数据增强(下)

作者头像
用户6719124
发布于 2019-12-09 10:49:39
发布于 2019-12-09 10:49:39
1.7K00
代码可运行
举报
运行总次数:0
代码可运行

Scale(缩放操作)

上图可见,图片由左至右分别增大了20%、40%。

利用之前知识可以采用Resize操作,如将28*28转化成32*32。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
train_loader = torch.utils.data.DataLoader(
    datasets.MNIST('data', train=True, download=True,
                   transform=transforms.Compose([
                       transforms.RandomHorizontalFlip(),
# transforms.RandomHorizontalFlip()为水平翻转
                       transforms.RandomVerticalFlip(),
# transforms.RandomHorizontalFlip()为上下翻转
                       transforms.RandomRotation(15),
# 随机旋转了-15°至15°
                       transforms.ToTensor(),
                       transforms.RandomRotation([90, 180, 270]),
# 或者自定义旋转了90°, 180°, 270°
                       transforms.Resize([32, 32]),
# 转化到32*32
                   ])),
     batch_size=batch_size, shuffle=True)

还有Crop Part(裁剪)部分

局部增强,一般裁剪操作是配合图片旋转操作共同进行,先裁减掉一部分,再进行旋转即可。

代码如下

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
train_loader = torch.utils.data.DataLoader(
    datasets.MNIST('data', train=True, download=True,
                   transform=transforms.Compose([
                       transforms.RandomHorizontalFlip(),
# transforms.RandomHorizontalFlip()为水平翻转
                       transforms.RandomVerticalFlip(),
# transforms.RandomHorizontalFlip()为上下翻转
                       transforms.RandomRotation(15),
# 随机旋转了-15°至15°
                       transforms.ToTensor(),
                       transforms.RandomRotation([90, 180, 270]),
# 或者自定义旋转了90°, 180°, 270°
                       transforms.Resize([32, 32]),
# 转化到32*32
                       transforms.RandomCrop([28, 28])
# 先旋转了15°,转换成32*32,再取28*28部分
                   ])),
     batch_size=batch_size, shuffle=True)

还有一个不是很常见的操作Noise(噪声处理)

pytorch中暂时还没有相关接口,这里不再赘述

要注意的是,这种数据增强的操作是会对模型的训练有所帮助,因为它或多或少的增加了一些可用于学习的数据。

即便理论上他可以将少数的照片扩展成无数张照片,但作用并不会有那么大。因为他们间的差别很小,反而会导致训练时间延长。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-12-05,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 python pytorch AI机器学习实践 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Pytorch小技巧-数据增强(上)
那么在现实生活中,想要得到大量的数据,不仅要收集各种情景下、各种角度、各个位置的照片,还有确保数据的多样性。
用户6719124
2019/12/05
2.1K0
Pytorch小技巧-数据增强(上)
Data augmentation
目前深度学习神经网络对数据的要求很高,不仅数据要相关,而且要求有尽可能更大的数据集。在现实生活中,要想得到大量的数据,不仅要收集各种情景下、各种角度、各个位置的照片,还要确保数据的多样性,只有这样才能确保神经网络学到的特征更加全面
mathor
2020/02/14
7990
Data augmentation
Pytorch 中的数据增强方式最全解释
本文主要介绍 Pytorch 中 torchvision.transforms 几个数据增强函数的使用
机器视觉CV
2019/10/28
7.8K0
Pytorch 中的数据增强方式最全解释
【小白学PyTorch】7 最新版本torchvision.transforms常用API翻译与讲解
这个Transforms是常见的图像的转换(包含图像增强等), 然后不同的transforms可以通过Compose函数连接起来(类似于Sequence把网络层连接起来一样的感觉)。后面的是关于图像分割任务了的介绍,因为入门PyTorch主要是图像分类,所以后面先不提了。
机器学习炼丹术
2020/09/14
1.4K0
【小白学PyTorch】7 最新版本torchvision.transforms常用API翻译与讲解
我用 PyTorch 复现了 LeNet-5 神经网络(MNIST 手写数据集篇)!
详细介绍了卷积神经网络 LeNet-5 的理论部分。今天我们将使用 Pytorch 来实现 LeNet-5 模型,并用它来解决 MNIST数据集的识别。
红色石头
2022/01/10
2.6K0
我用 PyTorch 复现了 LeNet-5 神经网络(MNIST 手写数据集篇)!
AI 应用冷启动困境破解:小样本学习在垂直领域的迁移适配实战
家人们,在 AI 应用的世界里,冷启动堪称 “头号难题”。就好比你开了一家超有格调的新店,却无人问津,AI 模型就算潜力无限,没有足够数据 “投喂”,也只能 “巧妇难为无米之炊”。不过别慌,小样本学习如同 “及时雨”,在垂直领域的迁移适配实战中,正发挥着大作用!今天,咱就全方位探秘小样本学习,帮你破解 AI 应用冷启动困境。
小白的大数据之旅
2025/04/04
2510
AI 应用冷启动困境破解:小样本学习在垂直领域的迁移适配实战
【论文复现】LeNet-5
LeNet是最早的卷积神经网络之一。1998年,Yann LeCun第一次将LeNet卷积神经网络应用到图像分类上,在手写数字识别任务中取得了巨大成功。LeNet通过连续使用卷积和池化层的组合提取图像特征。 出自论文 《Gradient-Based Learning Applied to Document Recognition》 。
Eternity._
2024/11/30
4250
【论文复现】LeNet-5
Pytorch的十二生肖分类挑战
在贝塔斯曼AI Udacity奖学金中,学者们不仅必须完成AI Udacity课程,而且还相互挑战,以应用在课程中收集和实践的技能和知识。这些挑战之一是中国十二生肖分类挑战。马上就是中国农历新年之际。
代码医生工作室
2020/02/19
1.4K0
Pytorch的十二生肖分类挑战
LeNet-5(论文复现)
LeNet是最早的卷积神经网络之一。1998年,Yann LeCun第一次将LeNet卷积神经网络应用到图像分类上,在手写数字识别任务中取得了巨大成功。LeNet通过连续使用卷积和池化层的组合提取图像特征。 出自论文《Gradient-Based Learning Applied to Document Recognition》。
Srlua
2024/11/30
3130
LeNet-5(论文复现)
小白学PyTorch | 8 实战之MNIST小试牛刀
在这个文章中,主要是来做一下MNIST手写数字集的分类任务。这是一个基础的、经典的分类任务。建议大家一定要跟着代码做一做,源码和数据已经上传到公众号。回复【pytorch】获取数据和源码哦~
机器学习炼丹术
2020/09/14
8210
小白学PyTorch | 8 实战之MNIST小试牛刀
我用 PyTorch 复现了 LeNet-5 神经网络(自定义数据集篇)!
我用 PyTorch 复现了 LeNet-5 神经网络(MNIST 手写数据集篇)!
红色石头
2022/01/10
1.7K0
我用 PyTorch 复现了 LeNet-5 神经网络(自定义数据集篇)!
使用PyTorch进行知识蒸馏的代码示例
随着机器学习模型的复杂性和能力不断增加。提高大型复杂模型在小数据集性能的一种有效技术是知识蒸馏,它包括训练一个更小、更有效的模型来模仿一个更大的“教师”模型的行为。
deephub
2023/02/01
1.2K0
源码级理解Pytorch中的Dataset和DataLoader
朋友,你还在为构建Pytorch中的数据管道而烦扰吗?你是否有遇到过一些复杂的数据集需要设计自定义collate_fn却不知如何下手的情况?你是否有遇到过数据管道加载速度过慢成为训练性能瓶颈却不知道如何优化的情况?
lyhue1991
2023/02/23
1.4K0
源码级理解Pytorch中的Dataset和DataLoader
Pytroch入坑 3. 自己的人脸数据+迁移学习(resnet18)
本文转载自:http://www.zhongruitech.com/856941441.html
全栈程序员站长
2022/09/01
4070
Pytroch入坑 3. 自己的人脸数据+迁移学习(resnet18)
你需要知道的11个Torchvision计算机视觉数据集
来源:新机器视觉 本文约3800字,建议阅读8分钟 本文介绍了11个Torchvision计算机视觉数据集。 计算机视觉是一个显著增长的领域,有许多实际应用,从自动驾驶汽车到面部识别系统。该领域的主要挑战之一是获得高质量的数据集来训练机器学习模型。 Torchvision作为Pytorch的图形库,一直服务于PyTorch深度学习框架,主要用于构建计算机视觉模型。 为了解决这一挑战,Torchvision提供了访问预先构建的数据集、模型和专门为计算机视觉任务设计的转换。此外,Torchvision还支持C
数据派THU
2023/04/25
1.3K0
你需要知道的11个Torchvision计算机视觉数据集
数据增强之裁剪、翻转与旋转
数据增强又称为数据增广,数据扩增,它是对训练集进行变换,使训练集更丰富,从而让模型更具泛化能力。
timerring
2023/07/20
8150
数据增强之裁剪、翻转与旋转
Pytorch的基本介绍及模型训练流程
PyTorch是一个很著名的支持GPU加速和自动求导的深度学习框架,在最近几年收到学术界的热捧,主要是因为其动态图机制符合思维逻辑,方便调试,适合于需要将想法迅速实现的研究者。PyTorch是Torch7团队开发的。Torch是一个开源科学计算框架,可以追溯到2002年纽约大学的项目。Torch的核心在于在构建深度神经网络及其优化和训练,为图像,语音,视频处理以及大规模机器学习问题提供快速高效的计算方案。为了追求更高的速度,灵活性和可扩展性,Torch采用Lua作为它的开发语言,但lua语言的受众比较局限。为了满足当今业界里Python先行(Python First)的原则,PyTorch应运而生,由Facebook人工智能研究员(FAIR)于2017年在GitHub上开源。顾名思义,PyTorch使用python作为开发语言,近年来和tensorflow, keras, caffe等热门框架一起,成为深度学习开发的主流平台之一。
Here_SDUT
2022/09/19
1.9K0
Pytorch的基本介绍及模型训练流程
从零开始学Pytorch(十八)之kaggle图像分类
我们将运用在前面几节中学到的知识来参加Kaggle竞赛,该竞赛解决了CIFAR-10图像分类问题。比赛网址是https://www.kaggle.com/c/cifar-10.
墨明棋妙27
2022/09/23
4820
Datawhale 零基础入门CV赛事-Task2 数据读取与数据扩增
由于赛题数据是图像数据,赛题的任务是识别图像中的字符。因此我们首先需要完成对数据的读取操作,在Python中有很多库可以完成数据读取的操作,比较常见的有Pillow和OpenCV。
致Great
2020/05/26
5990
利用pytorch实现图像识别demo
2.准备数据集,并将其转换为适合PyTorch使用的格式(例如,利用 torchvision 库中的 transform 处理图像数据,并将其转换为 tensor)。
疯狂的KK
2023/03/26
1.2K0
推荐阅读
相关推荐
Pytorch小技巧-数据增强(上)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档