首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Pytorch中如何使用DataLoader对数据集进行批训练

Pytorch中如何使用DataLoader对数据集进行批训练

作者头像
算法与编程之美
发布2023-01-03 19:15:37
发布2023-01-03 19:15:37
1.7K0
举报
  1. 为什么使用dataloader进行批训练 我们的训练模型在进行批训练的时候,就涉及到每一批应该选择什么数据的问题,而pytorch的dataloader就能够帮助我们包装数据,还能够有效的进行数据迭代,以达到批训练的目的。
  2. 如何使用pytorch数据加载到模型

Pytorch的数据加载到模型是有一个操作顺序,如下:

  1. 创建一个dataset对象
  2. 创建一个DataLoader对象
  3. 循环这个DataLoader对象,将标签等加载到模型中进行训练
  1. 关于DataLoader DataLoader将自定义的Dataset根据batch size大小、是否shuffle等封装成一个Batch Size大小的Tensor,用于后面的训练
  1. 使用DataLoader进行批训练的例子

打印结果如下:

  1. 结语

Dataloader作为pytorch中用来处理模型输入数据的一个工具类,组合了数据集和采样器,并在数据集上提供了单线程或多线程的可迭代对象,另外我们在设置shuffle=TRUE时,每下一次读取数据时,数据的顺序都会被打乱,然后再进行下一次,从而两次数据读取到的顺序都是不同的,而如果设置shuffle=False,那么在下一次数据读取时,不会打乱数据的顺序,也因此两次读取到的数据顺序是相同的,并且我们通过借助tensor展示各种参数的功能,能为后续神经网络的训练奠定基础,同时也能更好的理解pytorch。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-11-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 算法与编程之美 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档