腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
1
回答
在PyTorch数据集中使用
的
len函数在哪里?
、
、
、
、
我希望使用来自
的
代码。然而,我看
的
是方框5,其中有以下函数; # Default epoch size is 10 000 samples在整个脚本
中
,我看不到使用此函数
的
任何地方。此外,我想确定用于训练卷积神经网络
的
图像补丁
的
数量。这个len函数是否与补丁
的
数量相关联?
浏览 26
提问于2018-02-04
得票数 2
回答已采纳
1
回答
DataLoader
工作人员(Pid)6576意外退出
、
我得到了代码
的
错误
dataloader
=
DataLoader
(dataset=dataset,
批处理
大小
= 4,洗牌= True,num_workers=1)
浏览 3
提问于2022-04-01
得票数 0
1
回答
批量归一化和梯度下降
的
批量
大小
、
、
我们需要为GD和归一化选择
批处理
大小
,它们都称为
批处理
大小
,但在实际实现
中
,它们需要相同吗?或者框架如何处理它们?例如,在Pytorch
中
,在
dataloader
中
定义了一个批量
大小
,例如batch_size=16,num_workers=4)self.bn1 = nn.Bat
浏览 1
提问于2020-04-19
得票数 0
1
回答
如何在collate_fn中使用LibTorch
、
、
我试图实现一个基于图像
的
回归,使用CNN在lib手电。问题是,我
的
图像有不同
的
大小
,这将导致异常
批处理
图像。首先,我创建了我
的
dataset然后我创建了
dataLoader
auto
dataLoader
= torch::data::make_data_loader( std::mov
浏览 1
提问于2021-09-28
得票数 0
回答已采纳
1
回答
如何知道传递到GPU
的
数据是否会导致CUDA内存不足
、
、
、
我正在使用GPU运行一些非常大
的
深度学习模型,当我选择
批处理
大小
为8
的
时候,它可以放入内存
中
,但如果我使用
批处理
大小
为16,它将导致CUDA内存不足错误,我必须杀死进程。我
的
问题是,在真正将数据传递到GPU之前,有没有一种方法可以让我知道GPU
中
的
数据量有多大?train_
dataloader
=
DataLoader
(train_data, sampler=train_sampl
浏览 31
提问于2020-08-17
得票数 2
1
回答
DataLoader
中
的
批处理
大小
、
我有两个张量: x[train], y[train] 它
的
形状是 (311, 3, 224, 224), (311) # 311 Has No Information 我想使用
DataLoader
逐批加载它们,我写
的
代码是: from torch.utils.data import Dataset tra
浏览 29
提问于2021-08-28
得票数 0
回答已采纳
3
回答
当示例数量不能完全除以批量
大小
时,Pytorch
DataLoader
会失败
我在pytorch
中
编写了一个自定义数据加载器类。但当迭代一个时期内
的
所有
批处理
数时,它会失败。例如,假设我有100个数据示例,我
的
批处理
大小
是9。它将在第10次迭代
中
失败,因为
批处理
大小
不同,这将给出一个
批处理
大小
为1而不是10。我已经将我
的
自定义数据加载器放在下面。此外,我还将如何从加载程序中提取数据放在for循环中。class FlatDirectoryAudioDatase
浏览 1
提问于2019-06-13
得票数 10
回答已采纳
1
回答
是否有一种方法可以获得连续例子
的
批次?
、
我有一个包含10,000+示例
的
数据集,并使用
Dataloader
创建
大小
为50
的
批。我试图找到一种方法,让
批处理
1从示例1开始,结束于示例50,然后
批处理
2开始于示例2,结束于示例51,等等。这是我使用
DataLoader
的
一个片段: train_loader = torch.utils.data.
DataLoader
(train, batch_size=batch_size, drop_last
浏览 1
提问于2019-04-07
得票数 1
1
回答
使用不同长度
的
批次进行PyTorch训练?
是否有可能在一个时期内使用长度不等
的
批次来训练模型?我是pytorch
的
新手。
浏览 69
提问于2021-02-10
得票数 0
回答已采纳
1
回答
正确
的
方法来创建Pytorch数据集,返回RNN
的
数据序列?
、
、
、
、
我正在尝试对时间序列数据进行RNN训练,虽然有很多关于如何构建RNN模型
的
教程,但我在为这个任务构建
dataloader
对象方面遇到了一些困难。数据都将是相同
的
长度,所以也不需要填充。到目前为止,我采取
的
方法是返回dataset类上
的
getitem函数
中
的
一系列数据,并将长度定义为不过,我觉得这有点“无趣”,应该有一个更恰当
的
办法。更具体地说,我认为以某种方式在Py电传数据集构造函数
中
浏览 0
提问于2018-08-20
得票数 2
回答已采纳
1
回答
PyTorch -丢弃数据处理机
批处理
、
、
我有一个自定义
的
Dataset,它从大文件中加载数据。有时,加载
的
数据是空
的
,我不想使用它们进行培训。在Dataset
中
,我有: (x, y) = self.getData(i) #getData loads data and handlesproblems 在数据返回错误
的
情况下,(None, None) (x和y都是None)。但是,它后来在
DataLoader
浏览 1
提问于2021-09-24
得票数 1
回答已采纳
1
回答
如何从头开始制作PyTorch
DataLoader
?
、
、
、
是否可以从头开始重新创建PyTorch
DataLoader
的
简单版本?类应该能够根据
批处理
大小
返回当前
批处理
。例如,下面的代码只允许我在此时返回一个示例 def __init__(selfreturn len(self.X) def __getitem__(self, index):但
浏览 2
提问于2020-11-02
得票数 0
回答已采纳
6
回答
从PyTorch
DataLoader
获取单个随机示例
、
如何从PyTorch
中
获得一个随机示例请注意,我不想要一个图像和标签每小批,我想要一个总共一个例子。
浏览 2
提问于2018-12-01
得票数 22
回答已采纳
2
回答
Pytorch:在torch.utils.random_split()在
dataloader
.dataset上使用后,数据
中
缺少批
大小
、
、
、
我使用random_split()将我
的
数据划分为训练和测试,并且我观察到,如果在创建数据器之后进行随机分割,那么当从
dataloader
获得一批数据时,批
大小
就会丢失。# %%images_test.shape len(testloader)输出:
浏览 0
提问于2019-12-13
得票数 1
回答已采纳
1
回答
GRU中用于分类
的
不匹配dims
、
、
、
我试图完成一项任务并编写简单
的
RNN。batch_size, hid dim * num directions] return self.fc(hidden)loss_func = nn.BCEWithLogitsLoss() 但我知道这个错误: ValueError:目标
大小
(torch.Size(64))必须与输入
大小
相同
浏览 2
提问于2021-10-27
得票数 0
回答已采纳
1
回答
为什么迭代一个火炬数据中心永远都不会结束,永远都不会结束?
、
我已经创建了一个长度为50000
的
数据采集器。当我计算它
的
长度时,它会打印出50000。
浏览 5
提问于2022-08-15
得票数 1
回答已采纳
1
回答
SDG批量>1?
、
、
我正在学习IBM
的
“使用PyTorch
的
深度NNs”课程,并且我遇到了一些实验室示例,其中SDG用于优化器,而
DataLoader
中
的
批处理
大小
大于1。例如,如果
批处理
大小
= 20,SGD优化器会在每批
中
执行20个GD步骤吗?如果是这样的话,那么这是否意味着无论我为
DataLoader
设置了多大
的
批
大小
,SGD优化器都只会在一个时代执行GD步骤(训练示例
的
浏览 6
提问于2022-05-01
得票数 0
1
回答
如何沿着一个单支火枪张量
的
维数连接?
、
、
我编写了一个自定义
的
pytorch Dataset,__getitem__()函数返回一个形状为(250, 150)
的
张量,然后使用
DataLoader
生成一批批
大小
为10
的
数据。我
的
意思是在维数为0将这10个张量连在一起时,生成一个带有形状(2500, 150)
的
批处理
,但是
DataLoader
的
输出具有形状(10, 250, 150)。如何将
DataLoader
的
输出转换为(2
浏览 1
提问于2021-10-12
得票数 0
回答已采纳
2
回答
如何确保一个
批处理
包含来自所有使用PyTorch
的
DataLoader
的
工作人员
的
样本?
、
我想知道如何在PyTorch中使用torch.utils.data.
DataLoader
,特别是在多工作者
的
情况下。 我发现
DataLoader
的
一个
批处理
输出总是来自一个worker。我期望在
DataLoader
中有一个队列来存储来自所有工作者
的
数据,并且
DataLoader
在队列
中
打乱它们以输出随机
的
批处理
数据。在这种情况下,将源文件混合在一个
批处理
中
是很重要
浏览 4
提问于2019-08-30
得票数 5
2
回答
Pytorch
DataLoader
更改dict返回值
、
、
、
、
给定这样读取JSON文件
的
Pytorch数据集:from torch.utils.dataimport
DataLoader
2,
DataLoader
def __init__(self, jsonfilename时,它会以列表
的
形式返回数据集
的
值,而不是返回值本身。将dict
的
值更改为列表?而且
浏览 18
提问于2022-09-23
得票数 1
回答已采纳
点击加载更多
相关
资讯
批处理字体的大小和颜色
Bat批处理脚本中的 IF 语句
Bat批处理命令中的goto命令
Bat批处理基础知识(中)
dos命令if教程,bat批处理脚本if条件控制语句,判断变量大小相等
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券