我在txt文件中有一个大小为(20000000,500)的2D数组。由于它太大了，无法放入我的计算机，我将不得不预取它并使用pytorch训练我的模型。我想我需要使用带有'prefetch_factor‘参数的dataLoader。有人知道我会怎么做吗？谢谢。
浏览 160提问于2021-06-20得票数 1
1回答
我正试着用数据采集器进行训练。数据集为150 g，都是.npz文件。由于内存大小的限制，每次只从磁盘读取一个示例。下面是代码的一部分。, batch_size=32, num_workers = 8, num_gpus = 4)train_data = DataLoader(dataset_val, batch_size=args.batch_size, pin_memory=True, num_worker
浏览 2提问于2021-04-22得票数 1
回答已采纳
我试图使用一个HPC节点运行一个自动编码器，该节点有2个CPU，每个CPU都有20个核心(因此每个节点有40个CPU)。在使用torch.utils.data.DataLoader时，我将num_workers指定为40而不是20，因为我认为有40个CPU核可用。:481: UserWarning: This `DataLoader` will create 40 worker processes in total.cpuset_checked))
这让我很困惑，因为我认为工人的最大数量应该是40人，而不
浏览 34提问于2021-12-08得票数 0
multinomial') 在我的jupyter有办法修复LogisticRegression模型的代码吗？然后，我运行了一个随机()来对所有的数据进行洗牌。并创建一个X_train_full来调整图像<em
浏览 2提问于2021-02-06得票数 0
抱歉，如果我说的是错的--新的火把。 for data, target in trainloader:在此方法中，培训加载器是通过执行以下操作来实现的trainloader = DataLoader(my_data)我
浏览 2提问于2020-03-30得票数 0
回答已采纳
我开始使用pytorch-lightning，并面临着我的自定义数据加载器的问题：
我正在使用自己的数据集和通用的torch.utils.data.DataLoader。基本上，数据集采用一条路径并加载与数据加载器加载的给定索引相对应的数据。当我使用
浏览 1提问于2020-05-26得票数 1
我可以运行Pytorch的教程notebook中关于数据加载的所有单元(pytorch tutorial)。但是当我用OpenCV代替Skimage来调整图像大小时，数据加载器就卡住了，也就是说什么也没发生。 在Rescale类中： class Rescale(object):
.....和for loop通过以下方式定义： dataloader = DataLoader(transformed_datase
浏览 29提问于2019-01-03得票数 3
回答已采纳
1回答
在我的大学学习中，我正在上一门关于机器学习的课程，我有一个问题，我不知道如何将一个CSV文件加载到Dataloader中，然后测试它，有人能引导我完成这个过程吗？这是代码from torch.utils.data import DataLoaderimport pandastrain_data1.values,dtype = dtype)
torch_tensor2 = torch.tensor(test_data1
浏览 7提问于2022-02-23得票数 0
当涉及到采用默认数据集(例如datasets.ImageFolder)的Pytorch时，我们可以找到数据中心与len(dataloader)一起使用的数据集的大小。然而，WebDataset呢？由于WebDataset是一个PyTorch数据集，是否有可能获得加载程序的大小，而该加载程序需要一个WebDataset？
浏览 41提问于2022-10-01得票数 1
n_grams.append(n_gram) return n_grams, document_ids
train_data = create_pytorch_datasets1182, 7086, 1149], ]),
ten
浏览 25提问于2020-07-16得票数 0
回答已采纳
我正在尝试在Pytorch中加载MNIST数据集，并使用内置的dataloader来迭代训练示例。然而，在迭代器上调用next()时，我得到了一个错误。我对CIFAR10没有这个问题。/data', train=True, transform=transform, download=True)
dataloader = torch.utils.data.DataLoader(dataset, batch_size=batch_siz
浏览 47提问于2019-07-21得票数 1
回答已采纳
1回答
在这里，我试图加载在谷歌科拉布的培训图像。在这里，100000张图片可以在10个子文件夹中获得。这个细胞运行了54分钟。这需要更多的时间。有什么有效的方法吗？
浏览 4提问于2021-03-27得票数 0
我正在训练一个深度学习模型，使用谷歌的Colab对NIH的胸部Xray-14数据集中的疾病进行多标签分类。我不能一次将所有图像加载到Dataloader中，因为大约有112k个训练样本和有限的RAM。有没有办法在pytorch的DataLoader中只存储图像的路径，在训练期间只读取当前迭代所需的那些图像，一旦迭代完成，图像就会从内存中卸载，依此
浏览 10提问于2019-09-08得票数 2
回答已采纳
我目前正在尝试制作一个自定义的PyTorch DataLoader。但是，我想知道是否可以反向执行，即DataLoader从后面计算批次数和计数。我问这个问题的原因是因为我当前使用的数据是时间序列数据，而我希望使用最新的样本，因此如果“剩余”样本是从数据的最旧部分删除的，那将是最理想的。我想过
浏览 83提问于2019-11-14得票数 0
我正在尝试使用PyTorch数据加载器加载图像数据集，但生成的转换是平铺的，并且没有像我预期的那样将原始图像裁剪到中心。transforms.ToTensor()])
dataloader= torch.utils.data.
浏览 39提问于2020-11-06得票数 0
我感兴趣的是如何将转换应用到由PyTorch DataLoader类生成的批处理中。奇怪的是，直接返回输出确实会返回一个Tensor，所以任何解释都会非常感谢！
我理解，一般说来，数据转换应该在子类Dataset类中完成。然而，在我的例子中，数据是表格的，转换是通过numpy进行的，并且从样本的角度进行转换要比在整个批处理上做它慢得多(5倍)，因为这些操作肯定是在引擎盖下向量化<e
浏览 8提问于2022-04-04得票数 0
2回答
挂有火把的数据库笔记本
、、、
我们有一个数据库笔记本的问题。我们的笔记本细胞中似乎有一个挂着，而驱动程序日志显示笔记本细胞已经被执行。有人知道为什么我们的笔记本电脑一直挂着，而且不完整吗？详见下文。Situation
我们使用的是带有的单
浏览 14提问于2022-05-10得票数 2
如何从DataLoader加载整个数据集？我只得到了一批数据集。这是我的代码images, labels = next(iter(dataloader))
浏览 0提问于2019-08-07得票数 5
我是PyTorch的初学者。我想使用NYU数据集训练一个网络，但我得到了一个错误。 ? 当我使用Dataloader加载我的本地数据集时发生错误，我想打印数据以证明代码是正确的： test=Mydataset(data_root,transforms,'image_train')
test2=DataLoader(test,batch_size=4,num
浏览 83提问于2021-09-07得票数 0
回答已采纳
1回答
我编写了一个自定义的pytorch Dataset，__getitem__()函数返回一个形状为(250, 150)的张量，然后使用DataLoader生成一批批大小为10的数据。我的意思是在维数为0将这10个张量连在一起时，生成一个带有形状(2500, 150)的批处理，但是DataLoader的输出具有形状(10, 250, 150)。如何将DataLoader</em
浏览 1提问于2021-10-12得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
