当我有不同的长度数据集时，如何为PyTorch数据加载器定义__len__方法？
在PyTorch中，为数据加载器定义__len__方法可以用于指定数据集的长度。下面是一个示例代码：
import torch
from torch.utils.data import Dataset, DataLoader
class CustomDataset(Dataset):
def __init__(self, data):
self.data = data
def __len__(self):
return len(self.data)
def __getitem__(self, index):
return self.data[index]
# 创建数据集
data = [1, 2, 3, 4, 5]
dataset = CustomDataset(data)
# 创建数据加载器
dataloader = DataLoader(dataset, batch_size=2, shuffle=True)
# 打印数据集长度
print(len(dataset))
# 打印数据加载器长度
print(len(dataloader))在上面的代码中，我们定义了一个自定义的数据集CustomDataset，其中__len__方法返回了数据集的长度，即数据的总数。然后，我们使用DataLoader创建了一个数据加载器dataloader，并指定了批量大小为2和随机打乱数据。最后，我们分别打印了数据集和数据加载器的长度。
对于不同长度的数据集，__len__方法会根据数据集的实际长度进行动态调整，确保数据加载器能够正确迭代数据。这在训练神经网络时非常有用，可以根据数据集的大小自动调整训练的迭代次数。
推荐的腾讯云相关产品：腾讯云AI智能图像识别（https://cloud.tencent.com/product/ai_image）可以用于图像数据集的处理和分析。
相关·内容
我正在尝试在pytorch中加载多模式数据(例如文本和图像)来进行图像分类。我不知道如何同时加载它们，就像下面的代码。 def __init__(self, img_path, txt_path, transform=None, loader=default_loader):
def __len__(self):
return len(self.img_name)
def __getitem__(self, item): 有谁可以帮我？
浏览 39提问于2019-03-22得票数 1
Pytorch中的地图样式数据集具有__getitem__()和__len__()，而迭代式数据集具有__iter__()协议。如果我们使用地图样式，我们可以使用dataset[idx]访问数据，这很棒，但是对于可迭代的数据集，我们不能。
我的问题是，为什么这种区别是必要的？是什么让随机读取的数据如此昂贵，甚至不太可能？
浏览 0提问于2020-08-11得票数 4
我有一个随机的(不确定的，不可重复的)数据的来源，我想包装在Dataset和Dataloader中进行PyTorch培训。我该怎么做？
没有定义__len__，因为源是无限的(有可能的重放)。
__getitem__没有定义，因为源是不确定的.
浏览 4提问于2022-06-30得票数 1
回答已采纳
1回答
通常情况下，当我们在pytorch中加载数据时，我们会执行以下操作
for x, y in dataloaders:
# Do something
然而，在这个名为的数据集中，他们声明了自己的数据集和数据中心，如下所示
train_set = musicnet.MusicNet(root=root, train=True, download=True, window=window)#, pitch_shift=5, jitter=.1)
test_set = musicnet.MusicNet(root=root, train=False, window=window, epoch_s
浏览 0提问于2019-05-21得票数 1
回答已采纳
我一直在跟读Pytorch中的教程，这些教程使用Pytorch的数据集，允许您启用是否愿意使用这些数据进行培训.但是现在我使用的是.csv和自定义数据集。
class MyDataset(Dataset):
def __init__(self, root, n_inp):
self.df = pd.read_csv(root)
self.data = self.df.to_numpy()
self.x , self.y = (torch.from_numpy(self.data[:,:n_inp]),
浏览 2提问于2021-04-27得票数 1
回答已采纳
我将原始数据图像保存在单独的CSV文件中(每个图像在一个文件中)。我想用PyTorch训练一个美国有线电视新闻网。我应该如何加载数据以适合用作CNN的输入？(另外，它是1个通道，图像网络的输入是默认的RGB )
浏览 24提问于2021-08-07得票数 0
回答已采纳
1回答
用于可变尺寸输入的小型批量培训
、、、、
我有一个LongTensors列表和另一个标签列表。我是PyTorch和RNN的新手，所以我很困惑如何为我拥有的数据实现小型批量培训。有更多的这些数据，但我想保持简单，所以我只能理解如何实现小批量培训部分。我正在进行多类分类，基于LSTM/GRU在可变长度输入上训练的最终隐藏状态。我设法使它与批处理大小1(基本上是SGD)工作，但我正在努力实现小型批。
我是否必须将序列压缩到最大大小，并创建一个包含所有元素的更大尺寸的新张量矩阵？我是说像这样：
inputs = pad(sequences)
train = DataLoader(inputs, batch_size=batch_size, s
浏览 3提问于2018-02-14得票数 7
回答已采纳
我有大小为2x8x8的例子作为张量，我正在使用PyTorch数据加载器。但现在我也想添加一个大小为1(单个数字)的1维张量作为输入。 因此，我有两个神经网络的输入参数，一个是卷积层的多维参数，另一个是稍后要连接的额外参数。 也许我可以使用两个数据加载器，对于每个张量形状一个，但我不能洗牌。 如何将单个PyTorch数据读取器用于这两个不同的输入张量？
浏览 34提问于2020-10-29得票数 0
回答已采纳
我想加载我的训练和测试数据
import torch
from torchvision import datasets, transforms
transform = transforms.Compose([transforms.ToTensor(),
transforms.Normalize((0.5, ), (0.5, ))])
trainset = datasets.FashionMNIST('~/.pytorch/F_MNIST_data/', download=True, train=True, tr
浏览 1提问于2019-04-17得票数 0
我正在处理多个文件，以及每个文件中的多个培训样本。我将使用ConcatDataset，如下所述：
除了我的真实样本之外，我还需要有阴性样本，并且我需要从所有的训练数据文件中随机选择我的阴性样本。因此，我想知道，返回的批处理示例是来自单个文件的随机连续夹子，还是跨所有数据文件的多个随机索引的批处理范围？
如果需要更多的细节来说明我到底想要做什么，那是因为我正试图通过一个TPU来训练Pytorch XLA。
通常，对于阴性样本，我只需要使用第二个DataSet和DataLoader，但是，我试图使用Pytorch (alpha是几天前发布的 )在TPUs上进行培训，要做到这一点，我需要将自己的D
浏览 2提问于2019-10-13得票数 2
回答已采纳
假设我有两个数据集，dataset一个有100个项，dataset两个有5000项。
现在，我希望在培训期间，我的模型可以看到数据集1中的项目和dataset 2中的项目。
在Tensorflow，我能做到：
dataset = tf.data.experimental.sample_from_datasets(
[dataset_one, dataset_two], weights=[50,1], seed=None
)
在PyTorch中是否有同样的选择？
我认为通过创建自定义数据集(不起作用的示例)来实现这一点并不太困难。
from torch.utils.data import
浏览 2提问于2020-12-08得票数 2
回答已采纳
我已经对我的数据进行了预处理和标准化，并将其分为训练集和测试集。我的x_train和y_train的尺寸如下: Shape of X_Train：(708,256，3) Shape of y_train：(708，4) 如你所见，x_train是3-D的。如何将其输入pytorch dataloader？我应该为class块放什么？ class training_set(Dataset):
def __init__(self,X,Y):
def __len__(self):
return
def __getitem__(self, idx):
浏览 12提问于2020-01-08得票数 2
回答已采纳
我正在编写一个自定义的pytorch数据集。在__init__中，dataset对象加载包含某些数据的文件。但是在我的程序中，我只希望访问部分数据(如果有帮助的话，可以实现训练/有效剪切)。最初，我认为这种行为是由覆盖__len__控制的，但事实证明，修改__len__并没有帮助。一个简单的例子如下：
from torch.utils.data import Dataset, DataLoader
import torch
class NewDS(Dataset):
def __init__(self):
self.data = torch.randn(10,2) #
浏览 4提问于2020-08-06得票数 2
回答已采纳
我有一个，也许是小问题，但我现在被困了很长时间。希望有人能帮我解决这个问题。我目前使用的是Kddcup99数据集，我喜欢通过DeepLearning (CNN网络)进行培训。
我有一个“数据集”类，其中包括熊猫数据。因此，我分成了普通数据集和验证数据集。到目前为止没问题。我将其加载到一个Numpy向量中，将其传递给张量，然后将其定向到DataLoader。
Dataset类具有以下两个用于迭代的重要类：
def __len__(self):
return len(self.val_df)
def __getitem__(self, index):
浏览 4提问于2020-05-18得票数 2
回答已采纳
1回答
自定义数据集和数据采集器
、、、
我对火把很陌生。我有一个大数据集，包含两个txt文件，一个用于数据，另一个用于目标数据。在训练文件中，每一行是长度340的列表，目标中的每一行是136的列表。
我想问我如何定义我的数据集，以便我可以使用Dataloader来加载我的数据来训练py手电模型？
我告诉你答案
浏览 2提问于2021-01-27得票数 0
回答已采纳
我有两个文本文件来训练变压器模型。然而，我没有使用PyTorch自己的数据集，而是使用了我从互联网上下载的东西。
source = open('./train_de.de', encoding='utf-8').read().split('\n')
target = open('./train_en.en', encoding='utf-8').read().split('\n')
在上面的代码中，我在一个名为"source“的列表中有一些丹麦语句子，而在另一个名为"target”的
浏览 10提问于2022-06-21得票数 0
回答已采纳
1回答
从熊猫到火把的图像数据
、、、
我是全新的火把，并曾在角角和快车工作过。目前正在尝试一项图像回归任务，挑战是我必须加载来自熊猫数据的数据。数据帧结构：
ID Path Score
fig1 /folder/fig1.jpg 2
fig2 /folder/fig2.jpg 3
.....
我以前做过将图像直接从文件夹中加载到pytorch的工作，因为这是一个简单的分类任务，但现在有点卡住了。
我看了一下pytorch论坛，但不知道如何实现。任何帮助都将不胜感激。
浏览 1提问于2020-04-23得票数 3
回答已采纳
我正在编写一个定义__iter__和__len__的类，其中__len__的值取决于__iter__返回的迭代器。我得到了一个有趣的RecursionError。
语言版本:Python3.8.6，3.7.6.示例仅用于说明错误。
在下面的示例中，Iter.__len__()尝试解压缩self，将结果存储在list中，然后尝试调用列表中的内置list.__len__()以获取长度。
>>> class Iter:
... def __iter__(self):
... return range(5).__iter__()
... def __l
浏览 3提问于2020-12-23得票数 7
回答已采纳
1回答
我是PyTorch的新手。奇怪的是，我找不到与此相关的任何东西，尽管这似乎相当简单。
我希望用特定的例子来构造我的批处理，就像每批具有相同标签的所有示例一样，或者仅仅用两个类的示例来填充批处理。
我该怎么做？对我来说，它似乎是数据加载器中正确的位置，而不是数据集中的位置？因为数据加载器负责批处理，而不是数据集？
有没有一个简单的最小的例子？
浏览 3提问于2021-02-05得票数 3
回答已采纳
我是PyTorch的新手，我正在学习如何创建用于分段的批数据。守则如下：
class NumbersDataset(Dataset):
def __init__(self):
self.X = list(df['input_img'])
self.y = list(df['mask_img'])
def __len__(self):
return len(self.X), len(self.y)
def __getitem__(self, idx):
return sel
浏览 2提问于2020-02-12得票数 1
回答已采纳
1回答
我正在学习pytorch，并且我正在尝试实现一篇关于的论文。作者在给定数量的图像上训练网络，而不是给定数量的纪元。
我的问题是:有没有办法在pytorch中使用默认的DataLoaders来做到这一点？我想做一些类似的事情：
loader = Dataloader(..., total=800000)
for batch in iter(loader):
... #do training
加载器自动循环，直到看到800000样本。
我认为我是一种更好的方法，而不是自己计算循环遍历数据集的次数
浏览 2提问于2021-10-03得票数 2
1回答
为了使我的模型更加健壮，我想对我的特征张量进行规范化。
我试着按照我对图片最好的知识标准去做：
class Dataset(torch.utils.data.Dataset):
'Characterizes a dataset for PyTorch'
def __init__(self, input_tensor, transform = transforms.Normalize(mean= 0.5, std=0.5)):
self.labels = input_tensor[:,:,-1]
self.features = input_tensor[:,:,:
浏览 2提问于2020-12-30得票数 0
回答已采纳
我试着做图像分割，我了解了谷歌的工作，DeepLabv3。
这是对论文的参考：
陈，L.C.，Papandreou，G.，Schroff，F.和Adam，H.，2017。语义图像分割的四向卷积的再思考。arXiv预印版arXiv:1706.05587。
该体系结构用于对Pascal 2012数据集(20个前台和1个背景类)的20+1类进行分段。
Pytorch在Pascal数据集上提供了预先培训过的deeplabv3，我想在城市景观上训练同样的架构。因此，Pascal VOC数据集有不同的类。我想知道怎样才是最有效的方法？
就目前而言，这是我编写的唯一代码：
import torch
mode
浏览 4提问于2020-09-14得票数 1
我刚刚开始学习pytorch。
但是，你知道为SSD pytorch创建预训练权重的方法吗？
我们有一个自定义的数据集，所以我们希望使用VGG16在自定义数据集上创建预训练的权重，以增强固态硬盘的性能。
然后从那里带来的权重将用于SSD。
让我知道它的可行性。
提前谢谢你
浏览 11提问于2021-10-22得票数 0
6回答
PyTorch中的数据增强
、、、、
我对在PyTorch中执行的数据增强感到有点困惑。现在，据我所知，当我们执行数据增强时，我们保留原始数据集，然后添加其他版本的数据集(翻转，Cropping...etc)。但这似乎不像发生在PyTorch。据我从参考资料中了解到，当我们在data.transforms中使用PyTorch时，它会逐一应用它们。例如：
data_transforms = {
'train': transforms.Compose([
transforms.RandomResizedCrop(224),
transforms.RandomHorizontalF
浏览 2提问于2018-08-03得票数 81
回答已采纳
我的数据是图像，存储在文件系统中，并通过PyTorch的ImageFolder数据加载器输入到我的卷积神经网络中。因此，training、validation和test数据被手动拆分到文件系统上的不同文件夹中。那么，在使用ImageFolder时如何应用k-fold cross validation呢
浏览 58提问于2020-01-09得票数 2
我正在使用pytorch类和Dataloader来加载数据。类和加载程序如下所示。
class Dataset(Dataset):
def __init__(self):
self.input_and_label = json.load(open(path_to_large_json_file)) # Large file
self.dataset_size = len(self.input_and_label)
def __getitem__(self, index):
# Convert to tensor
浏览 1提问于2022-05-27得票数 1
1回答
我正在尝试用pytorch写一个卷积神经网络。我对机器学习和PyTorch非常陌生，所以我对这个包不是很熟悉。 我已经编写了一个自定义数据集，它已经正确地从csv文件加载了我的数据。但是，当我将其加载到数据加载器中时，我的系统监视器显示python正在使用大量内存。我目前只使用了我的数据集的一小部分，其中一个实例使用了大约5 as作为数据加载器。 我的数据集是1维张量。每一个都很长--大约有3300万个值。我使用sys.getsizeof(train_set.sample_list[0][0].storage())检查了底层张量的大小，它只有271兆字节。 此外，如果我继续创建CNN的一个实
浏览 11提问于2020-04-27得票数 0
在PyTorch中，我编写了一个数据集加载类，用于加载2个文本文件作为源文件和目标文件，用于神经机器翻译。每个文件有93577946行，每个行在硬盘上分配8 8GB的内存。
这个类如下所示：
class LoadUniModal(Dataset):
sources = []
targets = []
maxlen = 0
lengths = []
def __init__(self, src, trg, src_vocab, trg_vocab):
self.src_vocab = src_vocab
self.trg_
浏览 2提问于2018-03-17得票数 3
我正在用PyTorch编写一个著名问题PyTorch的代码.我下载了培训和测试数据集(从主要网站)，包括标记的数据集。数据集格式为t10k-images-idx3-ubyte.gz和提取后的t10k-images-idx3-ubyte。我的dataset文件夹看起来像
MINST
Data
train-images-idx3-ubyte.gz
train-labels-idx1-ubyte.gz
t10k-images-idx3-ubyte.gz
t10k-labels-idx1-ubyte.gz
现在，我编写了一个代码来加载数据，如
def load_dataset():
浏览 3提问于2020-09-26得票数 1
回答已采纳
我需要加载Python以实现以下文件: CelebA 加载CelebA数据集的原始代码是使用MatConvNet和autonn (源15 )编写的。我有源代码，但我不确定是否可以共享它。
这是我第一次使用Pytorch(版本1.9.0+cu102)并在计算机视觉中进行论文实现。
我查看了以下相关问题：
并测试了用户anurag提出的解决方案：
不幸的是，我仍然得到一个语法错误。
下面的代码如下：
import torchvision
from torchvision.datasets import ImageFolder
from torch.utils.data import DataLoa
浏览 1提问于2021-09-08得票数 0
我有一个关于“飞行中”标记的问题。这个问题是通过阅读“如何从零开始使用变形金刚和托卡器来训练一个新的语言模型”提出的。最后有一句话：“如果您的数据集非常大，可以选择动态加载和标记示例，而不是作为预处理步骤”。我尝试了一种将datasets和tokenizers结合起来的解决方案，但是没有找到一个好的模式。
我想这个解决方案需要将一个数据集包装到Pytorch数据集中。
作为的一个具体例子
import torch
class SquadDataset(torch.utils.data.Dataset):
def __init__(self, encodings):
#
浏览 0提问于2020-12-05得票数 4
我有一个自定义Pytorch数据集，它返回一个包含类对象“查询”的字典。
class QueryDataset(torch.utils.data.Dataset):
def __init__(self, queries, values, targets):
super(QueryDataset).__init__()
self.queries = queries
self.values = values
self.targets = targets
def __len__(self):
retu
浏览 5提问于2020-10-29得票数 2
回答已采纳
我正在尝试仅使用PyTorch Mnist数据集中的特定数字创建数据加载器 我已经尝试创建自己的采样器，但它不工作，我不确定我是否使用正确的面具。 class YourSampler(torch.utils.data.sampler.Sampler):
def __init__(self, mask):
self.mask = mask
def __iter__(self):
return (self.indices[i] for i in torch.nonzero(self.mask))
def __len__(sel
浏览 117提问于2019-09-13得票数 3
回答已采纳
1回答
python中类列表对象的长度
、、、、
我正在创建一个类似于列表的对象，它包含了大量的元素，但是当我运行下面的代码时，我会得到一个错误。
class test:
def __init__(self, n):
self.n = n
def __len__(self):
return self.n
instance = test(10**20)
print(len(instance))
我得到的错误是: OverflowError:无法将“int”放入索引大小的整数中。
有人知道出了什么问题吗？
浏览 2提问于2021-01-10得票数 1
回答已采纳
我已经开始使用PyTorch，但我不知道如何找到均值和std作为normalise的输入参数。
我见过这个
transforms.Normalize((0.485, 0.456, 0.406), (0.229, 0.224, 0.225)) #https://pytorch.org/vision/stable/transforms.html#
在另一个例子中：
transformation = transforms.Compose([
transforms.ToTensor(),
transforms.Normalize(mean=[0.5,0.5,0.5],std=[0.5,
浏览 22提问于2021-03-15得票数 1
2回答
这是我们训练NLP的现代深度学习模型的常用方法，例如，在Huggingface库中，输入no有一个固定的长度。指记号/音音单位。https://huggingface.co/docs/transformers/pad_截断
在下面的例子中，我们有5个不同长度的句子，它们都被填充到最大长度设置为1024。
我问题的第一部分是关于GPU内存的使用和pad，当我们训练带有填充输入的批数据的模型时，填充的令牌会占用GPU RAM吗？即使模型不计算它们，因为它们将返回零，这仍然是相当浪费的。
还是PyTorch / Tensorflow或其他低级张量库重新优化批处理，使pads不占用内存？如果是的话，在
浏览 0提问于2023-04-07得票数 2
1回答
PyTorch输入维数
、、、
我正在尝试用PyTorch LSTM训练一个简单的2层神经网络，我在解释PyTorch文档时遇到了困难。具体来说，我不太确定如何处理我的训练数据的形状。
我想做的是通过小型批次在一个非常大的数据集上训练我的网络，每批都有100个元素长。每个数据元素将有5个特性。文档声明该层的输入应该是形状的(seq_len、batch_size、input_size)。我应该如何去塑造输入呢？
我一直在关注这篇文章：，如果我正确地解释了这一点，那么每个小批都应该是形状的(100,100，5)。但是在这种情况下，seq_len和batch_size有什么区别呢？另外，这是否意味着输入的LSTM层的第一层应该有5
浏览 1提问于2019-06-08得票数 8
当涉及到采用默认数据集(例如datasets.ImageFolder)的Pytorch时，我们可以找到数据中心与len(dataloader)一起使用的数据集的大小。然而，WebDataset呢？由于WebDataset是一个PyTorch数据集，是否有可能获得加载程序的大小，而该加载程序需要一个WebDataset？
浏览 41提问于2022-10-01得票数 1
我有一个自定义数据集加载到numpy中的python：(20640x8)输入矩阵，(20640x1)标签向量。
我试图为PyTorch机器学习模型中的培训准备数据，这需要一个训练集和测试集拆分。在我的尝试中，random_split()函数报告了一个错误：
TypeError: randperm()收到了无效的参数组合。
我想不出如何分割数据集。下面是我写的代码：
import numpy as np
import torch
from torch.utils.data import TensorDataset, random_split
x_numpy = # (20640x8) ma
浏览 6提问于2022-08-25得票数 0
2回答
我正在尝试使用来定义我自己的数据集，但我不知道如何加载多个数据源：
我现在的代码是：
class MultipleSourceDataSet(Dataset):
def __init__ (self, json_file, root_dir, transform = None):
with open(root_dir + 'block0.json') as f:
self.result = torch.Tensor(json.load(f))
self.root_dir = root_dir
self.trans
浏览 3提问于2018-11-26得票数 5
回答已采纳
我想根据训练和验证数据集的不同大小来比较模型的性能。
我希望能够构建一个循环，使用10k训练和1k val数据训练我的pytorch模型，并线性增加数据集大小，直到100k训练和10k val数据集大小。
我还需要考虑目标类，因此以某种方式实现分层拆分。我不知道在哪里以及如何实现它。
有谁知道如何轻松地将其嵌入到我的数据集类定义中吗？我能以某种方式在这里实现它吗？
def __len__(self):
return len(self.inputFolderDataset.imgs)
我想另外定义一个数组“size= 10000,20000...100000”来迭代。
提前谢谢你
浏览 1提问于2021-01-07得票数 0
在PyTorch中使用1个以上的DataLoader工作器时，每个工作器是否都访问相同的数据集实例？或者每个DataLoader工作者都有自己的Dataset实例？
from torch.utils.data import DataLoader, Dataset
class NumbersDataset(Dataset):
def __init__(self):
self.samples = list(range(1, 1001))
def __len__(self):
return len(self.samples)
def __
浏览 0提问于2020-06-13得票数 0
1回答
假设我有一个cifar10的数据加载器
如果我想从dataloader中删除一些值并创建一个新的dataloader
我怎么发动汽车呢？
def load_data_cifar10(batch_size=128,test=False):
if not test:
train_dset = torchvision.datasets.CIFAR10(root='/mnt/3CE35B99003D727B/input/pytorch/data', train=True,
浏览 3提问于2019-12-19得票数 1
1回答
我用的是一种经过预先训练的火把模型：
model = models.resnet50(pretrained=True).to(device)
for param in model.parameters():
param.requires_grad = False
model.fc = Identity()
我应该使用我的数据平均值和std来规范数据，还是使用模型创建者使用的值？
class customDataset(torch.utils.data.Dataset):
'Characterizes a dataset for PyTorch'
def
浏览 1提问于2022-05-10得票数 1
1回答
我有1550张图像的数据集3x112x112。当我训练我的模型时，我创建dataset wia ImageFolder，然后使用DataLoader。因为每次都是从记忆里读东西，所以要花很多时间。我有足够的gpu内存一次加载整个数据集。它会快得多。做这件事最好的方法是什么？
浏览 1提问于2022-07-03得票数 0
回答已采纳
考虑以下代码，从torchvision.datasets获取用于培训的数据集，并为其创建一个DataLoader。
import torch
from torchvision import datasets, transforms
training_set_mnist = datasets.MNIST('./mnist_data', train=True, download=True)
train_loader_mnist = torch.utils.data.DataLoader(training_set_mnist, batch_size=128,
浏览 0提问于2020-08-16得票数 0
回答已采纳
我目前正在用一个数据集类加载数据。在数据集中，我将训练数据、测试数据和验证数据分开。例如： class Data():
def __init__(self):
self.load()
def load(self):
with open(file=file_name, mode='r') as f:
self.data = f.readlines()
self.train = self.data[:checkpoint]
self.valid = self.data[ch
浏览 6提问于2019-12-08得票数 2
1回答
我有这样的数据集：
(0, 1), UpDownUpUp
(2, 3), UpUpUpDownDownDown
(0, 2), DownUp
(0, Undefined), DownUp
如何用PyTorch张量表示这种类型的数据？这样我就可以用它训练神经网络了？
浏览 3提问于2020-08-07得票数 0
回答已采纳
我正在寻找一个优化的解决方案，以加载多个巨大的.npy文件使用pytorch数据加载器。我目前正在使用以下方法，它为每个时代的每个文件创建一个新的数据中心。
我的数据加载程序类似于：
class GetData(torch.utils.data.Dataset):
def __init__(self, data_path, target_path, transform=None):
with open(data_path, 'rb') as train_pkl_file:
data = pickle.load(train_pkl
浏览 3提问于2020-02-08得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
