在使用了Torchvision中的数据集之后，我尝试在Pytorch中加载一个HDF5文件，但没有成功。我读到我应该定义我自己的dataset和Dataloader类，其中包含getitem来启用索引，len来返回数据集的长度。另外，我应该定义转换，因为pytorch的默认选项需要PIL图像。
浏览 32提问于2019-12-05得票数 1
4回答
也许这个问题曾经被问过，但是我很难找到与我的情况相关的信息。
我正在使用PyTorch创建一个CNN，用于图像数据的回归。我没有正规的、学术性的编程背景，所以我的许多方法都是临时性的，而且效率很低。也许我可以回头看一遍我的代码，然后再清理，因为低效率并不会对性能造成很大的影响。但是，在这种情况下，我使用图像数据的方法花费了很长的
浏览 0提问于2018-12-01得票数 9
回答已采纳
2回答
PyTables支持从继承自IsDescription类的用户定义类创建表。这包括对多维单元格的支持，如文档中的以下示例所示： name = StringCol(itemsize=16) # 16-character(double-precision)
然而，在单个单元中存储任意形状的多维数组是可能的吗？按照上面的示例，类似于pressure = Float32Co
浏览 3提问于2012-01-19得票数 1
我想非常仔细地遵循这个文档：require 'hdf5'myFile:close()
我知道"/path/ to &#
浏览 25提问于2016-08-30得票数 4
2回答
我正在尝试更新需要校准的hdf5文件数据。我添加的代码是： keys=hf.keys()只是为了简单的校准。然而，在hf[key][...]中，它的结果是全零。当我将右边的乘积赋给一个变量时，我
浏览 2提问于2018-07-10得票数 0
我有，比方说，n图像，对于每个图像，我有另外2个人工(合成)特征，图像标签是一维整数。我想微调dataset上的Image，但是我不知道如何处理这两个附加的特性作为输入，我应该如何将数据提供给caffe？请帮帮我！编辑:这两个特性可以是任意2个数字(一维)，比如两个数字，表示图像属于哪一类，以及有多少图像属于该类。比方说，我有'cat.jpg'，那么特性是，5和2000，其中5是表示类的特性1,2000是该类中<e
浏览 4提问于2016-01-02得票数 0
回答已采纳
我正在学习如何创建CNN模型，并认为Kaggle主持了一个有趣的比赛，以帮助我学习它。
他们提供了一个大的类似于JSON的(BSON)文件，大约50 to，我正在尝试处理这个文件。在文件中，我迭代地读取具有( 180,180，3)数组结构的图像数据。整个文件包含大约7,000,000幅图像，因此最终的数组结构将类似于(7000000,180,180，3)。我最初尝
浏览 8提问于2017-10-15得票数 4
回答已采纳
我有一个名为test.csv的csv文件，其中包含以下内容：2021293,010000,.189545,-9.3868122,46.1526372021293,010001,.788544,-9.322463,46.135742当我运行以下代码时：data.to_hdf(hdf_filename, key='foobar/da
浏览 21提问于2021-10-21得票数 0
9回答
在“HDF5”( )一书中，我读到了它的优点，与在文件夹中使用文件相比，我在寻找使用它的好处，但我遇到的大多数内容都谈到了分层文件格式在通过API添加数据时的简单性方面的好处：它甚至拥有一个强大而又简单的基础概念，即组、<em
浏览 18提问于2014-03-02得票数 69
我有一个用于训练和测试数据集的csv文件，其中包含文件位置和标签。此数据帧的头部为： df.head() file_path label1 \\images\\55201.png 0
浏览 2提问于2020-06-09得票数 0
回答已采纳
3回答
为Caffe生成LMDB
、、、、
我正在尝试使用caffe构建一个用于显着性分析的深度学习模型(我正在使用python包装器)。但我无法理解如何生成用于此目的的lmdb数据结构。我已经看过Imagenet和mnist示例，我知道我应该生成以下格式的标签但在我的例子中，我将用0或1标记每个像素，表示该像素是否显着。这将不是一个单独的图像标签。
如何为基于像素的标签
浏览 1提问于2015-11-10得票数 9
回答已采纳
这是一个关于同时处理多个HDF5数据集，同时尽可能将它们视为一个数据集的问题。file01.h5file03.h5
我现在想创建一个列表或数组，其中包含指向所有三个文件的所有图像的“指针”，而不实际加载图像。到目前为止一
浏览 2提问于2018-02-19得票数 2
回答已采纳
2回答
我有个很奇怪的问题。我有两个函数:一个读取使用h5py创建的h5py文件，另一个创建新的HDF5文件，连接前一个函数返回的内容。def read_file(filename):
group1 = hf.get('group1</e
浏览 4提问于2016-04-15得票数 5
回答已采纳
我有大量的numpy数组，特别是113287，其中每个数组都是36 x 2048形状的。就内存而言，这相当于32G。我怎么才能加快速度？这对我的实现是非常重要的，因为我必须在这个列表中索引几千次，才能输入深度神经网络。下面是我如何索引到<e
浏览 0提问于2018-10-27得票数 2
回答已采纳
1回答
我有一些仪器数据，以hdf-5格式保存为多个二维阵列，随着测量时间的推移。如下图所示，d1和d2是两个独立的文件，仪器记录在不同的时间。它们有相同的数据变量，唯一的区别是phony_dim_0的长度，它表示总数据点随测量时间的变化。
这些文件需要加载到仪器公司提供的特定软件
浏览 0提问于2021-10-27得票数 0
2回答
在HDF5中，我们得到了一些包含数据集、表格数据的文件，其中每一列都有名称，并且可能具有不同的数据类型(例如，string类型的"author“，无符号整数类型的”计数“，等等)。如果我打开HDF5 2.9中的一个文件，导航到"HDF5复合数据集<
浏览 3提问于2013-04-18得票数 1
回答已采纳
我是h5py新手，我的实际任务是创建一个包含MODIS子集的HDF5堆栈。我可以创建包含所有良好数据的堆栈，但不能创建或附加空间参考系统。目标是将单个数据集从堆栈加载到查看器中，就像在ArcGIS中一样，并且应该将其放置在正确的位置。
如何为堆栈提供正确的空间/投影信息？
浏览 2提问于2013-07-03得票数 0
我开始使用pytorch-lightning，并面临着我的自定义数据加载器的问题：
我正在使用自己的数据集和通用的torch.utils.data.DataLoader。基本上，数据集采用一条路径并加载与数据加载器加载的给定索引相对应的<e
浏览 1提问于2020-05-26得票数 1
1回答
我对python的h5py包有个小问题。我正在处理存储在hdf5文件中的非常大的数据集(大约250 k的小图像片段)，这些数据集的大小(num_images x color_channels x宽度x高度)是一个数组。此数据集被随机分离为培训和验证数据。因此，在</e
浏览 4提问于2017-01-25得票数 4
回答已采纳
3回答
HDF5 :存储NumPy数据
、、、、
当我使用NumPy时，我以本机格式*.npy存储它的数据。它非常快，给了我一些好处，就像这个现在我正在与HDF5 (目前的PyTables)打交道。当我在本教程中阅读时，他们使用NumPy序列化程序来存储NumPy数据，这样我就可以像从简单的</em
浏览 9提问于2010-11-09得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
