无法在Python中加载HDF5文件
在Python中加载HDF5文件，可以使用h5py库来实现。h5py是一个用于在Python中读写HDF5文件的库，它提供了一组简单而直观的API来处理HDF5数据集、组和属性。
HDF5（Hierarchical Data Format 5）是一种用于存储和组织大规模科学数据集的文件格式。它具有高效的I/O性能和灵活的数据模型，适用于各种科学领域的数据存储和交换。
下面是加载HDF5文件的步骤：
- 安装h5py库：使用pip命令安装h5py库，可以在命令行中执行以下命令：
- 安装h5py库：使用pip命令安装h5py库，可以在命令行中执行以下命令：
- 导入h5py库：在Python代码中导入h5py库，以便可以使用其提供的功能。
- 导入h5py库：在Python代码中导入h5py库，以便可以使用其提供的功能。
- 打开HDF5文件：使用h5py库的
File函数打开HDF5文件，并指定打开模式（例如只读模式）。 - 打开HDF5文件：使用h5py库的
File函数打开HDF5文件，并指定打开模式（例如只读模式）。 - 访问数据集：通过文件对象可以访问HDF5文件中的数据集。可以使用
keys()方法获取文件中所有数据集的名称，并使用索引或名称访问具体的数据集。 - 访问数据集：通过文件对象可以访问HDF5文件中的数据集。可以使用
keys()方法获取文件中所有数据集的名称，并使用索引或名称访问具体的数据集。 - 读取数据：使用数据集对象的
value属性可以读取数据集中的数据。根据数据集的维度，可以使用切片操作获取部分数据或使用索引获取特定位置的数据。 - 读取数据：使用数据集对象的
value属性可以读取数据集中的数据。根据数据集的维度，可以使用切片操作获取部分数据或使用索引获取特定位置的数据。 - 关闭文件：在完成对HDF5文件的操作后，应该关闭文件对象以释放资源。
- 关闭文件：在完成对HDF5文件的操作后，应该关闭文件对象以释放资源。
HDF5文件在科学计算、图像处理、机器学习等领域有广泛的应用。它可以存储大规模的数据集，并提供高效的数据读写能力。在云计算领域，HDF5文件可以作为数据存储格式，用于存储和共享大规模的科学数据集。
腾讯云提供了对象存储服务 COS（Cloud Object Storage），可以用于存储和管理HDF5文件。COS具有高可靠性、高可扩展性和低成本的特点，适用于各种规模的数据存储需求。您可以通过腾讯云COS官网了解更多关于COS的信息和产品介绍：腾讯云COS
请注意，以上答案仅供参考，具体的实现方式和推荐产品可能因实际需求和环境而异。
相关·内容
2回答
取消引用hdf5格式？
、、、
我正在使用两种不同的语言，即Matlab和python。我在Matlab中创建了5个变量。每个变量都有一个大小- (150x1)单元格，如下所示：
每个单元格的大小为(128 x (:))，如下所示：
我使用.mat格式-v7.3将这个工作区保存到一个hdf5文件中。
在python中，我使用.mat加载了h5py文件。我能够加载变量，但无法从每个变量中提取值。
我得到了这个语句"array([[]，dtype=object)“，但是这些值没有加载到python工作区中。我想把所有150个单元格o加载到一个变量中，例如A。我如何去引用hdf5引用？
浏览 1提问于2016-06-07得票数 1
回答已采纳
我创建的hdf5文件没有加载在kerasta中。
MODEL_PATH = "bitmap_model.hdf5"
model = load_model(MODEL_PATH)
hdf5无法加载ı文件。OSError:在bitmap_model.hdf5没有找到任何文件或目录
浏览 1提问于2022-10-30得票数 0
我使用编写了一个Python模块，该模块可以动态链接到hdf5库。当我将hdf5 dll复制到输出目录时，我可以加载我的python模块。如果没有，python会抱怨某些指定的过程无法找到。但是，如果我通过%PATH%调用dll，到dll的路径就在echo %PATH%变量中。
为什么我还需要复制dlls？
浏览 4提问于2017-04-24得票数 0
回答已采纳
1回答
是否有方法将HDF5文件(有时称为H5、HD5或分层数据格式)加载/导入到Excel中？
我不想导出中间的CSV文件，因为理想情况下，我希望修改数据，并在Excel中重新保存回HDF5 (但一个可接受的答案是先加载文件的问题)。
请注意，HDF5是Python的PyTables、熊猫和h5py使用的格式(这些软件包中的专家可能能够回答这个问题)。然而，我不喜欢使用Python来解决这个问题(我更喜欢现有的软件工具)。也许有一种使用ODBC...but的方法，我不知道怎么做。
浏览 3提问于2015-06-22得票数 3
我使用MNIST数据集训练了一个模型来识别数字。该模型已经使用TensorFlow和Keras在Python语言中进行了训练，并将输出保存到我命名为"sample_mnist.h5“的HDF5文件中。
我想将训练好的模型从HDF5文件加载到Rust中进行预测。
在Python语言中，我可以从HDF5生成模型，并使用代码进行预测：
model = keras.models.load_model("./sample_mnist.h5")
model.precict(test_input) # assumes test_input is the correct input
浏览 1提问于2021-07-01得票数 1
我有带有.mat数据的HDF5文件，我想将它加载到Python (Pandas DataFrame)中。我可以加载文件：
f2 = h5py.File("file.mat")
f2['data']
它是一个HDF5数据集：
<HDF5 dataset "data": shape (9999999, 32), type "<f8">
如果我和潘达斯一起读的话：
g = pd.read_hdf("file.mat",'data')
我得到以下错误：
cannot create a st
浏览 6提问于2017-05-26得票数 2
回答已采纳
2回答
使用文件IO进行单元测试的正确方法是什么，特别是当涉及到PyTables和HDF5时？
我的应用程序是围绕着从hdf5文件中存储和检索python数据而发展起来的。到目前为止，我只需自己编写单元测试中的hdf5文件，并加载它们进行比较。问题是，当其他人运行测试时，我无法确定他是否拥有将文件实际写入硬盘的权限。(当我想使用像Jenkins这样的自动化测试框架时，情况可能会更糟，但我还没有检查过)。
处理这些情况的正确方法是什么？在很可能授予写入访问权限的特定位置创建/tmp/文件夹是最佳实践吗？如果是的话，那是哪里呢？还是有一种简单而直接的方式来模拟PyTables的写作和阅读呢？
非常感谢!
浏览 7提问于2013-09-27得票数 2
回答已采纳
我的数据集太大，无法直接读入内存。我也不想升级机器。从我的阅读资料来看，HDF5可能是解决我问题的合适方法。但我不知道如何迭代地将数据写入HDF5文件，因为我无法将csv文件作为dataframe对象加载。
因此，我的问题是如何将一个大型的CSV文件写入到HDF5文件中。
浏览 1提问于2017-10-07得票数 7
回答已采纳
3回答
我有一个.h5文件，它只包含模型的权重，该模型使用Mask和Keras框架进行了训练，以执行对象检测。我想用Python中的Tensorflow + Keras加载这个模型，并在自定义图像上运行对象检测。
我正在使用Python3.8.5，我尝试使用keras.models.load_model()函数加载这个模型，但当尝试加载时，我会收到以下错误：
ValueError:在配置文件中找不到模型
我理解这意味着只使用模型权重保存.h5文件，为了使用这些权重，我必须将它们加载到具有相同体系结构的模型中。
为了理解架构，我使用了h5py python模块来查看.h5文件中的组，但是我只看到
浏览 4提问于2020-10-20得票数 3
我编写了一个使用python的3.6脚本(python 3.6)。R版本是3.5.1。当我运行importr('Seurat')时，它给出了错误：
/Users/kipnislab/anaconda3/envs/rmain/lib/python3.6/site-packages/rpy2/rinterface/init.py:146: RRuntimeWarning: Error：“Seurat”的包或命名空间加载失败：.onLoad在loadNamespace()中失败，用于“hdf5r”，详细信息:调用:RRuntimeWarning(libname，pkgname)错误
浏览 2提问于2019-01-02得票数 0
我正在尝试使用h5py库在python中读取hdf5格式的MATLAB文件。这个文件叫做"Q_visSDF_accurate.mat“，有两个键："filename”和"sdf“。"filename包含一个单元格数组字符串。" sdf“是一个包含浮点数的6001,49380矩阵。我使用以下代码提取变量sdf没有问题：
import h5py
data = h5py.File("Q_visSDF_accurate.mat", 'r')
sdf = data.get("sdf")[:,:]
sdf = sdf.
浏览 0提问于2016-12-08得票数 1
我正在尝试使用hdf5包从Python的.mat文件中读取子文件夹。我可以从数据库中提取整数和值，但无法读取字符串。result=matfile[“/pro/tttt/rrr”]
Return是一系列列表：
[[<HDF5 object reference>] [<HDF5 object reference>] [<HDF5 object reference>]]
我需要提取这些字符串，并将它们与另一列组合为其标头。有什么建议吗？
浏览 2提问于2021-05-14得票数 0
1回答
python中有没有API可以在linux环境下加载.mdb文件，并转换成像numpy或hdf5这样的python友好的数据结构？
浏览 1提问于2015-06-15得票数 2
我尝试将每个数据集从CASdatasets包(http://cas.uqam.ca/)循环中导出，并将它们保存到一个hdf5文件中，以便将它们作为pandas数据帧加载到python中。但是，我不像python那样熟悉R。有没有一种方法可以遍历包中的每个数据集并将每个数据集作为hdf5文件保存到磁盘上？ 到目前为止，我已经 install.packages("CASdatasets", repos = "http://dutangc.free.fr/pub/RRepos/", type="source")
library(CASdatasets
浏览 4提问于2020-01-07得票数 1
我有一个非常大的数据集，我通过如下所示的方式以块的形式写入hdf5：
with pd.HDFStore(self.train_store_path) as train_store:
for filepath in tqdm(filepaths):
with open(filepath, 'rb') as file:
frame = pickle.load(file)
if frame.empty:
os.remove(filepath)
continue
浏览 5提问于2019-12-10得票数 4
回答已采纳
在Linux Mint 17.1上执行此操作。
当我尝试的时候：
pip install hdf5
我得到了错误
"Could not find a version that satisfies the requirement hdf5 (from versions: ) No matching distribution found for hdf5"
从长远来看，我正在尝试安装netcdf4，但在安装hdf5之前，我无法做到这一点。假设从上周我尝试使用netcdf4开始，我应该使用pip install netcdf4，err hdf5...at，至少在hdf5的情况下。
如
浏览 22提问于2016-03-23得票数 8
我有一个非常大的矩阵，这是一个视频文件作为一个帧阵列，每个大约350x250分辨率。我有大约8,000-10,000这样的帧在一个单一的视频文件，这是大约1-1.5 is的大小。我认为HDF5对我来说是一种很好的文件格式，因为我必须对该文件执行许多数学运算(跨越整个深度列)。我的问题是我无法将这个3D矩阵存储在HDF5中。有人可以建议我如何以增量方式将这些帧存储为hdf5格式的3D矩阵(将帧逐帧添加到hdf5文件)吗？我使用的是h5py python包。
浏览 8提问于2017-02-05得票数 4
回答已采纳
1回答
我目前正在尝试将tensorflow和keras的深度学习模型存储在一个名为ArangoDB的图形数据库中。与大多数对象数据库一样，ArangoDB要求文件采用JSON格式。我可能愿意切换到HDFS，但无论哪种方式，Tensorflow和Keras都坚持使用HDF5小组的专有HDF5格式来存储它们的权重。
如何使用python将它们转换为JSON格式以存储在DB中，以及如何将它们转换回tensorflow中再次加载？
浏览 0提问于2020-01-28得票数 1
1回答
我有一个可以用Matlab、IDL和python读取的.h5 file。然而，Matlab和python都加载了这个文件，但是Dataset获得了一个Datatype H5T_STD_U16LE (uint16)。基本上，我的浮点值在读取过程中被转换为整数，使得像0.1这样的值变成了0。
使用IDL读取时，不知何故忽略了HDF5文件中的内部标志，并给出了正确的值。
在Matlab或python中有没有办法以双精度强制读取HDF5文件数据集？
在Matlab中，我这样做：
hinfo = hdf5info('./data.h5');
dset = hdf5read(hinfo.G
浏览 1提问于2019-05-03得票数 0
我得到了一个使用pandas创建的20 as的HDF5文件，但不幸的是，它是以固定格式(而不是表)编写的，每一列都写成一个单独的键。这可以很好地快速加载一个功能，但它不允许方便的面向表格的过程(例如，统计分析或绘图)。 尝试将文件作为一个整体加载时会出现以下错误： ValueError: key must be provided when HDF5 file contains multiple datasets。 f=pd.read_hdf('file_path')
ValueError Traceback (most
浏览 53提问于2020-06-13得票数 1
我有一个非常大的密集矩阵(1M * 30K)存储在一个hdf5文件中。我能够通过以下脚本使用h5py读取hdf5文件：
import numpy as np
import h5py
f = h5py.File('myFile.hdf5', 'r')
mat = f['matrix']
# sub_mat = mat[:, :1000]
# write sub_mat into another hdf5 file
我想对矩阵进行子集，以获得只包含前1000列的sub_mat，并将该sub_mat写入另一个hdf5文件。请注意，sub_mat的形状
浏览 6提问于2016-07-19得票数 1
回答已采纳
1回答
OSError:无法打开文件(找不到文件签名)
我觉得问题是.hdf文件，因为我没有.h5或.hdf5文件。那么如何在python中打开.hdf呢？
浏览 9提问于2022-06-01得票数 -1
1回答
我的Python程序调用了一个C++共享库。C++库是用HDF5编译的，我是用OS上的自制软件安装的，所以它驻留在/usr/local/lib中。现在的问题是，我还安装了PyTables，它包括一个旧版本的libhdf5，安装在/Library/Frameworks/EPD64.framework/Versions/Current/...中的某个地方
我可以很好地编译和链接我的库，而且otool -L确实指向了/usr/local/lib/libhdf5.dylib。但是，当我尝试从Python运行它时，出现了版本不匹配错误。运行时链接器以某种方式加载较旧的hdf5库。
一种解决办法是将hdf
浏览 0提问于2011-02-26得票数 3
回答已采纳
当我尝试用"pip install h5py“安装h5py时，会得到以下错误:
加载库以获取生成设置和版本: hdf5.dll错误：无法加载依赖项HDF5，请确保HDF5已正确安装
错误：无法找到模块'hdf5.dll' (或其依赖项之一)。尝试使用带构造函数语法的完整路径。
错误: h5py的生成轮失败无法生成h5py错误：无法为使用PEP 517且不能直接安装的h5py生成车轮
--我试过"pip安装--升级setuptools“和"pip安装--升级setuptools --忽略--安装”，它没有重新设置我的问题--我也尝试过降低pip的级别，但
浏览 3提问于2021-03-15得票数 0
2回答
我有一个小的python程序，它使用h5py模块创建hdf5文件。我想编写一个python模块来处理hdf5文件中的数据。我怎么能这么做呢？
更具体地说，我可以将numpy数组设置为PyArrayObject并使用PyArg_ParseTuple读取它们。这样，我就可以在编写python模块时从numpy数组中读取元素。如何读取hdf5文件以访问单个元素？
更新:感谢你下面的回答。我需要从C中读取hdf5文件，而不是从Python中-我知道如何做到这一点。例如：
import h5py as t
import numpy as np
f=t.File('\tmp\tmp.h5'
浏览 0提问于2011-03-23得票数 2
在Python中，我使用vaex (vdf = vaex.open('test_*.hdf5'))从多个hdf5文件中打开一个数据框。一切似乎都运行得很好，例如将两个列组合成一个新的列(vdf['newcol'] = vdf.x+vdf.y)。 但是我无法让vaex的groupby正常工作：vdf.groupby('x', agg='count')抛出了一个TypeError: unhashable type: 'Expression'。 x是整型列还是字符串列似乎无关紧要。当我只读取一个hdf5文件时，它工作得
浏览 24提问于2020-09-07得票数 0
1回答
python模块xarray很大程度上支持加载/映射netCDF文件，甚至懒洋洋地使用dask。
我必须使用的数据源是数千个hdf5文件，有很多组、数据集和属性--所有这些都是用h5py创建的。
问题是：如何加载(或者更好地使用dask，懒散地映射) hdf5数据(数据集、元数据、.)变成xarray数据集结构？
有没有人在这方面有过经验，或者遇到过类似的问题？谢谢!
浏览 0提问于2019-02-11得票数 10
回答已采纳
1回答
在python2.7中，我可以使用关键字分析hdf5文件
$ python
>>> import h5py
>>> f = h5py.File('example.h5', 'r')
>>> f.keys()
[u'some_key']
然而，在python3.4中，我得到了一些不同的东西：
$ python3 -q
>>> import h5py
>>> f = h5py.File('example.h5', 'r')
>
浏览 1提问于2015-06-25得票数 21
回答已采纳
我正在尝试安装工具，并需要安装hdf5。我试过了
$ pip安装hdf5
并获取
无法找到满足hdf5需求的版本(来自版本：)没有为hdf5找到匹配的发行版
我的回声$PATH是：
/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/opt/X11/bin:/usr/local/munki:/opt/salt/bin:/usr/local/sbin
$which python吸引了我：
/usr/local/bin/python
我怀疑PATH存在一些问题，因为这个mac最初安装了anaconda和python 3.x，我
浏览 3提问于2017-04-06得票数 2
试图实现ytini (yt for Houdini) Python框架。
解决了大多数安装错误，但在加载数据文件时仍然得到以下信息
不确定这是否与ytini的某些配置有关，或者它是否更像是Python特定的错误。
Traceback (most recent call last): File "", line 14,
in File "/home/jim/.local/lib/python2.7/site-packages/yt/__init__.py", line 44,
in import yt.utilities.physical_consta
浏览 0提问于2018-11-03得票数 0
目前，我通过h5py在python中加载h5py数据，并将数据集读入内存。
f = h5py.File('myfile.h5', 'r')
dset = f['mydataset'][:]
这是可行的，但是如果“mydataset”是myfile.h5中的唯一数据集，那么以下内容更有效：
f = h5py.File('myfile.h5', 'r', driver='core')
dset = f['mydataset'][:]
我相信这是因为“核心”驱动程序内存映射了整个文件，这是
浏览 1提问于2018-01-24得票数 0
回答已采纳
如何在关闭文件后将h5py组保留在内存中？
在以下代码之后：
import h5py
feature_file = h5py.File(worm_file_path, 'r')
worm_features = feature_file["worm"]
我可以访问worm_features，因为它是一个 (<HDF5 group "/worm" (4 members)>)
但在我运行这行代码之后：
feature_file.close()
我无法再访问worm_features。它现在显示为<Closed HDF5 group&
浏览 2提问于2014-10-23得票数 2
1回答
我一直在努力让pytables和底层的HDF5库在OS中使用python，所以我认为我会尝试使用later发行版(这也将大大简化跨平台的部署)。
我为64位OS (我运行10.8.2)安装了PDE7.3，但不幸的是，当我试图加载pytable时，没有成功，我得到了以下信息.
In [4]: import tables
--------------------------------------------------------------------------- ImportError Traceback (most recent
浏览 2提问于2013-03-25得票数 0
回答已采纳
我一直试图使用XMF在Paraview中加载一个hdf5文件。这是在大数据可视化的范式下，使用hdf作为存储，xmf作为元数据链接器与hdf-文件读取的截视，访问和其他大数据可视化软件。
在hdf5文件中，存在称为stress_0，stress_1，……的张量数据序列。直到现在的stress_100。单个数据集包含64*64*64*6个数据点。
现在，我想在Paraview中按顺序使用顺序张量数据stress_i制作N个步骤的动画。详细地说，我想加载stress_0，从Paraview获得一个图像帧，然后加载stress_1，得到一个图像帧等等。
这方面的一般过程是使用XDMF编写XMF。但是
浏览 9提问于2015-05-23得票数 0
1回答
是否有任何方法将数组存储在hdf5文件中，该文件太大，无法在内存中加载？
如果我做这样的事
f = h5py.File('test.hdf5','w')
f['mydata'] = np.zeros(2**32)
我记错了。
浏览 0提问于2015-03-23得票数 11
回答已采纳
1回答
我以不同的进程并发运行相同的Python程序，这些进程都希望使用hdf5包写入同一个h5py文件。但是，只有一个进程可以在写模式下打开给定的hdf5文件，否则会出现错误。
OSError:无法打开文件(无法锁定文件，errno = 11，错误消息=“资源暂时不可用”)
在处理上述异常的过程中，发生了另一个异常：
OSError:无法创建文件(无法打开文件: name =‘test.hdf 5’，errno = 17，错误消息=“文件存在”，标志= 15，o_flags = c2)
我想通过检查文件是否已经在写模式下打开来解决这个问题，如果是的话，请稍候并再次检查，直到它不再以写模式打开
浏览 1提问于2018-03-22得票数 6
1回答
HDF5中的行数
、、、
有一种方法可以在不加载.hdf5的情况下将其加载到ram中吗？
我在Liclipse (WIndows 10)上使用Python3.4和pydev
谢谢你
浏览 0提问于2016-07-12得票数 0
回答已采纳
我有大量的matlab文件数据文件，我需要在Python中访问它们。使用save和-v6或-v7选项保存文件，但不使用-v7.3。
我必须从每个文件中只读取一个数字值，文件多(100k+)和相对较大(1MB+)。因此，我把99%的时间花在无用的I/O操作上。
我正在寻找类似于部分加载的东西，这对于使用-v7.3库的HDF5文件来说是可行的。
到目前为止，我已经使用了scipy.io.loadmat API。
文件上说：
v4 (Level 1.0), v6 and v7 to 7.2 matfiles are supported.
You will need an HDF5 python li
浏览 1提问于2017-11-28得票数 2
回答已采纳
短描述
我遇到了一个问题，在这个问题上，hdf5文件已经写在Windows机器上，无法在Linux机器上打开。错误消息是"OSError:无法打开文件(错误的超级块版本号)“。(因此，这个问题可能与h5py完全无关，而是打开python中的一个普遍的linux/windows兼容性问题)。
长描述
Windows和Linux上都使用了具有以下软件包的python虚拟环境：
Flask-0.12.2
Flask-RESTful-0.3.6
Jinja2-2.10
MarkupSafe-1.0
Werkzeug-0.14.1
aniso8601-3.0.0
cl
浏览 1提问于2018-03-20得票数 7
回答已采纳
1回答
我有大约100个".hdf5“文件。每个文件大约有300个(可变的)大小为80x80x80的3D体积属于同一类。总共有100个班级。我在所有的".hdf5“文件中都有其他数据，比如图像id和对应于每个卷的其他数据。
我的问题是:如何在不将数据加载到内存的情况下通过混洗来将它们拆分以进行训练、测试和验证，然后如何加载数据进行训练。我无法将数据完全加载到我的RAM中，因为3D卷消耗了大量内存。有没有一种简单的方法呢？
浏览 1提问于2018-09-10得票数 0
1回答
h5py内存文件与多处理错误
、、、、
这是给你的HDF5和多处理大师..。首先，我知道python和多处理模块并不一定彼此喜欢，但是我得到了一个我无法理解的错误。我正在处理的脚本创建了一个临时内存中的hdf5文件，将来自(泡菜)输入文件的数据存储在内存文件中，然后多处理池对来自临时HDF5文件的数据执行(只读)操作。
我已经能够隔离导致错误的代码，下面是一个简化的代码片段。当我在生成器函数中创建内存中的hdf5文件，然后使用该生成器为多处理池生成参数时，我会得到一系列HDF5错误。下面是一些尽可能简单的代码，以便重新创建错误：
import h5py
from multiprocessing import Pool
from it
浏览 3提问于2013-02-27得票数 1
1回答
我在一个Kaggle笔记本中使用Python库来使用.csv方法将一个vaex.from_csv()数据集转换为.hdf5。我无法找到为hdf5文件指定输出目录的方法。
该方法在默认情况下在与输入文件相同的目录中创建文件，Kaggle在指定创建文件的唯一文件夹时会阻塞该文件。由于空间限制，将数据集复制到输出目的地，然后进行转换不是一个选项。
谷歌搜索、堆叠溢出和文档都没有成效。该方法确实有fs_options和fs的参数，这可能与此相关，但我不确定它们是什么，因为我无法为它们找到解释。
链接到方法文档：
如能提供协助，将不胜感激。
浏览 3提问于2022-08-02得票数 0
我用python编写了一段代码，它打开并读取保存为.hdf5格式的文件。如果我没有在我的计算机上安装hdf查看器，这段代码还能运行吗？
我没有使用它来打开文件，所以我可以查看它，我正在尝试读取该文件&在python中操作它之前提取数据。可能是个愚蠢的问题，但我对编码这件事很陌生。我的代码是否无法打开无法在我的计算机上打开的文件类型？
干杯，克莱尔
浏览 3提问于2018-01-18得票数 0
回答已采纳
我有一些数据集( tsv格式)大于10 gb，我需要在hdf5格式。我和Python一起工作。我已经读到过Pandas软件包在读取文件并将它们存储为hdf5时没有占用太多的内存。不过，我无法做到这一点，因为我的机器内存不足。我也试过星火，但在那里我不觉得自在。那么，除了在内存中读取大型文件之外，我还有其他解决方案吗？
浏览 2提问于2015-06-24得票数 3
回答已采纳
1回答
我在Windows 10机器上有Julia 1.7.2和HDF v"0.16.2“。我遇到了一个打开HDF5文件的问题：
using HDF5
raw_hdf_data = h5open("Data_2021-03-17_11-21-19.h5", "r")
obj = raw_hdf_data["Group"]["Data_1"]
HDF5.read(obj)
但有个错误：
HDF5.API.H5Error:读取数据集/Flatfield/Data_1错误
libhdf5 Stacktrace：
1 H5PL__f
浏览 9提问于2022-03-03得票数 3
回答已采纳
我想随机访问一个大型数组(>7 7GB)的元素，我将其作为HDF5数据集(h5py.Dataset)或内存映射数组(numpy.memmap)加载到Python中。
如果这个文件存在于旋转盘片硬盘上，这些随机访问将永远持续下去，原因很明显。
在尝试这些随机访问之前，有没有办法检查(断言)有问题的文件是否在SSD上？
我在Linux (Ubuntu 14.04)中运行python。我不介意非跨平台的解决方案。
浏览 5提问于2015-06-04得票数 0
python中的xarray包似乎使用“延迟加载”来指向磁盘上的结构化数据(例如，netCDF、HDF5)，然后只在“必要时”使用。如何检查交互式python会话或python脚本中的给定数据集或DataArray对象是否实际“加载”？
理想情况下，就像
import xarray as xr
dataset = xr.open_dataset('data.nc')
dataset.is_loaded() # is it loaded into memory?
不确定这是否是一个有意义的问题，但希望能够安全、自信地控制巨型数据集的这种行为，这样整个文件就不会被不必要地读取。
浏览 6提问于2017-08-10得票数 4
回答已采纳
一个Pandas DataFrame可以像这样转换成一个hdf5文件；
df.to_hdf('test_store.hdf','test',mode='w')
我有一个sqlite db文件，它必须转换为hdf5文件，然后我将使用pd.read_hdf通过pandas读取hdf5文件。
但首先，我如何将python sqlite db转换为hdf5文件？
编辑：
我知道在pandas中使用.read_sql方法。但是我想先把db转换成hdf5。
浏览 3提问于2014-04-08得票数 5
2回答
将大型csv转换为hdf5
、、、、
我有一个100M的csv文件(实际上是许多独立的csv文件)，总共84 csv。我需要将其转换为具有单个浮点数据集的HDF5文件。我在测试中使用了h5py，没有任何问题，但现在我无法在不耗尽内存的情况下完成最终的数据集。
如何在不将整个数据集存储在内存中的情况下写入HDF5？我期望这里有实际的代码，因为它应该非常简单。
我只是在研究pytables，但它看起来不像是可以迭代写入的数组类(对应于HDF5数据集)。类似地，pandas的io_tools中有read_csv和to_hdf方法，但是我不能一次加载整个dataset，因此这将不起作用。也许你可以帮助我用pytables或pandas中的
浏览 232提问于2014-11-29得票数 30
回答已采纳
2回答
我是深度学习的新手，并找到了一个名为"Mocha“的工具。这是用Julia编写的工具。但我在加载文件时遇到了一个bug。程序无法读取文件，我也不知道。代码部分如下：
using HDF5
datasets = ["train" => ["train-labels.idx1-ubyte","train-images.idx3-ubyte"],
"test" => ["t10k-labels.idx1-ubyte","t10k-images.idx3-ubyte&#
浏览 1提问于2015-06-22得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
