在HDF5文件中查找唯一数据集的全名(matlab)
在HDF5文件中查找唯一数据集的全名(matlab)
HDF5（Hierarchical Data Format 5）是一种用于存储和组织大规模科学数据集的文件格式。它提供了一种灵活的方式来存储和管理数据，适用于各种领域的科学和工程应用。
在HDF5文件中查找唯一数据集的全名，可以通过以下步骤进行：
- 打开HDF5文件：使用HDF5库或相关的编程语言（如Python中的h5py库）打开HDF5文件。这将允许你访问文件中的数据集和其他对象。
- 导航到数据集：使用HDF5库提供的函数或方法，导航到所需的数据集。HDF5文件采用层次结构，类似于文件系统的目录结构，因此你需要指定数据集的路径或名称来访问它。
- 获取数据集的全名：使用HDF5库提供的函数或方法，获取数据集的全名。数据集的全名是指数据集在HDF5文件中的完整路径，包括其所在的组和子组的名称。
- 示例代码（使用Python和h5py库）：
import h5py
# 打开HDF5文件
file = h5py.File('your_file.h5', 'r')
# 导航到数据集
dataset = file['path/to/dataset']
# 获取数据集的全名
full_name = dataset.name
# 打印数据集的全名
print(full_name)
# 关闭HDF5文件
file.close()优势：
- HDF5文件格式具有高度的可扩展性和灵活性，可以存储和管理大规模的科学数据集。
- 它支持多种数据类型和数据结构，包括多维数组、表格数据、图像、音频等。
- HDF5文件可以进行高效的数据压缩和检索，以满足对大规模数据的快速访问需求。
- 它提供了一种跨平台的数据交换格式，可以在不同的操作系统和编程语言之间进行数据共享和交流。
应用场景：
- 科学研究：HDF5文件广泛应用于各种科学领域，如天文学、气象学、生物学、地球科学等，用于存储和分析大规模的实验数据和模拟结果。
- 工程应用：HDF5文件可用于存储和管理工程领域的数据，如传感器数据、模拟结果、图像和视频等。
- 数据分析：HDF5文件提供了一种方便的方式来组织和处理大规模数据集，适用于数据分析和机器学习等领域。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iot
- 腾讯云移动开发（移动推送、移动分析）：https://cloud.tencent.com/product/mobile
- 腾讯云区块链（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云元宇宙（Metaverse）：https://cloud.tencent.com/product/metaverse
请注意，以上链接仅供参考，具体产品和服务详情请参考腾讯云官方网站。
相关·内容
我有一个hdf5数据库，但几乎没有这种数据库的经验。我需要在Matlab中打开/加载它。然而，Matlab函数h5read需要两个参数
data = h5read(filename,dataset)
我知道我的文件名(很明显:)，但是我不知道数据集的名称(因为我不能查看hdf5数据库)。
有人知道如何在hdf5数据库中查找数据集名称吗？
浏览 3提问于2015-06-09得票数 0
回答已采纳
3回答
HDF5 :存储NumPy数据
、、、、
当我使用NumPy时，我以本机格式*.npy存储它的数据。它非常快，给了我一些好处，就像这个
I可以将*.npy从C代码中读取为简单的二进制数据(我的意思是*.npy与C结构兼容)
现在我正在与HDF5 (目前的PyTables)打交道。当我在本教程中阅读时，他们使用NumPy序列化程序来存储NumPy数据，这样我就可以像从简单的*.npy文件一样从C中读取这些数据了吗？
HDF5 5的numpy与C结构也是二元兼容的吗？
UPD：
我有matlab客户端从hdf5读取数据，但不想从C++读取hdf5，因为从*.npy读取二进制数据要快得多，所以我确实需要从C++读取hdf5 (二进制兼容性)
浏览 9提问于2010-11-09得票数 2
回答已采纳
我得到了1,000+非常长的matlab向量(不同的长度~ 10^8样本)，表示来自不同患者和不同来源的数据。我希望将它们紧密地组织在一个文件中，以便在python中进行稍后的方便访问。我希望每个样本以某种方式保存更多的信息(病人身份，抽样频率等)。
命令应是：
Hospital 1:
Pat. 1:
vector:sample 1
vector:sample 2
Pat. 2:
vector:sample 1
vector:sample 2
Hospital 2:
Pat. 1:
vector:sample
浏览 4提问于2020-01-01得票数 1
回答已采纳
我正在尝试使用h5py库在python中读取hdf5格式的MATLAB文件。这个文件叫做"Q_visSDF_accurate.mat“，有两个键："filename”和"sdf“。"filename包含一个单元格数组字符串。" sdf“是一个包含浮点数的6001,49380矩阵。我使用以下代码提取变量sdf没有问题：
import h5py
data = h5py.File("Q_visSDF_accurate.mat", 'r')
sdf = data.get("sdf")[:,:]
sdf = sdf.
浏览 0提问于2016-12-08得票数 1
我在用Python语言读取hdf5 Matlab7.3文件时遇到了问题。我使用的是h5py 2.0.1。
我可以读取文件中存储的所有矩阵，但不能读取字符串列表。h5py将字符串显示为形状为(1,894)、类型为|04的数据集。此数据集包含对象引用，我尝试使用h5file[obj_ref]语法取消对它们的引用。
这会产生类似于dataset "FFb": shape (4, 1) type "<u2"的东西。我将其解释为长度为4的字符数组。它似乎是字符串的ASCII表示。
有没有一种简单的方法可以把字符串弄出来？
有没有提供matlab to python
浏览 1提问于2012-08-20得票数 8
回答已采纳
1回答
不幸的是，我无法检查这一点，因为我没有IDL或Matlab许可证，这就是我在这里问的原因。
场景是，我用熊猫保存HDF5文件，其中一个列是对象。IDL和Matlab有很好的HDF5读取库(至少我听说过)，但是IDL/Matlab用户能够对HDF5文件中的datetime对象做任何有用的事情吗？
浏览 2提问于2014-03-05得票数 2
回答已采纳
2回答
在hdf5中，我必须将所有巨大的数据放在一个单独的数据集中。现在，问题是，如果你尝试：
>> hdf5write('hd', '/dataset1', [1;2;3])
>> hdf5write('hd', '/dataset1', [4;5;6], 'WriteMode', 'append')
??? Error using ==> hdf5writec
writeH5Dset: Dataset names must be unique when appending
浏览 0提问于2013-03-11得票数 3
回答已采纳
1回答
我有一套垫子文件，其中包含一个matlab struct.这个结构有很多数组。我想打开文件并将它们全部转换为数组。到目前为止，我已经编写了以下代码：
import h5py
>>> fs = h5py.File('statistics_VAD.mat','r')
>>> list(fs.keys())
['#refs#', 'data']
>>>
>>> fs['data'].visititems(lambda n,o:print(n, o)
浏览 3提问于2021-02-28得票数 0
2回答
我有一些Python和Matlab之间共享的数据。我以前是通过将NumPy数组保存在MATLAB样式的.mat文件中来实现的，但是我希望切换到HDF5数据集。但是，我注意到了一个有趣的特性:当我将一个NumPy数组保存在一个HDF5文件中(使用)，然后在Matlab中读取它(使用)时，它最终会被转置。我遗漏了什么吗？
Python代码：
import numpy as np
import h5py
mystuff = np.random.rand(10,30)
f = h5py.File('/home/user/test.h5', 'w')
f['m
浏览 2提问于2014-02-07得票数 10
回答已采纳
1回答
我使用MATLAB的函数将一个双变量foo写到一个名为saved_foos.h5的hdf5文件中。我有一个循环，它在每次迭代中更改foo，每次都保存在同一个hdf5文件中，但保存在另一个dataset中，该数据集根据当前的迭代次数命名。
之后，我用C++库读取了H5Cpp程序中每个数据集的数据(eaach迭代)如下：
#include "H5Cpp.h"
using namespace H5;
double readDouble(std::string dir, std::string file, std::string s_dataset) {
if (!fexis
浏览 0提问于2017-05-04得票数 0
回答已采纳
1回答
我有一个非常大的二维数据集(大约。( HDF5文件中的1000行x 500000列)。数据集是创建的，因此它是无限可扩展的，因此我可以轻松地向底部添加新行，向右边添加新列。但是，有时我需要在左边添加新的列.这就是我被困的地方。是否可以以这种方式扩展现有的数据集。我现在知道的唯一方法就是加载所有数据并完全重写文件。然而，这似乎非常低效。FYI，我使用Matlab2012 a和下面的低级HDF5命令示例部分--现有的创建和列添加代码。
基本上，我想扩展这一点：
1 2 3
4 5 6
7 8 9
为此，无需加载所有文件或重写整个文件。
NaN 1 2 3
NaN 4 5 6
NaN 7 8 9
在
浏览 2提问于2014-12-15得票数 0
回答已采纳
3回答
如何查看给定的.h5文件在Python中有哪些变量、数据集等？
我可以通过运行以下命令来读取该文件
import h5py
f = h5py.File(filename, 'r')
现在如何查看我的.h5文件中有哪些变量？
运行f.keys()输出非信息。
KeysView(<HDF5 file filename (mode r)>)
在Matlab中，我只调用h5disp(文件名)，但是想知道如何用Python实现它。
浏览 3提问于2017-04-12得票数 4
回答已采纳
2回答
SQLite还是纯文本文件？
、、、、
我处理很多在Python、R和Matlab之间交换的文本/数据。
我的选择是纯文本文件，但偶尔也会使用SQLite来存储数据和访问每个程序(虽然还不是Matlab )。我在SQL中不像在R中使用GROUPBY、AVG等操作那么多，所以我不一定需要数据库操作。
对于这类需要在程序之间交换数据以利用每种语言的可用库的应用程序，有没有一个好的经验法则来决定使用哪种数据交换格式/方法(即使是XML、NetCDF或HDF5)？
我知道在Python -> R之间有rpy或rpy2，但我想知道在更一般的意义上这个问题-我使用许多都没有rpy2的计算机，也使用其他一些在不同时间需要访问数据的科学分析软
浏览 0提问于2010-03-06得票数 8
回答已采纳
我有多个3D矩阵需要存储在hdf5文件中。我已经到处找过了，但我对在hdf5文件中存储数据的过程感到困惑。我可以在hdf5文件中的单个数据集中存储多个3D矩阵吗?还是必须为每个3D矩阵创建单独的数据集？我需要这个数据集来训练一个3D CNN模型。如果两种方法都有可能，哪种方法最适合培训目的？
附加信息:矩阵大小为12x24x12，单个数据占用不到100kb的存储空间。数据集是在matlab中创建的，生成的文件将在python中使用(模型将在python中训练)。
浏览 17提问于2020-02-04得票数 0
2回答
我有一个来自NASTRAN的HDF5输出文件，其中包含模式形状数据。我试图将它们读入Matlab和Python，以检查各种后处理技术。所讨论的文件位于这两个测试的本地目录中。该文件是半大的，1.2GB，但肯定没有那么大的HDF5文件，我以前读过。我想访问的表中有17567342行8列。第一列和最后一列是整数，中间6是浮点数。
Matlab：
file = 'HDF5.h5';
hinfo = hdf5info(file);
% ... Find the dataset I want to extract
t = hdf5read(file, '/NASTRAN/RESU
浏览 0提问于2019-01-22得票数 0
回答已采纳
如何在包含可变长度字符串列和其他各种标准类型(Int64、Float64、Bool)列的HDF5中写入和追加数据？
基础知识以某种形式存在于Julia中。使用Julia的C接口，编写完全在HDF5中实现的自定义HDF5文件，但是我还没有找到创建、写入和附加到这样一个复合表的方法。
我的目标是有一个文件，其中存储了来自许多仪器的数据，并有明确的注释。随着更多数据的传入，这些数据将定期附加到这些HDF5文件中。为了将文件保持在可管理的大小，需要二进制文件，并且需要在我们组中使用的编程语言之间实现可移植性的通用标准。数据库对于我们的用例来说并不实用。
浏览 2提问于2017-11-09得票数 2
6回答
我使用以下代码将hdf5文件作为numpy数组读取：
hf = h5py.File('path/to/file', 'r')
n1 = hf.get('dataset_name')
n2 = np.array(n1)
当我打印n2时，我会得到这样的结果：
Out[15]:
array([[<HDF5 object reference>, <HDF5 object reference>,
<HDF5 object reference>, <HDF5 object reference>.
浏览 1提问于2017-10-13得票数 22
1回答
我有一个可以用Matlab、IDL和python读取的.h5 file。然而，Matlab和python都加载了这个文件，但是Dataset获得了一个Datatype H5T_STD_U16LE (uint16)。基本上，我的浮点值在读取过程中被转换为整数，使得像0.1这样的值变成了0。
使用IDL读取时，不知何故忽略了HDF5文件中的内部标志，并给出了正确的值。
在Matlab或python中有没有办法以双精度强制读取HDF5文件数据集？
在Matlab中，我这样做：
hinfo = hdf5info('./data.h5');
dset = hdf5read(hinfo.G
浏览 1提问于2019-05-03得票数 0
1回答
我最近升级了python安装上的表，一些奇怪的事情似乎发生在HDF5库中。
我得到了一堆数据，这些数据最初被保存为一个.mat文件，它使用HDF5格式。我一直在使用pyTables将其读到python中，到目前为止，它一直运行得很好。
我将pyTables升级到3.0版，这似乎也升级了我的HDF5安装(或者类似的东西)。现在，每当我试图将.mat文件读入内存时，都会得到以下错误：
Warning! ***HDF5 library version mismatched error***
The HDF5 header files used to compile this application
浏览 3提问于2013-11-16得票数 0
实际上，我在从HDF5生成img时提出了一个问题。现在，我遇到的另一个问题是从现有的h5生成。
例如，我有一个ABC.h5，里面有用于图像的数据集及其gt_density映射。关键是图像，density_maps
我想要GT_001.h5，GT_002.h5..。而不是单个h5文件。这是为每个图像提取的density_maps。
如何做到这一点？非常感谢。
编辑这里是更多的相关信息。谢谢你给我的导游。在CRSNet中的原始数据集中，h5中只有一个图像文件及其地面真相密度图。此密度映射为<HDF5 5数据集“密度”：f4 (544,932)，键入"<f4"> &
浏览 7提问于2021-04-09得票数 0
回答已采纳
我正在尝试编写一个HDF5文件，它将保存在MATLAB中创建的一组结构，然后在C++中读取这些结构。这些结构包含不一定是数字的数据，例如字符串、单元格数组和子结构，因此使用hdf5write是out。
但是，使用参数save调用'-v7.3'保存到HDF5，那么在C++/C中读取这些文件并提取数据是可能的吗？这是个好主意吗？
为每个结构创建一个自定义数据类型并编写一个自定义HDF5编写器是一个更好的主意吗？
浏览 2提问于2015-08-20得票数 1
回答已采纳
我在MATLAB中用'-v7.3‘标志创建了下面的.mat文件。我需要这个标志，因为数据量很大。我在MATLAB中使用了以下命令来保存此文件。 save('sample10_properties.mat', 'stats','-v7.3') 以下是数据的链接 https://drive.google.com/file/d/195fj6Tl1n_drS8R_A6bdbOEc3rGkiMqS/view?usp=sharing 我可以在python中看到stats变量，但我不知道如何访问。任何帮助都将不胜感激。 import numpy
浏览 25提问于2019-05-07得票数 1
从HDF5文件中删除数据需要重新打包主文件。由于我们使用大型子数据库文件(测量数据)，单独的HDF5数据文件从外部链接到主文件中。由于链接文件占用的空间很小，因此您可能会争论是否需要重新打包。 由于HDF5数据库可能会损坏，那么从主HDF5 db文件中正确删除外部链接数据库(h5py.ExternalLink)的过程是什么？
浏览 30提问于2020-07-07得票数 0
回答已采纳
我需要将分层数据结构存储到hdf5中，其中大多数叶节点是非数组类型(字符串或标量)，只有少数是同构数组。这些数据看起来如下所示：
/simulation-20130312_13:33p1435
+- input
| +- gravity = 9.81
| +- timeScale = 1.0
| +- userTitle = 'real'
| +- flowRates = [ 1.1, 2.1 ]
| +- material
| +- density = 1234.2
| +- young = 1.123
浏览 0提问于2013-03-12得票数 2
回答已采纳
我正在使用一个具有数百万行和100+列的Oracle数据库。我尝试使用带有索引的pytables将此数据存储在HDF5文件中。我将在pandas DataFrame中读取这些数据的子集并执行计算。
我尝试了以下几种方法：
使用实用程序将表下载到csv文件中，使用pandas逐块读取csv文件块，并使用pandas.HDFStore附加到HDF5表。我创建了一个dtype定义并提供了最大字符串大小。
但是，现在当我尝试直接从Oracle DB下载数据并通过pandas.HDFStore将其发布到HDF5文件时，我遇到了一些问题。
pandas.io.sql.read_frame不支持分块读取。我
浏览 2提问于2013-12-17得票数 12
3回答
读取大型HDF5文件
、、、、
我刚开始使用HDF5文件，我正在尝试读取具有(20670, 224, 224, 3)形状的文件。每当我尝试将hdf5中的结果存储到列表或其他数据结构中时，要么花费太长时间而中止执行，要么导致计算机崩溃。我需要能够读取3套hdf5文件，使用他们的数据，操纵它，使用它来训练一个有线电视新闻网模型，并做出预测。
任何有关阅读和使用这些大型HDF5文件的帮助都将不胜感激。
目前，我是这样读取hdf5文件的：
db = h5py.File(os.getcwd() + "/Results/Training_Dataset.hdf5")
training_db = list(db['
浏览 0提问于2020-08-02得票数 0
9回答
我正在开发一个，用于向文件夹中添加元数据。提供的(Python) API允许您浏览和访问元数据，就像它只是另一个文件夹一样。因为它只是另一个文件夹。
\folder\.meta\folder\somedata.json
然后我遇到了及其派生的。
在“HDF5”( )一书中，我读到了它的优点，与在文件夹中使用文件相比，我在寻找使用它的好处，但我遇到的大多数内容都谈到了分层文件格式在通过API添加数据时的简单性方面的好处：
>>> import h5py
>>> f = h5py.File("weather.hdf5")
>>>
浏览 18提问于2014-03-02得票数 69
我在Matlab中将一个单元格数组保存为一个.mat文件，如下所示：
test = {'hello'; 'world!'};
save('data.mat', 'test', '-v7.3')
我如何用H5py导入它作为Python中的字符串列表？
我试过了
f = h5py.File('data.mat', 'r')
print f.get('test')
print f.get('test')[0]
这张打印出来：
<HDF5 dataset
浏览 3提问于2015-02-01得票数 7
回答已采纳
2回答
所以我一直在尝试将这个特定的.mat文件读入R中。我对matlab不太了解，但我知道R.matlab包只能将未压缩的数据读入R中，要将其保存为未压缩的数据，我需要使用save new.mat -v6将其保存在matlab中。
好的，我这样做了，但是当我在R中使用readMat("new.mat")时，它就永远地卡住了。我还尝试通过以下方式使用package hdf5：
> hdf5load("new.mat", load=FALSE)->g
Error in hdf5load("new.mat", load = FALSE) :
浏览 0提问于2011-10-31得票数 5
回答已采纳
我有很大的图像数据集来训练CNN。由于我无法将所有图像加载到我的内存中，因此我计划将它们转储到一个HDF5文件(使用h5py)中，然后批量迭代集合，如中所建议的 Most efficient way to use a large data set for PyTorch? 我试着为每个图片创建一个自己的数据集，位于同一组中，速度非常快。但我想不出要迭代组中的所有数据集，除非按其名称访问该集。作为另一种选择，我尝试通过扩展其形状来迭代地将所有图像放入一个数据集中，根据 How to append data to one specific dataset in a hdf5 file with
浏览 19提问于2019-03-08得票数 0
2回答
我能够使用.net版本的HDF5存储HDF5数据。问题是，数据在一个数组中，之后我将其写出到HDF5文件。
有没有一种方法可以从C#实时连续地向HDF5添加数据？从我在互联网上看到的，这是由数据包表处理的，但我没有看到它是dotnet端口的一部分？
浏览 0提问于2015-11-03得票数 1
1回答
我通过apt-get在Ubuntu上安装了libhdf5，但是没有目录。
数独找到-type d -name 'hdf5‘
./share/doc/hdf5 5-工具
./share/doc/libhdf5-mpich2-dev
./share/doc/libjhdf5-java
./share/doc/hdf5 5-帮手
./share/doc/libjhdf5-jni
./share/doc/libhdf5-mpich2-7
./local/MATLAB/R2016b/toolbox/matlab/imagesci/@hdf5
./local/MATLAB/R2016b/tool
浏览 16提问于2017-01-06得票数 0
回答已采纳
我想把HDF5文件读入Python，然后做一些编码工作。要在python环境中访问HDF5文件中的数据，需要使用HDF5文件的数据集名称。但是，我不知道如何找到数据集的名称，我想寻求帮助。
def select_HDF_file(self):
filename2 = QFileDialog.getOpenFileName(self.dlg, "Select output
file","",'*.hdf')
dataset_name = '**************'
file = h5py
浏览 30提问于2017-07-24得票数 3
回答已采纳
我有一个.h5文件，可以以pandas.read_pickle('X.h5'，'r')的形式在python中读取。现在我想在MATLAB-2014 a中加载这个，我不知道数据集的名称。我试着获取信息，但发现了错误
info=h5info('X.h5');
Error using h5infoc
The HDF5 library encountered an error and produced the following stack trace
information:
H5F_locate_signature unable to f
浏览 4提问于2017-07-19得票数 0
2回答
我想以编程方式更改HDF5文件中与数据集关联的数据。我似乎找不到一种方法，既不能按名称删除数据集(允许我用修改后的数据重新添加它)，也不能按名称更新数据集。我使用的是HDF5 1.6.x的C应用程序接口，但是指向任何HDF5应用程序接口的指针都会很有用。
浏览 3提问于2009-01-15得票数 4
回答已采纳
1回答
我试图使用HDF5文件(Version1.5.3)覆盖现有的数据集，特别是包。我环顾四周寻找了一段时间来寻找答案，但令人惊讶的是，我没有发现任何有用的东西--所以我们来看看:修改HDF5文件中现有数据集的首选方法是什么？
浏览 12提问于2021-01-21得票数 2
这是我遇到的问题的精华版：
我有一个包含许多(可能数百万)数据集的文件，它们都在同一组下，如下所示：
"/Group“+ Dataset0001双数组2到3维，数据量大+ Dataset0002 + Dataset0003 + ... + DatasetXXXX
数据集被分块并写入循环中，该循环在每次迭代期间只知道每个数据集的一个片段。因此，在每次迭代中，所有数据集都会发生不完整的写入。这意味着我必须使用数据集的名称形成字符串，并告诉HDF5查找它并获得句柄，这样我就可以对其进行写入。
这很慢。
有没有一种方法可以更快地获得句柄，比如说，使用文件中数据的偏移量？
浏览 1提问于2014-05-02得票数 0
在Caffe中有一个HDF5 [600000,1,7,256].The函数'compute_image_mean.cpp‘的数据块不适合hdf5。那么，如何利用matlab中的Caffe进行均值减法呢？
浏览 2提问于2016-04-08得票数 3
回答已采纳
1回答
我在试着用HDF5存储时间序列的脑电图数据。这些文件可能非常大，由许多通道组成，我喜欢HDF5文件格式的特性(惰性I/O、动态压缩、mpi等)。
处理EEG数据的一个常见方法是将数据部分标记为“感兴趣”。我正在努力寻找一种在文件中存储这些标记的好方法。我看到支持将同一数据集链接到其他组的软/硬链接，等等--但我看不到任何方法来链接到数据集的各个部分。
例如，假设我有一个名为EEG的数据集，其中包含睡眠数据。假设我运行一个算法，该算法需要一段时间来处理数据，并生成与REM睡眠周期相对应的索引。在HDF5文件中存储这些索引范围的最佳方式是什么？
我现在能想到的最好方法是创建一个包含三列的datas
浏览 1提问于2014-03-31得票数 2
我已经找到了从Spark读取HDF5文件的工具，但不是用来写它们的。有可能吗？
我们有一个大小为10-40TB的数据集。我们目前将其写出为大约20,000个Python pickle文件。这并不是很容易移植。此外，HDF5还提供了压缩功能。
我们可以编写拼图文件，一种方法是写出拼图文件，然后将它们转换为HDF5。但是，这种方法是不需要的，因为没有一个转换工具是多线程的。
我们希望使用HDF5，因为它在科学界得到了广泛的接受。它在Matlab和Stata等程序中的支持似乎明显好于parquet。
浏览 14提问于2021-03-11得票数 1
回答已采纳
1回答
我有几个(多达几百个) hdf5文件，其中包含并行模拟的结果:每个计算节点创建一个独立的hdf5文件，以避免任何同步问题。
有没有任何方法来创建hdf5文件中所有数据的“映像”，比如，这个“映像”看起来像是拥有所有数据，但实际上，它将提供来自其他文件的数据？
我要找的是：
"data-node0.h5"
spike/PopulationA -> pandas data frame columns=[0,3,6,9]
"data-node1.h5"
spike/PopulationA -> pandas data f
浏览 4提问于2017-10-21得票数 2
我有许多HDF5文件是以分层方式保存的(即包含多个文件的多个文件夹，其中每个文件夹中的文件是相关的--我指的不是单个HDF5文件的层次结构)。我想从每个文件中读取数据(向量)，并将其存储在反映文件之间层次结构的数据结构中。但是，数据的长度因文件而异。在下面的示例中，数据存储在HDF5文件的一个名为" data“的字段中。
如果每个文件的数据都是相同的长度，我只需要使用一个NumPy数组。但是，由于可变长度，我一直在使用嵌套列表，如下所示：
import glob
import h5py
# list of directories
dir_list = ["dir1"
浏览 8提问于2022-11-15得票数 0
1回答
我有几个形状相同的hdf5文件，包含x和y列。我需要添加这些，以获得一个包含所有数据的hdf5文件。
到目前为止我的代码如下：
def append_to_h5(new_file, file_list):
f = h5py.File(new_file, 'a')
for file in file_list:
with h5py.File(file, 'r') as d:
f.create_dataset("./", data=d)
f.close()
#new_file <-
浏览 68提问于2020-05-26得票数 3
我未能有效地将一个大的浮点值数据集保存到HDF5文件中。
数据采集工作如下:固定阵列的“射线数据”(坐标，方向，波长，强度等)。创建并发送到外部射线跟踪程序(其值约为2500 )。作为回报，我得到了相同的数组，但数据发生了变化。现在，我希望将新的坐标保存在HDF5中，以便作为一个简单的表进行进一步处理。这些步骤多次重复(约80 000次)。
我以HDF5group 为例，但不幸的是，解决方案相当缓慢。
在我将数据直接写入一个hdf5文件之前，我使用了一个简单的csv文件，它需要大约80秒的时间重复100次，而在hdf5文件中追加则需要160秒。
“伪”代码如下所示：
//n is a larg
浏览 0提问于2013-11-15得票数 4
我试图使用hdf5storage将numpy数据写入.mat文件。
import hdf5storage
# For example
numpy_array = [array([(b'<detect>', 192, 1)], dtype=[('packet_sync', 'S8'), ('n_bytes', '<u4'), ('n_detect', '<u4')]), array([(b'<detect>', 192, 2)],
浏览 21提问于2022-02-23得票数 2
我正在尝试从我之前编写的HDF5容器中读取单个文件。我认为这很简单:从文件大小和文件索引派生索引，并读取HDF5文件的相应部分。
file = h5read(filename, datasetname, ...
[ones(1, length(dataSize)-1) fileIdx], [dataSize(1:end-1) fileIdx]);
在下面的示例中，这将转换为h5read('myfile.h5', '/data', [1 1 1 4] , [1024 1024 4 4]);：
% info for myfile.h5
h5disp
浏览 1提问于2017-02-09得票数 2
回答已采纳
有时，我从我的HDF5文件中得到以下数组：
val1 = {ndarray} [<HDF5 object reference> <HDF5 object reference> <HDF5 object reference>]
如果我尝试用HDF5文件对象取消引用
f[val[0]]
我犯了个错误
Argument 'ref' has incorrect type (expected h5py.h5r.Reference, got numpy.object_)
浏览 4提问于2016-02-18得票数 6
我已经选择了特定的hdf5数据集，并希望将它们复制到一个新的hdf5文件中。我可以找到一些关于在两个文件之间进行复制的教程，但是如果您刚刚创建了一个新文件，并且希望将数据集复制到文件中，那么怎么办？我原以为下面的方法是可行的，但实际上并非如此。有什么简单的方法可以做到吗？
>>> dic_oldDataset['old_dataset']
<HDF5 dataset "old_dataset": shape (333217,), type "|V14">
>>> new_file = h5py.F
浏览 0提问于2018-11-24得票数 3
回答已采纳
4回答
是否有任何方法从hdf5文件中删除数据集，最好使用h5py？或者，是否可以在保持其他数据集完整的同时覆盖数据集？
据我理解，h5py可以在5种模式下读写hdf5文件
f = h5py.File("filename.hdf5",'mode')
其中，读模式可以是r，读写模式可以是r+，读-写模式可以是a，但是如果它不存在，则创建一个新文件；用于写入/覆盖模式的w模式，以及与w相同但如果文件已经存在则失败的w-模式。我试过所有的方法，但似乎都没有用。
任何建议都是非常感谢的。
浏览 24提问于2015-08-06得票数 28
回答已采纳
2回答
我正在开发一个用于数据分析的混合SQL (使用mySQL)和HDF5数据库解决方案。我的一些数据非常适合关系，SQL作为一种查询语言非常方便和有效，但是我有大量的数字数据(具有数千或元素/行/列的数组和矩阵)。因此，我将这些数据保存在一个HDF5文件中，并根据每个观察值之间的一些共性来排列组层次结构，这样，如果我将用于派生该层次结构的字段添加到SQL Select查询中，并在关系数据库中添加一个包含该特定观察值在数据集中的位置的索引，我就可以快速获得在HDF5文件中定位数值数据所需的所有信息。
我用Python，Numpy和h5py写了所有这些。然而，在某种程度上，我想让整个事情变得更加用户友
浏览 4提问于2013-07-19得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
