我试图读入存储在HDF5存储中的表，并将其作为数据帧读入Julia。当涉及到在Julia中使用HDF5包时，我发现一些文档令人困惑，我一直在想是否有类似于pandas等价物的东西：我的代码
浏览 0提问于2017-03-08得票数 4
2回答
我已经从Julia的dataframe模块创建了一些JLD文件，现在我想将它们导入到Pandas dataframe中。在Julia中读写这些文件是非常容易的，但是在Python3中我没有找到简单的方法。我已经检查了jld文件的内容，它非常复杂，所以必须有一个包来读取数据帧，保留列类型和名称等。有一个用于Python的JLD包，
浏览 23提问于2017-07-18得票数 4
回答已采纳
如何在包含可变长度字符串列和其他各种标准类型(Int64、Float64、Bool)列的HDF5中写入和追加数据？我的目标是有
浏览 2提问于2017-11-09得票数 2
我有一个非常大的熊猫数据帧存储为hdf5文件。为了获得该dataframe (df)的字符串列的最大大小，我以块的形式读取该dataframe，并使用以下代码来获得结果有没有更有效的方法可以让我读取hdf5的元数据来直接获取它的min_itemsize？
浏览 0提问于2015-10-10得票数 1
我有一个字典变量，它的维数几乎为70K×70K，我想将它转换为Dataframe，以便通过但在工作5分钟后，我会出现以下错误：Memory Error
我可以找到一些关于它的帖子，，但它似乎是熊猫和Numpy图书馆的一个常见问题，不幸的是，没有人能给出具体的答案，，大多数情况下，他们建议切片数据集我再次提出这个问题，希望库能得到一些更新数据来修复它
浏览 0提问于2018-04-26得票数 0
虽然在Julia中读取R数据集已经得到了足够的关注，但有时在Julia中完成的计算结果需要对R可读。为此，我试图在HDF5文件中保存一个对象。以下是目前为止的代码，是在当前可用的方法的限制下编写的：df = DataFrame(coln1 = 1
浏览 1提问于2015-01-22得票数 4
1回答
我把Pandas数据帧大数据帧加载到内存中。试图更有效地利用记忆。出于这个目的，我不会使用这个数据框架，因为我将从这个数据框架中子集--只有我感兴趣的行：DF = DF[DF['A'] == 'Y']
已经尝试过这个解决方案上面的解决方案对内存的使用最有效吗？请指点。
浏览 5提问于2016-06-01得票数 0
回答已采纳
第二次更新：被用户@Matt确认为一个bug，详情见下面他的答案。
更新： @waTeim演示了可以写入和读取包含date类型列(在我的设置中确认)的DataFrame。这一点很重要，因为它意味着Julia可以写入和读取数据帧列中的一些组合类型。但是，类型日期时间(与类型日期不同)的情况仍然会引发错误，因此此时问题仍未得到回答。在Juli
浏览 1提问于2014-07-18得票数 6
回答已采纳
1回答
我有一个大的数据帧(126041欧)。604个变量)。我对HDF5格式很陌生。我将HDF5文件保存如下：
如何将数据帧读取回来？而且，writeH5DataFrame花费了相当长的时间，可能是因为列数量众多(本例中为604列)。文档中提到“每个列的</
浏览 3提问于2014-01-04得票数 3
回答已采纳
2回答
我正在寻找一种方便的方法来在Julia中转储和加载变量，就像Python中的泡菜一样。是否有类似于myVar = load(myPath)和dump(myVar, myPath) (或类似的f = open(myPath, "r"); myVar = load(f))的包？
浏览 1提问于2015-03-31得票数 10
回答已采纳
我们正在评估用于存储分析C/C++代码期间收集的数据的技术。在C++的情况下，数据量可能相对较大，每TU约20 TU。
在阅读了下面的之后，我认为可能是一种适合我们使用的技术。数据的一般用法是写一次并读“几次”，类似于编译器生成的'.o‘文件的生存期。HDF5与使用SQLite DB这样的东西相比有什么不同呢
浏览 1提问于2009-02-13得票数 40
回答已采纳
1回答
我正在尝试使用h5py将mp4视频的帧存储到hdf5中。一开始，我试着简单地不压缩数据。这导致5000MB的视频在存储在hdf5中时约为500 MB。我正在尝试使用gzip压缩来使数据集更易于管理，但是使用压缩大约需要一分钟来存储视频的一帧。下面是一个最小的代码示例<
浏览 18提问于2017-01-19得票数 0
3回答
HDF5 :存储NumPy数据
、、、、
当我使用NumPy时，我以本机格式*.npy存储它的数据。它非常快，给了我一些好处，就像这个现在我正在与HDF5 (目前的PyTables)打交道。当我在本教程中阅读时，他们使用NumPy序列化程序来存储NumPy数据，这样我就可以像从简单的</em
浏览 9提问于2010-11-09得票数 2
回答已采纳
1回答
我有一个类，它包含一个函数，我在其中构建和存储一个可能非常大的凹凸不平数组，我以HDF5文件的形式读取该数组。(我将数组存储为类对象，以便在从文件中读取各种HDF5数据集时，可以使用列表理解，而不是手动循环。)我想要的是同时返回和删除存储的数组(即在return语句之后清理内存)。我知道我可以在后面的脚本中使用类似于del MWE.array<e
浏览 3提问于2017-03-17得票数 1
我正在尝试使用OpenCV包对数据(以hdf5格式存储的灰度强度图像)进行一些抖动/运动校正。通常，我以2D数组列表的形式读取数据(使用imshow执行colourplots)。使用cap = cv2.VideoCapture('video.mp4')从视频文件中读入帧的标准方法似乎不接受我列出的2Dnumpy数组，它们看起来像这样：
[[243.25
浏览 5提问于2020-02-10得票数 0
我在HDF5文件中保存了一个pandas.DataFrame。DataFrame由多个列组成，大小非常大。HDF5文件中每个表的大小都大于2 2GB。对于分析，希望仅将表的列的子集加载到存储器中。使用SQLite3，这是一项微不足道的工作。只需使用"select column1，colum2，... from table1“查询即可。在Python中有没
浏览 2提问于2019-08-07得票数 0
1回答
在一些情况下，hdf5存储格式用于深度学习。可以理解hdf5共享数据的好处。然而，我是否可以期望通过使用hd5f而不是级联帧的图像来提高训练效率呢？如果共享是我最不关心的事情，我是否有理由使用hdf5？
编辑:我浏览了各种页面，如HDF5用户指南、常见问题解答和其他博客文章。我发现hdf5主要是一种通用的存储格式。我找不到他们在
浏览 4提问于2017-12-13得票数 2
回答已采纳
3回答
我需要的是尽快获得unique date值。
我使用代码df = store.df.date.drop_duplicates()来检索。这行代码以6 seconds为参数。但是，如果我使用mysql并将相同的数据保存到mysql中，我使用mysql作为indexing之后的date列，使用sql:select distinct date from table，它只需要80ms来检索唯一的date值，这比HDF5快60 times。有没有办法使函数read_unique_
浏览 5提问于2021-08-06得票数 2
我有一个非常大的熊猫数据文件存储在hdf5文件中，我需要重命名数据文件的列。
简单的方法是使用HDFStore.select以块读取数据块，重命名列并将数据块存储到另一个hdf5文件中。但我认为这是一种愚蠢而低效的方式。有办法直接重命名hdf5文件中的列吗？
浏览 1提问于2015-08-18得票数 1
回答已采纳
1回答
我有100个熊猫数据帧存储在我计算机上的一个目录中的.pkl文件中。我想浏览所有的数据帧并将它们保存在一个HDF5文件中。我计划将所有数据帧保存在一个pickle文件中，但我听说HDF5更好，速度也更快。首先，我是这样做的：
path = '/Users/sray
浏览 1提问于2017-07-30得票数 1
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号