我有大量的文件存储在文件夹中。我需要对每个文件对执行相同的python脚本，并在txt或excel文件中输出结果。如何使流程python或批处理脚本自动化？
Eg. Files inside Folder
ap.hdf5
sta.hdf5
ap_20150909_154518_00.hdf5
sta_20150909_154518_00.hdf5
ap_20150909_154530_00.hdf5
sta_20150909_154530_00.hdf5
ap_20150909_154541_00.hdf5
sta_20150909_154541_00.hdf5
这些文件是根据修改后的数据排
浏览 1提问于2015-10-14得票数 0
回答已采纳
1回答
在尝试安装之前，我需要安装大量的依赖项。所以我可能在路上做错了什么，谁能告诉我什么？
实际上，是：
Python (从2.4版开始)
numpy (v1.1 +)
cython (v0.16 +)
VTK (v5.8 +)
Qt (v4.7 +)
pySide (用于Qtv4.7 +)
hdf5 (v1.8.5 +)
$ python -V
Python 2.7.6
$ python -c 'import numpy;print numpy.version.version'
1.9.2
$ cython --version
Cython version 0.22
$
浏览 2提问于2015-07-05得票数 1
我正在尝试下载一个hdf文件并读取python，如下所示
from pyhdf import SD
file = open("temp.hdf", 'w')
ftp.retrbinary('RETR '+ filename, file.write)
file.close()
hdf=SD.SD('temp.hdf')
它可以工作，但很快我就得到了以下错误：
Traceback (most recent call last):
File "<ipython-input-46-55805a9d569b>&
浏览 8提问于2018-02-14得票数 0
回答已采纳
我有一个python_script.py python_script.py，它在本地机器上读取一个HDF5文件hdf_file.h5。文件的目录路径是
python_script.pyhdf_file.h5 folder1 folder2
我有以下示例代码：
from pandas import read_hdf
df = read_hdf('hdf_file.h5')
当我在本地机器上运行这段代码时，它可以正常工作。
但是，我需要将Python脚本放在Docker容器中，将HDF文件排除在容器之外，并让代码读取该文件。我希望容器的目录路径如下所示：
hdf_file.
浏览 2提问于2020-05-03得票数 0
回答已采纳
1回答
这是我的代码：
import os
import pandas as pd
def load_hdf(filename):
"""
Load the first key of an HDF file
"""
hdf = pd.HDFStore(filename,mode = 'r')
keys = hdf.keys()
if not keys:
hdf.close()
return pd.DataFrame()
data_df = hdf.
浏览 2提问于2018-12-28得票数 1
2回答
我尝试安装PyTables模块。我使用Windows7 (x32)，Python2.7.3 (x32)，Cython0.16，Visual Studio2008 (9.0)。在cmd.exe 'run as administrator‘中写道：'python setup.py install --hdf5="C:\Program Files\HDF Group\HDF5\1.8.9"’。
但存在未解析的外部符号，构建失败：
* Found numpy 1.6.2 package installed.
* Found numexpr 2.0.1 package i
浏览 1提问于2012-07-15得票数 2
回答已采纳
1回答
我正在为一个复杂的C++库编写一个Cython包装器。我想我已经知道了如何编写必要的.pxd和.pyx文件。我现在的问题是，尽管我的C++程序有大约100个不同的名称空间，但Cython编译的python库的名称空间完全是平坦的。
例如，如果我的.pxd文件中有这样的内容：
cdef extern from "lm/io/hdf5/SimulationFile.h" namespace "lm::io::hdf5":
cdef cppclass CppHdf5File "lm::io::hdf5::Hdf5File":
.
浏览 2提问于2015-01-12得票数 8
1回答
我为caffe编写了python layer，它可以读取hdf5，并为我提供一些操作需求。但是在python setup方法中打开和读取hdf5文件时，我遇到了一些问题。这就是了。当我使用带有setup中代码的表时：
def setup(self, bottom, top):
h5file = tables.open_file("/home/titan/models/hdf5/train_small.h5", driver="H5FD_CORE")
运行net时出现以下错误：
Traceback (most recent call last):
Fi
浏览 1提问于2016-01-15得票数 1
这是我的巴什剧本。如何一个接一个地运行这三个命令行(因此，第二个命令等待第一个命令完成，第三个命令等待第二个命令完成)。
#!/bin/bash
python /path/to/someprogramm.py analyze --probes /path/to/myfile.bed --rpkm_dir /path/to/RPKM/ --output /path/to/hdf5/analysis.hdf5 --write_svals /path/to/SVD/singular_values.txt;
python /path/to/someprogramm.py call --input
浏览 3提问于2021-04-20得票数 0
回答已采纳
2回答
我正在尝试在MacOSX10.6.3中安装h5py。
首先我安装了HDF5 1.8，它使用了以下命令：
./configure \
--prefix=/Library/Frameworks/Python.framework/Versions/Current \
--enable-shared \
--enable-production \
--enable-threadsafe \
CPPFLAGS=-I/Library/Frameworks/Python.framework/Versions/Current/include \
LDFLAGS=-L/Library/Frameworks/Py
浏览 2提问于2010-05-20得票数 0
1回答
有没有办法强制pandas在HDF文件中写一个空的DataFrame？ import pandas as pd
df = pd.DataFrame(columns=['x','y'])
df.to_hdf('temp.h5', 'xxx')
df2 = pd.read_hdf('temp.h5', 'xxx') 输出： Traceback (most recent call last):
File "<stdin>", line 1, in <module&
浏览 27提问于2019-03-22得票数 1
我有一些MODIS hdf文件，尝试使用Python.Here中的GDAL模块将投影从正弦更改为朗伯特共形圆锥是我的python代码，它返回错误信息：
import os,sys
import gdal
import numpy
os.sys('gdalwarp test.hdf outfile.hdf -t_srs "+proj=lcc"')
File "projection_cmd.py", line 5, in ?
os.sys('gdalwarp test.hdf outfile.hdf -t_srs "
浏览 0提问于2013-01-25得票数 0
3回答
我有一个hdf文件，想要从中提取数据。由于某些原因，我无法提取纬度和经度值：
我尝试的代码是：
from pyhdf import SD
hdf = SD.SD('MOD10C2.A2001033.006.2016092173057.hdf')
data = hdf.select('Eight_Day_CMG_Snow_Cover')
lat = (hdf.select('Latitude'))[:]
它给了我一个错误：
HDF4Error: select: non-existent dataset
我尝试过：
lat = (hdf.select
浏览 93提问于2018-07-27得票数 1
回答已采纳
使用pandas版本0.19.1 (在我的系统上安装了py27-tables-3.2.2_1和hdf5-1.10.0 )，我尝试使用以下命令将pandas数据帧保存为.h5：
import pandas as pd
df = pd.DataFrame(dict(A=range(5), B=range(5)))
df.to_hdf('savefile.h5', 'table', mode='w')
但是，会出现以下错误：
Traceback (most recent call last):
File "<stdin>"
浏览 2提问于2016-12-12得票数 0
在Linux Mint 17.1上执行此操作。
当我尝试的时候：
pip install hdf5
我得到了错误
"Could not find a version that satisfies the requirement hdf5 (from versions: ) No matching distribution found for hdf5"
从长远来看，我正在尝试安装netcdf4，但在安装hdf5之前，我无法做到这一点。假设从上周我尝试使用netcdf4开始，我应该使用pip install netcdf4，err hdf5...at，至少在hdf5的情况下。
如
浏览 22提问于2016-03-23得票数 8
我想把HDF5文件读入Python，然后做一些编码工作。要在python环境中访问HDF5文件中的数据，需要使用HDF5文件的数据集名称。但是，我不知道如何找到数据集的名称，我想寻求帮助。
def select_HDF_file(self):
filename2 = QFileDialog.getOpenFileName(self.dlg, "Select output
file","",'*.hdf')
dataset_name = '**************'
file = h5py
浏览 30提问于2017-07-24得票数 3
回答已采纳
我试着用openEXR安装Vigra，但是没有安装指南。ps。我也安装了柠檬库，但vigra找不到它。 我试过..。 sudo cmake -VIGRA_STATIC_LIB:BOOL=ON -WITH_BOOST_GRAPH:BOOL=ON -WITH_BOOST_THREAD:BOOL=ON -WITH_HDF5:BOOL=ON -WITH_LEMON:BOOL=ON -WITH_OPENEXR:BOOL=ON .. 但是没有成功..。 -- Configuring VIGRA version 1.11.1
-- Checking template recursion depth:
浏览 21提问于2020-09-03得票数 0
我正在尝试安装工具，并需要安装hdf5。我试过了
$ pip安装hdf5
并获取
无法找到满足hdf5需求的版本(来自版本：)没有为hdf5找到匹配的发行版
我的回声$PATH是：
/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/opt/X11/bin:/usr/local/munki:/opt/salt/bin:/usr/local/sbin
$which python吸引了我：
/usr/local/bin/python
我怀疑PATH存在一些问题，因为这个mac最初安装了anaconda和python 3.x，我
浏览 3提问于2017-04-06得票数 2
我同时使用pandas和pytables (3.1.1)。问题是我已经打开了一个包含pytables的HDF5文件，当我尝试使用pandas创建一个新的HDF5Store时
hdf5store = HDFStore(...)
我得到以下错误：
File "/home/travis/virtualenv/python2.7_with_system_site_packages/local/lib/python2.7/site-packages/pandas/io/pytables.py", line 281, in __init__
self.open(mode=mod
浏览 2提问于2014-05-21得票数 4
1回答
一段时间以来，我一直在为正确安装GDAL而斗争，就在我认为一切都正常工作的时候，我发现了另一个路障。
我使用描述的解决方案安装了GDAL，这是一种支持HDF4文件格式的表单。例如，在bash中使用gdalinfo --formats返回支持的文件格式列表，其中包括HDF4。此外，gdalinfo XYZ.hdf返回对我输入的任何hdf文件的完整描述。
但是，当试图通过Python处理HDF4文件时，我会发现一个错误，即HDF4不是受支持的文件格式。使用
import osgeo.gdal as gdal
gdal.GetDriverByName('HDF4')
没有任何回报
浏览 1提问于2017-08-01得票数 0
回答已采纳
1回答
我训练了一个机器学习模型，并将它保存为hdf5文件。
model.save('landcover_100_epochs_RESNET_backbone_batch16.hdf5')
现在，当我尝试在jupyter笔记本中加载模型时，它工作正常，没有错误。
from keras.models import load_model
model = load_model("landcover_100_epochs_RESNET_backbone_batch16.hdf5", compile=False)
但是，当我在QGIS插件的python文件中编写相同的代码时，会
浏览 8提问于2022-11-10得票数 -1
2回答
我有一个小的python程序，它使用h5py模块创建hdf5文件。我想编写一个python模块来处理hdf5文件中的数据。我怎么能这么做呢？
更具体地说，我可以将numpy数组设置为PyArrayObject并使用PyArg_ParseTuple读取它们。这样，我就可以在编写python模块时从numpy数组中读取元素。如何读取hdf5文件以访问单个元素？
更新:感谢你下面的回答。我需要从C中读取hdf5文件，而不是从Python中-我知道如何做到这一点。例如：
import h5py as t
import numpy as np
f=t.File('\tmp\tmp.h5'
浏览 0提问于2011-03-23得票数 2
2回答
我使用h5py在python中创建hdf5文件，我希望使用blosc作为压缩过滤器。我第一次从源代码安装c是通过：
wget https://github.com/Blosc/c-blosc/archive/v1.9.1.tar.gz
tar -xvf c-blosc-v1.9.1.tar.gz
cd c-blosc-v1.9.1
mkdir build
cd build
cmake -DCMAKE_INSTALL_PREFIX=/usr/local ..
cmake --build .
cmake --build . --target install
(注意，我不使用自制，所以我的/usr/
浏览 12提问于2016-05-26得票数 6
回答已采纳
一个Pandas DataFrame可以像这样转换成一个hdf5文件；
df.to_hdf('test_store.hdf','test',mode='w')
我有一个sqlite db文件，它必须转换为hdf5文件，然后我将使用pd.read_hdf通过pandas读取hdf5文件。
但首先，我如何将python sqlite db转换为hdf5文件？
编辑：
我知道在pandas中使用.read_sql方法。但是我想先把db转换成hdf5。
浏览 3提问于2014-04-08得票数 5
1回答
在python2.7中，我可以使用关键字分析hdf5文件
$ python
>>> import h5py
>>> f = h5py.File('example.h5', 'r')
>>> f.keys()
[u'some_key']
然而，在python3.4中，我得到了一些不同的东西：
$ python3 -q
>>> import h5py
>>> f = h5py.File('example.h5', 'r')
>
浏览 1提问于2015-06-25得票数 21
回答已采纳
1回答
我一直在慢慢地完成安装PyTables所需的所有依赖关系。这包括更新Numpy、安装numexpr和cython以及hdf5库。
我现在收到一个错误，说明它找不到本地HDF5安装。它说明我应该设置一个HDF5_DIR环境变量。我创建了一个windows环境变量HDF5和HDF5_DIR，并将hdf5 bin目录添加到我的path中。仍然没有joy。
是否有一组单独的python环境变量？我怀疑，但是搜索python和环境变量只会导致对如何设置PYTHONPATH的大量描述。
浏览 5提问于2014-01-20得票数 0
回答已采纳
下载并安装(将dir添加到PATH)之后，仍然没有hdf5dll18.lib和hdf5_hldll.lib可用。所以
python3 setup.py安装
失败(python3是我的重命名)。我的h5py来自github。
解决办法：
将hdf5.lib和hdf5_hl.lib复制到h5py克隆的根目录，并将其重命名到所需的文件。
浏览 4提问于2014-02-04得票数 0
1回答
我使用anaconda，我不能用
conda update pytables
上面写着“已经安装”。
....
# All requested packages already installed.
# packages in environment at C:\Anaconda:
#
pytables 3.1.1 np19py27_1
然后我试了一下：
C:\Users\HP>pip install --upgrade tables
Collecting tables
Using cached tables-3.2.0
浏览 1提问于2015-06-15得票数 6
1回答
OSError:无法打开文件(找不到文件签名)
我觉得问题是.hdf文件，因为我没有.h5或.hdf5文件。那么如何在python中打开.hdf呢？
浏览 9提问于2022-06-01得票数 -1
1回答
我在读取hdf5文件时遇到了一个奇怪的问题。这是最新版本的Python和Numpy，以及其他包。我在Ubuntu 18.0.4上。我可以很好地编写hdf5文件，但是当我尝试读取hdf5文件时，它抛出以下错误： ValueError Traceback (most recent call last)
<ipython-input-1-f757457e8111> in <module>
2 df = pd.DataFrame(data={'d': ['a', '
浏览 38提问于2019-01-18得票数 2
回答已采纳
5回答
在Python上安装Caffe深度学习框架时，我遇到了麻烦：
当我在caffe目录下运行make命令时，它说
Hdf5.h:没有这样的目录
我所做的步骤：
更新和升级我的Ubuntu服务器
安装Python2.7
拥有基于的所有依赖项
运行cp cp Makefile.config.example Makefile.config
取消注释cpu_only =1在Makefile.config中
如果有人能帮我，我会很感激的。
错误消息：
CXX src/caffe/util/hdf5.cpp
in file include from src/caffe/ut
浏览 8提问于2016-05-03得票数 31
我正在做一个涉及网络消息队列(msgpack，zmq，...)的项目。在RHEL6.3 (x86_64)系统上。
放弃后，我返回到我的代码，不知何故，我设法破坏了我的hdf5 / h5py安装- h5py在导入时找不到libhdf5.so.7。我立即在RHEL6.3 (x86_64)上的/usr/local/hdf5中重新安装了hdf5-1.8.9，如下所示：
./configure --prefix=/usr/local/hdf5
make
make check
sudo make install
make check install
它似乎工作得很好。然后我重新安装了h5py (在Pyth
浏览 0提问于2012-07-20得票数 24
我正在尝试使用h5py库在python中读取hdf5格式的MATLAB文件。这个文件叫做"Q_visSDF_accurate.mat“，有两个键："filename”和"sdf“。"filename包含一个单元格数组字符串。" sdf“是一个包含浮点数的6001,49380矩阵。我使用以下代码提取变量sdf没有问题：
import h5py
data = h5py.File("Q_visSDF_accurate.mat", 'r')
sdf = data.get("sdf")[:,:]
sdf = sdf.
浏览 0提问于2016-12-08得票数 1
1回答
我正在学习如何将Python模块用于netCDF4 (以及一般情况下的netCDF4 )。使用HDF5文件格式，有一种自然的方法可以将Python转换为HDF5数据结构--使用组的属性：
parameters = {'a':1.0, 'b':2.0, 'c':3.0}
f = h5py.File("test.hdf5",'w')
hdf_parms = f.create_group("parameters")
for k,v in parameters.items():
hdf_pa
浏览 4提问于2015-12-23得票数 1
回答已采纳
2回答
，我想做什么？
pd.read_csv(... nrows=###)可以读取文件的顶部行。在使用pd.read_hdf(...)时，我也想这样做。
有什么问题？
我被弄糊涂了。start和stop看起来像我所需要的，但是当我尝试它时，会返回一个ValueError。我尝试的第二件事是使用nrows=10，认为它可能是允许的**kwargs。当我这样做时，不会抛出错误，而是返回完整的数据集，而不是仅返回10行。
问题：如何正确地从HDF文件中读取较小的行子集？(编辑:不必先把整件事读入记忆！)
以下是我的互动会议：
>>> import pandas as pd
>>
浏览 12提问于2017-09-29得票数 3
我正在尝试读取一个HDF4文件()。
import os
import numpy as np
from pyhdf.SD import SD, SDC
# Open file.
FILE_NAME = 'MOD13A2.A2016001.h23v05.006.2016029070140.hdf'
hdf = SD(FILE_NAME, SDC.READ)
# List available SDS datasets.
print (hdf.datasets())
# Read dataset.
DATAFIELD_NAME="1_km_16_days_NDVI&#
浏览 1提问于2018-04-05得票数 1
我已经通过发行版安装了python。它适用于大多数正常的事物。我需要能够打开一个MODIS HDF4-EOS文件，但是。我试过了
conda install -c https://conda.binstar.org/mutirri hdf4
conda install gdal
python -c "from osgeo import gdal; ds=gdal.Open("MOD021KM.A2014005.0910.006.2014005194151.hdf"); print type(ds)"
但我得到
错误4：`MOD021KM.A2014005.09
浏览 10提问于2014-08-15得票数 3
回答已采纳
1回答
到目前为止，我是M1用户，在python3.9.10上进行编码。
我尝试更新lib。特别是用于python3.9.12和HDF5。另外，我重新安装了h5py。我试过了。
brew update & upgrade
brew reinstall hdf5
export HDF5_DIR=/opt/homebrew/Cellar/hdf5/1.13.0/
pip install h5py --upgrade --no-dependencies --force
所有升级都完成了。但是，当我尝试代码时，我遇到了这样一个错误消息，它基于以前的构建环境没有错误。
> import h
浏览 15提问于2022-04-07得票数 3
回答已采纳
我构建并编译了python3.5，然后安装了virtualenv。我是这样安装熊猫的：sudo venv/bin/pip3.5 install pandas，我这样运行我的应用程序：
python3.5 my_test_app.py
显然，我正在使用python3.5，但我仍然存在HDFStore问题：
Traceback (most recent call last):
File "my_test_app.py", line 105, in <module>
myfunction()
File "my_test_app.py", l
浏览 2提问于2017-03-07得票数 2
回答已采纳
我试图在这个上学习这个例子。
如本中所建议的
我把上限提高到9999了。
我已经把csv文件转换成hdf5了
当试图将单个hdf5文件打开到dataframe中时，代码失败：
df = vaex.open('data/chat_history_00.hdf5')
下面是其余的代码：
import re
import glob
import vaex
import numpy as np
def tryint(s):
try:
return int(s)
except:
return s
def alphanum
浏览 5提问于2020-01-15得票数 1
回答已采纳
1回答
我需要向HDF文件添加一些字符串标量属性，下面是我的python：
hdf = h5py.File('data.hdf', 'r+')
hdf['program'].attrs['filename'] = '.\\cover.tif'
hdf['program'].attrs['gis'] = 'cover'
hdf.close()
这是因为它确实添加了这两个属性，但是当我在HDFViewer中检查它们时，它们有一个类型：String, length=variable
浏览 1提问于2017-11-17得票数 0
回答已采纳
我有一个小的(< 6Mb) .hdf文件(从服务获得)。我尝试过pandas和h5py来打开它，但没有效果(代码如下所示)。我还用以下方法测试了该文件：
$ h5dump -n data.hdf
h5dump error: unable to open file "data.hdf"
和
$ h5debug data.hdf
cannot open file
这一切似乎都指向了一个损坏的文件，但奇怪的是， (v2.11)有绝对没有打开同一个文件的问题。
这里发生什么事情？
1.
import h5py
data = h5py.File(filename, '
浏览 10提问于2020-02-03得票数 0
回答已采纳
我想保存一系列的DataFrame使用熊猫到hdf文件。所以我使用to_hdf()
x = pd.DataFrame(np.random.rand(10, 10), index=pd.date_range(end='1/1/2018', periods=10), columns=list('abcdefghij'))
x.iloc[:5, :].to_hdf('append.h5', format='table', key='part1', mode='a')
在此之后，我想检查这个
浏览 5提问于2018-07-23得票数 1
我想在python中将hdf4文件转换为hdf5，我认为这个工具h4toh5可以解决这个问题，但我不知道如何在python中使用它，有人知道吗？
上提供的工具
浏览 13提问于2016-08-18得票数 0
我用Python2.7编写了一个dataframe，但现在我需要在Python3.6中打开它，反之亦然(我想比较两个版本编写的两个dataframe)。
如果我在Python3.6中使用pandas打开由Python2.7生成的HDF文件，则会产生以下错误：UnicodeDecodeError: 'ascii' codec can't decode byte 0xde in position 1: ordinal not in range(128)
如果我在Python2.7中使用pandas打开由Python3.6生成的HDF文件，则会出现以下错误：ValueErro
浏览 25提问于2018-03-05得票数 1
回答已采纳
以前，我已经将dataset的多列保存到一个HDF文件中。该程序可概述如下：
import pandas as pd
from pandas import HDFStore, DataFrame
from pandas import read_hdf
hdf = HDFStore("FILE.h5")
feature = ['var1','var2']
## noted that the original dataframe is huge, and thus fake dataframe was generated as example.
浏览 3提问于2019-10-15得票数 0
我正在尝试对hdf5文件中的数据进行排队。由于Tensorflow不支持hdf5，因此我创建了一个python函数，该函数从hdf5文件中读取示例，并在到达文件末尾时引发tf.errors.OutOfRangeError。然后，我用tf.py_func包装这个python函数，并将其用作我的队列的入队op。
这是我的代码：
import h5py
import tensorflow as tf
from tensorflow.python.framework import errors
import numpy as np
def read_from_hdf5(hdf5_file, batc
浏览 7提问于2017-02-19得票数 1
回答已采纳
我正在Mac上构建h5py，遵循此链接中的“针对并行HDF5构建”的说明：
$ export CC=mpicc
$ python setup.py configure --mpi
$ sudo python setup.py build
我得到了这个错误：
h5py-2.5.0/h5py/api_compat.h:27:10: fatal error: 'hdf5.h' file not found
我该怎么办？如果我需要安装一些开发版本的HDF5，我如何才能在Mac上安装？
浏览 1提问于2015-06-15得票数 12
我使用的是Python实用程序HDF4MapReader，它读取从HDF4文件生成的XML文件。我认为我得到的错误可能会被使用Python (我的版本是2.6.1)的人识别出来：
~/Desktop/HDF4MapReader/src$ python hdfmr.py
Traceback (most recent call last):
File "hdfmr.py", line 72, in <module>
from Reader import Reader
File "/Users/chuck/Desktop/HDF4MapReader
浏览 4提问于2012-02-27得票数 0
1回答
我使用Python语言处理大量文件，需要直接用HDF5编写输出(每个输入文件对应一个数据帧)。我想知道从我的脚本直接向HDF5快速写入pandas数据帧的最好方法是什么？我不确定是否有像hdf5，hadoopy这样的python模块可以做到这一点。在这方面的任何帮助都将受到感谢。
浏览 10提问于2016-08-12得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
