用大熊猫、python组织列和头数据
我正在尝试使用Numpy而不是Matlab，但我对Python还比较陌生。
我目前面临的挑战是以合理的方式导入多个文件中的数据，这样我就可以使用并绘制它。数据被组织成专栏(温度、压力、时间等，每个文件都是一个测量周期)，我认为熊猫可能是导入数据的最佳方式。我在考虑对每个文件使用顶级描述符，为每个列使用子描述符。想做这样的事。Reading Multiple CSV Files into Python Pandas Dataframe
问题是，我希望保留并使用标题中的一些数据(例如，用于绘图)。没有列标题，而是关于数据管理的一般信息，如下所示：
Flight ID: XXXXXX
Date: 01-27-10 Time: 5:25:19
OWNER
Release Point: xx.304N xx.060E 11 m
Serial Number xxxxxx
Surface Data: 985.1 mb 1.0 C 100% 1.0 m/s @ 308 deg.我真的不知道如何以一种与数据框架相结合的方式提取和存储数据。也许想到了一本字典，但我不知道如何有效地分割数据，因为没有一致的分隔符。有什么想法吗？
回答 1
Stack Overflow用户
发布于 2016-10-14 16:42:15
好像有人在用收音机..。
当我输入我的无线电探空仪数据时，我通常会把它放在一个多层次的索引数据中。级别可以是不同的形式和顺序，但像FLIGHT_NUM，日期，高度等会有意义。此外，在处理sonde数据时，我也需要一些不一定需要存储在dataframe中的附加信息，所以我将其存储为附加属性。如果我要解析您的文件，然后存储它，我将按照这样的思路做一些事情(是的，有些修改可以“改进”)：
import pandas as pd
with open("filename.csv",'r') as data:
header = data.read().split('\n')[:5] # change to match number of your header rows
data = pd.read_csv(data, skiprows=6, skipinitialspace=True, na_values=[-999,'Infinity','-Infinity'])
# now you can parse your header to get out the necessary information
# continue until you have all the header info you want/need; e.g.
flight = header[0].split(': ')[1]
date = header[1].split(': ')[1].split('')[0]
time = header[1].split(': ')[2]
# a lot of the header information will get stored as metadata for me.
# most likely you want more than flight number and date in your metadata, but you get the point.
data.metadata = {'flight':flight,
'date':date}我假设您的文件中有一个日期/时间列(这里称之为“日期”)，所以您可以使用它重新索引您的数据。如果选择在多级索引中使用不同的变量，则应用相同的方法。
new_index = [(data.metadata['flight'],r) for r in data.dates]
data.index = pd.MultiIndex.from_tuples(new_index)现在您有了一个多层次的索引数据格式。
关于你的“元数据”。EdChum提出了一个很好的观点，如果您复制“数据”，就不会复制元数据字典。另外，如果通过data.to_pickle将“数据”保存到数据中，则会丢失元数据(稍后将详细介绍)。如果您想保留元数据，您可以有几个选项。
- 按飞行顺序保存数据。这将允许您为每个航班的文件存储元数据。
- 假设您希望在一个保存的文件中有多个航班:您可以在dataframe中添加一个包含该信息的额外列(即另一列表示航班号，另一列表示表面温度，等等)，但这将增加保存文件的大小。
- 假设您希望在一个保存的文件中有多个航班(选项2)：您可以按航班号“键控”元数据字典。例如： data.metadata = {FLIGHT1:{'date':date}，FLIGHT2：{‘date’：date}
现在存储元数据。检查我的IO类，以便在发布的h5文件中存储其他属性。
你的问题相当广泛，所以你得到了一个广泛的答案。希望这能帮上忙。
https://stackoverflow.com/questions/25766446
复制相似问题
腾讯云开发者
