python数据清洗

Python疯子

发布于 2018-09-06 16:20:20

2.5K0

发布于 2018-09-06 16:20:20

文章被收录于专栏：Python疯子

数据的质量直接关乎最后数据分析出来的结果，如果数据有错误，在计算和统计后，结果也会有误。所以在进行数据分析前，我们必须对数据进行清洗。需要考虑数据是否需要修改、如何修改调整才能适用于之后的计算和分析等。

数据清洗也是一个迭代的过程，实际项目中可能需要不止一次地执行这些清洗操作。

缺省参数 nan 将元素只为None 则显示为缺省参数NaN

# 读取数据
file = './data/a.csv'
'''
AAPL, 342, 123, 42, 243, 138, 213
56, 432, 125, 34, 223, 613, ?
56, 123, 182, 44, 213, 313, 121
87, 234, 172, 46, 273, 213, 216
AAPL, 46, 912, 41, 923, 123, 218
AAPL, 23, 172, 46, ?, 213, 216
' ?', 111, 912, 41, 923, ?, 218
'''
# 获取文件共有多少行
# 这种方法简单，但是可能比较慢，当文件比较大时甚至不能工作。
lenNum = len(open(file).readlines())
print(lenNum)

# 读取大文件共多少行
count = 0
for index, line in enumerate(open(file,'r')):
    count += 1
print(count)

读取数据如果数据不存在或不符合数值规则用nan填充

delimiter 以什么符号进行分割 
skiprows=12 跳过开头12行 数据是从第13行开始的
usecols 就是获取下标为6，7列 的内容
unpack=True： 读取的内容是否分开显示，默认为False False返回一个大列表， 如果为True 必须多个参数接收数据，每个为一维数组 
c,v=np.loadtxt('a.csv', delimiter=',', usecols=(6,7), unpack=True)
# 读取后的数据类型：numpy.ndarray

缺省数据处理

01 直接填充适合格式 DataFrame， numpy.ndarray

from sklearn.preprocessing import  Imputer

# axis 默认为0 是通过列的平均值来填充 1按行的平均值填充
imputer = Imputer(axis=1)
data = imputer.fit_transform(data)
print(data)

02 删除

# 过滤掉带缺省参数的内容 即删除
# how='all' 行或列只要存在就删除 axis=0 按行删除 axis=1 按列删除

# 将内容转为DataFrame 类型
data = pd.DataFrame(data)
# print(data)

data2 = data.dropna(axis=1)
print(data2)

DataFrame类型

读取数据时，没有头标签的要加上header, header=None 否则数据显示有问题数据被会names(列标签)占用，可以先读取，获取行和列，如果没有头标签，再设置names标签其他参数：文件读取部分数据 skiprows=2 跳过前2行 skiprows=[2] 跳过下标为2的那一行下标从0开始 nrows=2 读取n行 chunksize=2 每次读取的行数返回可可遍历列表对象

data = pd.read_csv('./data/a.csv', delimiter=",", skiprows=0,  names=['a', 'b', 'c', 'd', 'e', 'f', 'g'])
print(type(data))
print(data)

01、内容填充参考上面 02、删除缺失参数NaN 参考上面

03 指定数据缺省参数

# data = data.fillna(0)   # 全0填充
# 指定元素填充 用字典表示 "g":88 g列的全用88填充
# data = data.fillna({"g":88})

04、将？替换为nan

# 单个替换
#data = data.replace(" ?", np.nan)

#向前填充 列填充 用缺省参数上面的数字填充
# data = data.replace(['AAPL',' ?'],method='ffill')

#向后填充 列填充 用缺省参数下面的数字填充
# data = data.replace(['AAPL',' ?'],method='bfill')

# 多个替换
# data = data.replace(["AAPL", ' ?'], value=np.nan)

# 多个内容换为多个值
# data = data.replace({"' ?'":88, "AAPL":88, " ?":88})

#正则替换  ?????????
#value参数显示传递
data = data.replace(regex=[r'\?|\.|AAPL'],value=np.nan)#用np.nan替换？或.或$原字符
print(data)

其他作用
# df.replace(r'\?|\.|\$',np.nan,regex=True)#用np.nan替换？或.或$原字符
# df.replace([r'\?',r'\$'],np.nan,regex=True)#用np.nan替换？和$
# df.replace([r'\?',r'\$'],[np.nan,'NA'],regex=True)#用np.nan替换？用  NA替换$符号
# df.replace(regex={r'\?':None})

总结： 1、通过 np.genfromtxt(file, delimiter=",", skip_header=0) 在读取数据时，直接将不符合类型的数据转为NaN 2、# 将内容转为DataFrame 类型再进行其他缺省值处理 3、平均值替换 4、删除缺省参数 5、指定内容填充

额外补充：

文件写入时，注意点

# float_format='%.2f' #保留两位小数

# 写入时 将行和列下标去除 只保存真实数据
# data.to_csv("frame8.csv", index=False, header=False,  float_format='%.2f')

# 如果数据结构中有缺省值NaN时， 在写入文件时要添加设置缺省参数 na_rap = "NaN" 否则写入时会显示空白
# data.to_csv("frame.csv", na_rap = "NaN")

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2018.08.11 ，如有侵权请联系 cloudcommunity@tencent.com 删除

其他

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

其他

登录后参与评论

0 条评论

热度