Pandas的列表值处理技巧，避免过多循环加快处理速度
Pandas的列表值处理技巧，避免过多循环加快处理速度
这里有一些技巧可以避免过多的循环，从而获得更好的结果
图1 -标题图像。
您曾经处理过需要使用列表的数据集吗?如果有，你就会明白这有多痛苦。如果没有，你最好做好准备。
如果你仔细看，你会发现列表无处不在!下面是一些实际问题，您可能会遇到列表。
- 音频或视频标签
- 调查数据中的开放式问题
- 参与创作作品的所有作者、艺术家、制作人等的名单
图2 -一个有趣的猫有关的视频的标签列表。
我最近参与了多个项目，这些项目要求我分析这类数据。在经历了几个小时的痛苦摸索之后，我意识到必须在这里分享我的知识来帮助您节省时间。
我将向您展示您可能会遇到的各种问题，并为它们提供实用的解决方案。
准备
要遵循本教程，请下载用于所有示例的虚拟数据集。包括代码在内的所有资料都可以在这里找到。
另外，请导入所有必要的库并加载数据格式。
import pandas as pd
import numpy as np
import matplotlib as pltfruits = pd.read_csv("fruits.csv", delimiter = ";")
图3 -数据集示例
列表值有什么问题呢?
让我们直击要点:列表值打乱了您所知道的关于数据分析的一切。如果没有无尽的循环，甚至不能执行最简单的操作。让我给你们看一个简单的例子:
对于示例数据集中的“age”列，我们可以轻松地使用value_counts()函数来计算观察到的年龄数据集的数量。
fruits["age"].value_counts()## OUTPUT ##
8 3
10 2
6 2
9 1
7 1
5 1如果我们想知道哪些水果被命名得最多呢?原则上，我们在“favorite_fruits”列中获得了所需的所有数据。然而，如果我们应用相同的函数，结果是没有帮助的。
fruits["favorite_fruits"].value_counts()## OUTPUT ##
["strawberry", "raspberry", "blueberry"] 1
["mango", "pineapple", "orange"] 1
["blueberry", "watermelon", "apple", "raspberry"] 1
["apple", "pear", "peach"] 1
["pear", "strawberry", "raspberry"] 1
["banana", "maracuja", "watermelon", "apple", "pineapple"] 1
["peach", "strawberry", "apple", "blueberry"] 1
[] 1
["banana", "mango", "orange", "watermelon"] 1
["watermelon", "apple", "blueberry", "pear", "strawberry"] 1 这不起作用的原因是，Pandas不能直接访问列表中的每个元素。因此，它无法正确地应用value_counts()等函数。那么，我们该怎么做呢?我将在下面向您展示!
问题1:列表存储为字符串
您经常会遇到的一个问题是，panda将以字符串的形式读取列表，而不是以列表的形式。
for i, l in enumerate(fruits["favorite_fruits"]):
print("list",i,"is",type(l))## OUTPUT ##
list 0 is <class 'str'>
list 1 is <class 'str'>
list 2 is <class 'str'>
list 3 is <class 'str'>
list 4 is <class 'str'>
list 5 is <class 'str'>
list 6 is <class 'str'>
list 7 is <class 'str'>
list 8 is <class 'str'>
list 9 is <class 'str'> 这意味着您甚至不能遍历列表来计算惟一值或频率。根据您的列表在dataframe格式化方式的，有一种简单的或复杂的解决方案。在任何情况下，您都可以使用我提供的代码。
你的字符串是这样的吗：“[‘strawberry’, ‘apple’, ‘orange’]”？
在这种情况下，有一个使用apply()和eval()函数的快速方法。
fruits["favorite_fruits"] = fruits["favorite_fruits"].apply(eval)你的字符串是这样的吗：“[strawberry, apple, orange]”?
这个类型比较困难，eval()函数因为列表缺少内部引号而不能工作，以便将其识别为一个列表对象。快速而粗糙的解决方案是简单地向字符串添加引号，然后应用eval()。使用这个函数：
def clean_alt_list(list_):
list_ = list_.replace(', ', '","')
list_ = list_.replace('[', '["')
list_ = list_.replace(']', '"]')
return list_ 应用到dataframe时,请使用此伪代码:
df[col] = df[col].apply(clean_alt_list)注意，在这两种情况下，Pandas仍然会为系列分配一个“O”数据类型，这通常用于字符串。但是不要让这个迷惑了你。你可以使用检查实际的数据类型:
for i, l in enumerate(fruits[“favorite_fruits”]):
print(“list”,i,”is”,type(l))## OUTPUT ##
list 0 is <class 'list'>
list 1 is <class 'list'>
list 2 is <class 'list'>
list 3 is <class 'list'>
list 4 is <class 'list'>
list 5 is <class 'list'>
list 6 is <class 'list'>
list 7 is <class 'list'>
list 8 is <class 'list'>
list 9 is <class 'list'>问题2:获得特定的列表值
在这第一步之后，我们的数据集最终被Pandas认可。但是，我们仍然不能使用标准函数，因为它们不是为列表设计的。
至少我们现在可以使用循环。这个方法适合于小数据集,但会非常慢。例如,我如果分析高达999个标签,大约有500k音乐曲目的数据集。这意味着,内部循环将会有数亿次,这将花费数小时,并可能使我的计算机崩溃。我能给你展示一个更干净、更快的方法,在一分钟内完成此任务。然而,如果您真的想使用循环,下面是代码:
fruit_dict = {}
for i in fruits["favorite_fruits"]:
for j in j:
if j not in fruit_dict:
fruit_dict[j] = 1
else:
fruit_dict[j] += 1我花了一段时间才弄清楚。如果我们将列表数据集化作为一个2D数组,然后将其维度从2减少到1,将允许我们再次应用经典的Pandas功能。为此,您可以使用这个函数:
def to_1D(series):
return pd.Series([x for _list in series for x in _list]) 如果我们现在使用value_counts()，就会得到我们想要的结果。
to_1D(fruits[“favorite_fruits”]).value_counts()## OUTPUT ##
apple 5
blueberry 4
watermelon 4
strawberry 4
raspberry 3
pear 3
banana 2
pineapple 2
mango 2
peach 2
orange 2
maracuja 1 要获得惟一的值，只需将.index()链接到上面的结果中提取它们。
此时，我们可以生成第一个有意义的可视化。
fig, ax = plt.subplots(figsize = (14,4))
ax.bar(to_1D(fruits["favorite_fruits"]).value_counts().index,
to_1D(fruits["favorite_fruits"]).value_counts().values)
ax.set_ylabel("Frequency", size = 12)
ax.set_title("Children's Favorite Fruits", size = 14)
图4 -显示所有水果的频率的条形图。
问题3:针对有唯一值的单独列
如果您对我们之前得到的结果感到满意，就到此为止吧。但是，您的研究目标可能需要更深层次的分析。也许您希望将所有列表元素相互关联以计算相似度得分。比如吃香蕉的孩子也喜欢芒果吗?或者你想知道哪些水果是大多数孩子最喜欢的水果。这些问题只能通过更深层次的分析才能得到答案。
为此，我将介绍两种有用的方法。它们的复杂性不同。
方法一
这是我偶然发现的一个非常简单快速的方法。而且它非常有用!您只需要一行代码。
fruits_expanded_v1 = fruits["favorite_fruits"].apply(pd.Series)
图5 -使用方法1的水果列表的扩展版本
正如您所看到的,这单独生成了一个dataframe,每个列表都分为单个元素。有了这个方法,您将总是得到一个具有一个(n,len(lonsig_list))的dataframe。在这种情况下,10个孩子中有两个叫了5个最喜欢的水果,结果是一个10x5的dataframe。
通过这个，我们就可以知道哪些水果是人们最喜欢的水果。
fruits_expanded_v1.iloc[:,0].value_counts(normalize = True)## OUTPUT ##
banana 0.222222 pear 0.111111 watermelon 0.111111 blueberry 0.111111 strawberry 0.111111 apple 0.111111 peach 0.111111 mango 0.111111我们可以看到香蕉是孩子们最喜欢的水果。
或者，我们可以以单个水果为目标，找出它们在列表的每个位置被命名的次数。这是我写的函数:
def get_rankings(item, df):
# Empty dict for results
item_count_dict = {}
# For every tag in df
for i in range(df.shape[1]):
# Calculate % of cases that tagged the item
val_counts = df.iloc[:,i].value_counts(normalize = True)
if item in val_counts.index:
item_counts = val_counts[item]
else:
item_counts = 0
# Add score to dict
item_count_dict["tag_{}".format(i)] = item_counts
return item_count_dict如果我们应用它,我们得到:
get_rankings(item = "apple", df = fruits_expanded_v1)## OUTPUT ##
{'tag_0': 0.1111111111111111, 'tag_1': 0.1111111111111111, 'tag_2': 0.2222222222222222, 'tag_3': 0.2, 'tag_4': 0} 正如您所看到的,我们可以用这种方法进行大量的基于rpc的分析。然而,这种方法几乎没有其他用处。因为列不代表一个标记,而是一个级别,大多数在标签上的操作不能正确地完成。例如,计算香蕉和桃子之间的相关性是不可能的,我们从方法1得到了dataframe。如果这是你的研究目标,使用下一种方法。
方法二
这种方法更加复杂，需要更多的空间。其思想是，我们创建一个dataframe，其中的行与以前相同，但每个水果都被分配了自己的列。如果只有孩子#2命名为banana，那么banana列在第2行将具有“True”值，而在其他地方将具有“False”值(参见图6)。我写了一个函数来执行这个操作。它依赖于循环，这意味着它将花费大量时间处理大型数据集。然而，在我所尝试的所有方法中，这是最有效的方法。
def boolean_df(item_lists, unique_items):# Create empty dict
bool_dict = {}
# Loop through all the tags
for i, item in enumerate(unique_items):
# Apply boolean mask
bool_dict[item] = item_lists.apply(lambda x: item in x)
# Return the results as a dataframe
return pd.DataFrame(bool_dict)如果我们现在应用这个函数
fruits_bool = boolean_df(fruits[“favorite_fruits”], unique_items.keys())我们得到这个表格:
图6 - 布尔表格。
从这里，我们可以很容易地计算相关性。请注意，“相关性”并不是真正正确的术语，因为我们使用的不是度量或序数数据，而是二进制数据。
同样，有多种方法来关联这些水果。一个直接的方法是皮尔逊相关系数，它也可以用于二进制数据。Pandas对此有一个内置函数。
fruits_corr = fruits_bool.corr(method = "pearson")
图7 -皮尔逊相关数据图
另一种方法是简单地数一种水果和其他水果一起被命名的次数。这可以用矩阵乘法来解决。为此，我们需要将布尔型1转换为整数。
fruits_int = fruits_bool.astype(int)然后，我们可以计算频率。
fruits_freq_mat = np.dot(fruits_int.T, fruits_int)
## OUTPUT ##
array([[5, 3, 3, 2, 2, 1, 1, 1, 0, 2, 0, 1],
[3, 4, 2, 1, 1, 1, 1, 2, 1, 0, 1, 1],
[3, 2, 4, 3, 1, 2, 0, 0, 0, 1, 0, 0],
[2, 1, 3, 4, 2, 2, 0, 0, 0, 1, 0, 0],
[2, 1, 1, 2, 3, 1, 0, 0, 0, 1, 0, 0],
[1, 1, 2, 2, 1, 3, 0, 0, 0, 0, 0, 0],
[1, 1, 0, 0, 0, 0, 2, 1, 1, 0, 1, 1],
[1, 2, 0, 0, 0, 0, 1, 2, 1, 0, 1, 1],
[0, 1, 0, 0, 0, 0, 1, 1, 2, 0, 2, 0],
[2, 0, 1, 1, 1, 0, 0, 0, 0, 2, 0, 0],
[0, 1, 0, 0, 0, 0, 1, 1, 2, 0, 2, 0],
[1, 1, 0, 0, 0, 0, 1, 1, 0, 0, 0, 1]]) 现在我们需要做的就是添加标签并将其转换为dataframe。
fruits_freq = pd.DataFrame(fruits_freq_mat, columns = unique_items.keys(), index = unique_items.keys())
图8 -频率数据表。
如果你正在寻找一个漂亮的可视化方式，你可以创建一个seaborn库热图。
import seaborn as snfig, ax = plt.subplots(figsize = (9,5))
sn.heatmap(fruits_freq, cmap = "Blues")
plt.xticks(rotation=50)
plt.savefig("heatmap.png", dpi = 300)
图9 -热图。
利用皮尔逊矩阵，我们可以很容易地建立一个水果推荐系统。例如，如果你输入你喜欢香蕉，它会推荐你吃西番莲，因为这两者的相关性最高(0.67)。您会对这种简单的方法的强大程度感到惊讶。我已经成功地用过很多次了。如果您想对频率 dataframe做类似的事情，您需要首先对数据进行规范化。然而，这是另一篇文章的主题。
我希望这个指南对你有用，可以节省您的时间。谢谢大家的阅读!
作者：Max Hilsdorf
deephub翻译组：孟翔杰
本文分享自 DeepHub IMBA 微信公众号，前往查看
如有侵权，请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ，欢迎热爱写作的你一起参与！
腾讯云开发者
