当列表在熊猫数据帧列中时,我需要获取列表中每个元素的频率。
在数据方面:
din=pd.DataFrame({'x':[['a','b','c'],['a','e','d', 'c']]})`
x
0 [a, b, c]
1 [a, e, d, c]
期望产出:
f x
0 2 a
1 1 b
2 2 c
3 1 d
4 1 e
我可以将列表展开成行,然后按行执行组,但是这些数据可能很大(超过百万条记录),并且想知道是否有一种更有效/直接的方法。
谢谢
发布于 2018-02-09 05:39:56
首先计算flatten的list
值,然后用value_counts
、size
或Counter
计数。
a = pd.Series([item for sublist in din.x for item in sublist])
或者:
a = pd.Series(np.concatenate(din.x))
df = a.value_counts().sort_index().rename_axis('x').reset_index(name='f')
或者:
df = a.groupby(a).size().rename_axis('x').reset_index(name='f')
from collections import Counter
from itertools import chain
df = pd.Series(Counter(chain(*din.x))).sort_index().rename_axis('x').reset_index(name='f')
print (df)
x f
0 a 2
1 b 1
2 c 2
3 d 1
4 e 1
发布于 2018-10-03 06:55:05
你也可以有一个这样的衬垫:
df = pd.Series(sum([item for item in din.x], [])).value_counts()
发布于 2021-04-16 04:57:44
我会使用熊猫的explode
和value_counts
,然后最后把它分配到一个框架中。
din.explode('x').value_counts().to_frame('fq').reset_index().sort_values('x')
x fq
0 a 2
2 b 1
1 c 2
3 d 1
4 e 1
https://stackoverflow.com/questions/48707117
复制