Pandas Groupby & Pivot
Pandas是一个基于Python的数据分析工具库，提供了丰富的数据结构和数据处理功能。其中，Groupby和Pivot是Pandas中常用的数据处理操作。
Groupby是一种分组聚合操作，它可以将数据按照指定的列进行分组，并对每个分组进行聚合计算。通过Groupby，我们可以对数据进行分组统计、分组计算等操作。Pandas提供了灵活的Groupby功能，可以使用多个列进行分组，同时支持自定义聚合函数。
Pivot是一种数据透视操作，它可以将数据按照指定的行和列进行重塑，并对重塑后的数据进行聚合计算。通过Pivot，我们可以将数据从长格式（long format）转换为宽格式（wide format），方便进行数据分析和可视化。Pandas提供了简单易用的Pivot功能，可以根据需要进行行列重塑和聚合计算。
Pandas Groupby的优势包括：
- 灵活的分组方式：可以按照单个或多个列进行分组，支持自定义分组规则。
- 多种聚合计算：可以对每个分组进行多种聚合计算，如求和、平均值、最大值、最小值等。
- 高效的计算性能：Pandas使用了向量化计算和优化算法，能够高效地处理大规模数据。
Pandas Groupby的应用场景包括：
- 数据分组统计：可以对数据按照不同的维度进行分组统计，如按照时间、地区、产品等进行销售数据统计。
- 数据透视表：可以将数据按照行和列进行重塑，生成透视表，方便进行数据分析和可视化。
- 数据预处理：可以对数据进行分组处理，如对缺失值进行填充、对异常值进行处理等。
在腾讯云的产品中，与Pandas Groupby功能相关的产品是腾讯云的数据分析服务TencentDB for PostgreSQL。TencentDB for PostgreSQL是一种高性能、可扩展的关系型数据库服务，支持SQL语言和丰富的数据处理函数，可以方便地进行数据分组和聚合计算。您可以通过以下链接了解更多关于TencentDB for PostgreSQL的信息：TencentDB for PostgreSQL
Pandas Pivot的优势包括：
- 灵活的重塑方式：可以按照指定的行和列进行数据重塑，支持多级行列索引。
- 多种聚合计算：可以对重塑后的数据进行多种聚合计算，如求和、平均值、最大值、最小值等。
- 方便的数据分析：重塑后的数据更适合进行数据分析和可视化，可以方便地进行数据挖掘和发现。
Pandas Pivot的应用场景包括：
- 数据透视表：可以将长格式的数据转换为宽格式的数据透视表，方便进行数据分析和可视化。
- 多维数据分析：可以按照多个维度进行数据重塑，生成多维数据透视表，方便进行多维数据分析。
- 数据报表生成：可以根据业务需求，将数据按照不同的行和列进行重塑，生成符合报表需求的数据格式。
在腾讯云的产品中，与Pandas Pivot功能相关的产品是腾讯云的数据仓库服务TencentDB for TDSQL。TencentDB for TDSQL是一种高性能、可扩展的数据仓库服务，支持数据透视和多维数据分析，可以方便地进行数据重塑和聚合计算。您可以通过以下链接了解更多关于TencentDB for TDSQL的信息：TencentDB for TDSQL
相关·内容
2回答
我的表是从透视表中提取的，以消除缺少的值和太短的值，比如城市名称，下面是我的代码
company = pd.read_sql('SELECT user_id, address FROM company' , con=db_connection)
table = pd.pivot_table(company, index=['address'],aggfunc=np.sum)
table.reset_index()
那我就得到他的
address user_id
3
浏览 3提问于2017-10-06得票数 2
回答已采纳
我有一个文本文件，其中包含以下格式的数据
101.223.129.4 918801641445^0^paus
101.223.129.4 918801641445^0^german
101.223.129.4 918801641445^0^photo
101.223.129.4 918801641445^0^polish
101.223.129.4 918801641445^0^find
101.223.129.4 918801641445^0^extra
101.223.129.4 918801641445^0^access
101.223.129.4 918801641445^0^priv
浏览 0提问于2015-10-08得票数 1
回答已采纳
1回答
键错误-在旋转数据时出错
、、、
我正在尝试枢轴的数据，如下所示。
twt=DataFrame(time_weekday_tip.groupby(["weekday", "time_hour"])["Tip_amount"].mean())
twt.reset_index()
print (twt.columns.tolist())
twt.columns = twt.columns.str.strip()
twt.pivot(index='time_hour', columns='weekday', values='Tip_amount&
浏览 2提问于2017-04-21得票数 1
回答已采纳
1回答
我有一个只有两列的数据帧。我尝试将一列的值转换为标题，将另一列的值转换为其值。已尝试使用pivot和all，但不起作用。
df_pivot_test = sc.parallelize([('a',1), ('b',1), ('c',2), ('d',2), ('e',10)]).toDF(["id","score"])
id score
a 1
b 1
c 3
d 6
e 10
尝试将其转换为
a b c d e
1 1 3 6
浏览 3提问于2019-10-01得票数 0
我刚刚开始学习pivot_table()，我想知道Pandas函数和Pandas函数之间有什么不同。有人能帮我理解它们之间的区别吗？如果能帮上忙，我们将不胜感激。
浏览 3提问于2016-01-10得票数 86
回答已采纳
Num Year 1 2 3 4 5 6 7 8 9 10 11 12
111 2009 0 0 667 584 343 245 0 0 231 742 0 482
111 2010 0 10 624 4 143 445 20 991 0 742 0 482
112 2008 .....
数据集如下所示。Num，Year :Dataframe中的多索引(Pandas)
并且期望的输出是使用group by Num将列的数据从1缩放到12。因此，我只能用相同的'Num‘来比较每一年的使用情况(每
浏览 9提问于2019-07-31得票数 0
回答已采纳
我有一个数据集，如下所示。
ID Product date
1 A 01.01.2015
1 B 01.01.2015
1 C 01.03.2015
一个人可以在同一天拿一个以上的产品，我想转置它的ID，日期和获得产品的价值。
ID date col1 col2
1 01.01.2015 A B
1 01.03.2015 C
在SAS中，我是这样做的：
proc transpose data = data;
by ID Date;
var product
ru
浏览 0提问于2016-12-30得票数 6
当我尝试过滤Pandas数据帧时(如下面的示例所示)，它工作得很好：
print data[data['ProductCategory'].isin(['ProductA'])]
但是，当我试图在结果的枢轴表上做同样的操作时：
pivot = pandas.pivot_table(
data,index=['ProductCategory', 'Currency', 'Producer'],
values=['Price','Quantity','F
浏览 2提问于2015-09-14得票数 1
回答已采纳
我想按下面的方式来分析一个dataframe df，其中Id作为索引，Value作为值，以及自定义的[x0, x1, x2]列。
df
Id Date Value
9129 10 2021-01-01 00:00:00 10
9130 10 2021-01-01 00:01:00 15
9131 10 2021-01-01 00:02:00 20
1972 13 2021-01-01 00:00:00 125.0
1973 13 2021-01-01
浏览 3提问于2021-11-17得票数 2
回答已采纳
有一个包含列名、学校和标记的pandas dataframme name school marks
tom HBS 55
tom HBS 55
tom HBS 14
mark HBS 28
mark HBS 19
lewis HBS 88 如何转置和转换成这样 name school marks_1 marks_2 marks_3
tom HBS 55 55 14
mark HBS 28 19
lewis HBS 88 尝试
浏览 119提问于2021-11-23得票数 2
回答已采纳
我有一个Excel文件，它有一个重复的列值，我想使用它来分组要插入到数据库中的记录。我的方法是使用Pandas。下面是一个具有代表性的dataframe：
import pandas as pd
import numpy as np
df2 = pd.DataFrame({
'a': ['foo', 'q1', 'q2', 'q3', 'foo', 'q1', 'q2', 'q3'],
'b': ['bar
浏览 11提问于2020-06-26得票数 0
回答已采纳
我有一个日期、Buy和Sell值的数据，并对该数据执行一个pivot_table来获取每个日期的所有购买/出售价值。
data = [('20170325', 'Buy', 400 ),
('20170325', 'Buy', 401 ),
('20170323', 'Buy', 400 ),
('20170324', 'Sell', 400 )]
testDf = pd.DataFrame(data, columns
浏览 4提问于2017-04-19得票数 1
所以我得到了一个DataFrame，如下所示：
Col_0 Col_1
Index_1
A 0 2
A 3 1
A 2 2
B 3 1
B 4 3
B 5 1
我想把它重塑成以下形式：
Col_0 Col_1
A B A B
0 3 2 1
3 4 1 3
2 5 2 1
我试过
浏览 1提问于2019-05-26得票数 1
回答已采纳
1回答
我认为这应该是一个相对简单的问题，但我有点困惑。我想转换一个包含两列的pandas数据帧，如下所示： df Animal rate
cat .35
cat .55
cat .29
...
dog .06
dog .24
dog .22
...
gecko .47
gecko .83
gecko .42
... 如下所示： df2 cat dog gecko
.35 .06 .47
.55 .24 .83
.29 .22 .42 原始datafarm
浏览 25提问于2021-04-13得票数 0
回答已采纳
我有下面的电火花代码。在循环中的每一次迭代中，我过滤掉H列中带有特定字符串的所有行，然后计算G列上的一些聚合统计数据(结果为3个值)。我希望将所有的汇总计数保存在一个表中(行: CM、NCM、FP；列: POP、POP N、POP SN、POP QP)。
from pyspark.sql import SparkSession
import pandas as pd
import numpy as np
import pyspark.sql.functions as F
spark = SparkSession.builder.master("local").appName(
浏览 0提问于2018-10-28得票数 0
回答已采纳
import pandas
link = 'https://raw.githubusercontent.com/dvanderelst-python-class/python-class/spring2021/assignment_data/young_people_survey.csv'
data = pandas.read_csv(link,index_col=0)
grp = data.groupby(['Gender','Smoking','Healthy eating'])
mns = grp.mean()
mn
浏览 1提问于2021-03-24得票数 0
我有一个像这样的数据文件：
Value group_id
23 1
28 1
32 1
....
35 12
23 12
42 12
总共有6个唯一的group_id，每个都有几百个元素。我想把它转换成一个数据文件，它的值是单个“group_id”在一行中的值。所以我希望我的数据看起来像这样：
value_1 value_2 value_3 group_id
23 28 32 1
....
35 23 42 12
我尝试使用pandas.
浏览 3提问于2018-08-07得票数 2
回答已采纳
我是Pandas的新手(这周开始)，我的脚本已经到了最后一步，我被卡住了。我需要在维护密钥的同时将我融化成单独的值的数据汇总在一起。
我有一个数据框，目前看起来如下所示：
Index,ID#,Start Page, End Page
0, 1, Page 1, Page5
1, 2, Page 10, Page 20
2, 2, Page 25, Page 30
索引是默认的数据帧索引。ID#是我的钥匙。
我试着得到这样的结果：
ID#,Start Page, End Page
1, Page 1, Page 5
2, Page 10; Page 25, Page 20; Page 30
我尝
浏览 0提问于2020-04-23得票数 1
在Python 3和pandas中，我有数据帧： comps.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 62679 entries, 0 to 62678
Data columns (total 39 columns):
cnpj 62679 non-null object
razao_social 62679 non-null object
nome_fantasia 3
浏览 26提问于2020-01-22得票数 0
回答已采纳
1回答
长到宽格式的多索引熊猫
、、、
我有一个像这样的数据文件：
data.head()
Out[2]:
Area Area Id Variable Name Variable Id Year \
0 Argentina 9 Conservation agriculture area 4454 1982
1 Argentina 9 Conservation agriculture area 4454 1987
2 Argentina 9 Conservation agriculture
浏览 2提问于2017-11-08得票数 4
回答已采纳
在this问题和数据帧之后，我正在尝试将数据帧转换为字典。在pandas中，我使用的是： dictionary = df_2.unstack().to_dict(orient='index') 但是，我需要将此代码转换为pyspark。有人能帮我吗？正如我从前面的问题中了解到的，比如this，我确实需要使用pandas，但是数据帧太大了，我无法做到这一点。我该如何解决这个问题呢？ 编辑： 我现在尝试了以下方法： dictionary_list = map(lambda row: row.asDict(), df_2.collect())
dictionary = {age[
浏览 20提问于2021-01-14得票数 0
回答已采纳
如果我在Pandas中有一个多索引DataFrame，如果我通读了pivot和pivot_table的文档，我似乎找不到pivot在这个例子中不能工作的原因。显然，我遗漏了一些东西，但它采用了相同的参数，似乎表明它会起作用。这里我漏掉了什么？为什么pivot抛出一个错误，而pivot_table却完美地工作。谢谢。
# standard imports
import pandas as pd
# create a random multiindex dataframe
outside = ['G1','G1','G1','G2'
浏览 2提问于2019-08-12得票数 0
我有一个大约8700万行的数据帧，所以我使用Dask。我正在尝试做一些如下的事情： df2 = df.groupby(['A','B'])['B'].count().unstack('A')
df2.plot(kind = 'bar', stacked = True) 这就是我在Pandas中要做的，但是Dask没有'unstack‘和'plot’。我可以尝试使用.compute()将Dask DF返回给Pandas，但我会冒着内存问题的风险。你知道我如何(或者是否)可以完成上面的两行吗？
浏览 10提问于2020-04-21得票数 0
我有一个和他相似的数据帧：
BirthYear Sex Area Count
2015 W Dhaka 6
2015 M Dhaka 3
2015 W Khulna 1
2015 M Khulna 8
2014 M Dhaka 13
2014 W Dhaka 20
2014 M Khulna 9
2014 W Khulna 6
2
浏览 0提问于2016-11-06得票数 0
这是我想要操作的一只熊猫DataFrame：
import pandas as pd
data = {"grouping": ["item1", "item1", "item1", "item2", "item2", "item2", "item2", ...],
"labels": ["A", "B", "C", "A", "B", "C"
浏览 4提问于2017-04-17得票数 3
回答已采纳
1回答
我有一只熊猫DataFrame (名为"df1")，它的结构如下(尽管我有很多个月的每日数据)：
date WeightedReturn
0 15/07/2015 0.005128
1 15/07/2015 0.002844
2 15/07/2015 0.003055
3 15/07/2015 -0.001481
4 15/07/2015 -0.000741
5 15/07/2015 -0.000741
6 16/07/2015
浏览 2提问于2015-10-11得票数 1
回答已采纳
3回答
我有一个这样的数据帧：
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
df = pd.DataFrame({'category': list('XYZXY'), 'B': range(5,10),'sex': list('mfmff')})
我想从“类别”栏中绘制基于类别的男性或女性的性别计数。
我试过了：
df.groupby(['category','s
浏览 5提问于2019-01-02得票数 15
回答已采纳
我有下面的DataFrame，葡萄酒品种，评审员和评分。我想做一个新的DataFrame，它以列标签的形式输出各种类型，并按审阅者和种类列出平均分数。简单地说，我想输出一个在顶部有多样性的DataFrame，并将审阅者作为一个索引，其中包含审查员和评审员的平均分数。我已经试过好几件事了，但我不能让它起作用。
实际的信息，我将是一个更多的评审员与更多的品种，但我想提供一个简化的版本。
任何帮助都将不胜感激。提前谢谢你。
import pandas as pd
df = pd.DataFrame({"Variety": ['Cabernet', 'Pinot
浏览 0提问于2018-12-13得票数 1
回答已采纳
Pythonic/pandas在pandas中对列中的“级别”进行排序的方式是什么，以便在条形图中给出条形图的特定顺序。
例如，给定：
import pandas as pd
df = pd.DataFrame({
'group': ['a', 'a', 'a', 'a', 'a', 'a', 'a',
'b', 'b', 'b', 'b', 'b',
浏览 2提问于2014-03-25得票数 27
回答已采纳
我有一个Pandas数据帧，看起来像这样： store_id days times rating
100 monday '1:00pm - 3:00pm' 0
100 monday '3:00pm - 6:00pm' 1
100 monday '6:00pm - 9:00pm' 2
...
store n 这里有大约60家商店，评级范围从0到
浏览 22提问于2021-04-19得票数 1
回答已采纳
1回答
我有以下潘达斯的数据：
import pandas
df = pandas.DataFrame({'Status': ['Draft',
'Active','Completed','Completed', 'Draft', 'Active'], 'Region':
['Europe','Europe', 'Asia','Australia', 'Asia', 'A
浏览 0提问于2018-06-11得票数 0
回答已采纳
我有下面的数据框架。 Column_1 Column_2
Name Xxxx
Age 28
Gender M
Name yyyy
Age 26
Gender F 我的预期输出是 Name Age Gender
Xxxx 28 M
yyyy 26 F 我尝试过df.T()，但它将每个姓名、年龄和性别写到单独的列中。 如何在python/pandas中实现上述输出。
浏览 28提问于2021-09-09得票数 4
回答已采纳
2回答
将3列数据帧转换为矩阵
、、、
我有一个dataframe df，例如： A = [["John", "Sunday", 6], ["John", "Monday", 3], ["John", "Tuesday", 2], ["Mary", "Sunday", 6], ["Mary", "Monday", 4], ["Mary", "Tuesday", 7]]
df = pandas.DataFrame(A, columns=[&#
浏览 22提问于2019-01-05得票数 6
回答已采纳
我从spark数组“df_spark”开始： from pyspark.sql import SparkSession
import pandas as pd
import numpy as np
import pyspark.sql.functions as F
spark = SparkSession.builder.master("local").appName("Word Count").config("spark.some.config.option", "some-value").getOrCreate()
np
浏览 19提问于2018-12-16得票数 3
回答已采纳
1回答
多索引数据帧，熊猫
、、、
我正在尝试操作excel文件中的数据，但是它合并了列的标题，我设法将它们转换为pandas。请参考下面的原始数据示例。
所以我转换成了这种格式。
我的最终目标是获得下面的格式，并绘制一段时间内的品牌商品及其销售数量和价格，但是我不知道如何访问多索引数据框架中的信息。你能给我提个建议吗？谢谢。
我的代码：
import pandas as pd
df = pd.read_excel('path.xls', sheet_name = 'data', header = [0,1])
a = df.columns.get_level_values(
浏览 4提问于2021-03-10得票数 0
我试图分组一个数据，每个组和，然后在底部的整个数据之和。我有这份工作，但我对总金额感到困惑。我还想弄清楚如何为每个组在host_count中只有一个值。
import pandas as pd
# import numpy as np
data = {'host': ['1.1.1.1', '192.168.1.1', '192.168.1.1', '192.168.1.1', '172.16.1.2', '192.168.1.1', '172.16.1.2', &
浏览 2提问于2022-09-24得票数 2
我试图使用Panda库的'loc‘函数在dataset中的一个列中计算缺少的值，但是代码没有成功执行。代码行如下所示。
# Impute missing data by mean weight of each sub-category in 'Item_Weight' column
data.loc[miss_bool,'Item_Weight'] = data.loc[miss_bool,'Item_Identifier'].apply(lambda x: item_avg_weight[x])
正在生成的错误如下，
data.loc
浏览 0提问于2018-08-01得票数 1
2回答
我正在用json数据中的Pandas构建一个数据透视表。我想在发送到to_string()之前格式化列名。
import numpy as np
import pandas as pd
json_data = [
{"year":2019,"month":"2019-11-01","sub_category":"Van fit out","category":"Vehicle","notes":"Heavy duty hooks","gro
浏览 12提问于2020-06-02得票数 1
下面的代码是我所拥有的，但它抛出了一段代码，说明没有要聚合的数值类型。代码：
import pandas
import numpy as np
link = 'https://raw.githubusercontent.com/dvanderelst-python-class/python-class/spring2021/assignment_data/young_people_survey.csv'
data = pandas.read_csv(link,index_col=0)
data.groupby(['Age','Smoking']
浏览 0提问于2021-03-24得票数 0
我有一个数据帧，看起来像这样： ID Product Type Product Setting
1 AS1 22
1 AX1 23
1 AS1 50
2 AX1 50 我想要一些东西，可以根据填充的内容动态创建列的数量： ID Product Type(1) Product Type(2) Product Type(3) Product Setting(1) Product Setting(2)
浏览 21提问于2021-07-16得票数 0
回答已采纳
2回答
按日期将行转到列上熊猫
、、、、
我有一个名为df的Pandas DataFrame，如下所示：
Date String
2016-08-01 a
2016-08-01 b
2016-08-01 c
2016-06-30 d
2016-06-30 e
2016-06-30 f
我试着获得：
Date Column1 Column2 Column3
2016-08-01 a b c
2016-06-30 d
浏览 0提问于2019-02-03得票数 3
回答已采纳
我有一个包含两个列的dataframe，一个用于名称，另一个用于字符串值。我正在尝试按名称计算选择字符串值的频率。
我尝试过pandas.pivot_table和pandas.DataFrame.groupby，但是我希望创建一个全新的数据框架，而不是聚合。
例如，我有一个dataframe：
import pandas as pd
import numpy as np
data = np.array([['John', 'x'], ['John', 'x'], ['John', 'x'], [&
浏览 2提问于2019-08-16得票数 3
回答已采纳
我正在寻找一种节能型和大流行(来自熊猫，双关不打算=)的方式，将数据中的一些行转换成新的列。
我的数据有以下格式：
dof foo bar qux
idxA idxB
100 101 1 10 30 50
101 2 11 31 51
101 3 12 32 52
102 1 13 33 53
102 2 14 34 54
102 3 15 35 55
20
浏览 0提问于2020-06-02得票数 2
我对pandas还是个新手，并且一直在尝试理解如何旋转这个数据框架。 rootID parentID jobID time
0 A A B 2019-01-30 14:33:21.339469
1 A B C 2019-01-30 14:33:21.812381
2 A C
浏览 21提问于2019-01-31得票数 1
回答已采纳
2回答
我正在尝试编写一个代码，根据值范围使用python熊猫库对数据集(来自CSV)进行分类。可以使用聚合函数。但我正在努力使用聚合函数。
+-------------+-------------+-------------+-------------+-------------+
|Name | Age |Region |Telephone |Address |
+-------------+-------------+-------------+-------------+-------------+
|
浏览 7提问于2020-03-10得票数 1
回答已采纳
1回答
如何将以下数据中的行替换为列，所有数据都被保留？
测试数据：
import pandas as pd
data_dic = {
"x": ['a','b','a','a','b'],
"y": [1,2,3,4,5]
}
df = pd.DataFrame(data_dic)
x y
0 a 1
1 b 2
2 a 3
3 b 4
4 b 5
预期输出：
a b
0 1 2
1 3 4
2 NaN 5
浏览 2提问于2019-08-13得票数 2
2回答
+-----+-------+--------+
| | Buyer | Sex |
+-----+-------+--------+
| 0 | 1 | Male |
| 1 | 1 | Female |
| 2 | 0 | Male |
| 3 | 1 | Female |
| ... | ... | ... |
+-----+-------+--------+
我想将上面的数据帧相加并分组到下面的数据帧(表)中。pandas有没有内置的函数可以做到这一点，或者我必须手动迭代、求和和分组？
+---+-----
浏览 4提问于2015-11-26得票数 1
我想将groupby结果转换为平面DataFrame。 import pandas
df1 = pandas.DataFrame( {
"x" : ["A", "B", "C", "A", "B" ,"B"] ,
"y" : [ 1, 2, 3, 4, 5, 6]} )
g1 = df1.groupby(["x"]).max().reset_index()
print(g1) 预期输出DataFrame如下：
浏览 31提问于2021-08-31得票数 1
回答已采纳
1回答
两天来，我一直在尝试重塑一只熊猫的数据。我想把我的多索引数据转换成多列形式，但是使用pd.stack()、pd.unstack()、pd.melt()、.
我有一个通用的多索引数据，如下所示：
import pandas
df = pandas.DataFrame({'Scenario' : ['Scen1', 'Scen1', 'Scen1', 'Scen1',
'Scen1', 'Scen1',
浏览 1提问于2019-02-06得票数 4
回答已采纳
我的Pyspark Dataframe看起来像这样： +--------+----------+----+----+----+
|latitude| longitude|var1|date|var2|
+--------+----------+----+----+----+
| 3.45| -8.65| 1| 7| 2|
| 30.45| 45.65| 1| 7| 2|
| 40.45| 123.65| 1| 7| 2|
| 43.45| 13.65| 1| 7| 2|
| 44.45|
浏览 13提问于2020-11-30得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
