1回答
我在下面的Spark数据框中查找groupBy agg，并获取col1、col2、col3列的平均值、最大值和最小值 sp = spark.createDataFrame([['a',2,4,5],| 7| 7|| b| 2| 4| 4|+---+----+----+----+ 我尝试过使用sp.groupBy('id').agg({'*':'m
浏览 77提问于2019-06-21得票数 1
给定一个具有“ProductId”、“date”和“Price”列的pyspark df，按“date”进行排序并假定func.first('Price')总是检索与最小日期对应的价格有多安全？我是说:威尔返回每个产品的第一个价格及时支付，而不干扰or
浏览 2提问于2018-02-23得票数 1
是否可以将特定列的所有行提取到类型为array的容器中？ 我希望能够提取它，然后将其重塑为数组。目前，我试图提取的列类型是udt类型。
浏览 47提问于2021-11-02得票数 0
回答已采纳
我想从文本文件中创建一个火花数据文件，它有不同的行数和列数，并将其映射到key/value对，键是文本文件第一列中的前4个字符。我希望这样做，以便删除多余的行，并能够在以后按键值对它们进行分组。我的输入是一个包含以下内容的文本文件： 891011,sara,femal,germany
我希望能够按第一列的前六个字符对每一行进行分组。
浏览 4提问于2018-10-29得票数 3
回答已采纳
我想按pyspark数据帧分组，并计算特定列的方差。对于一般人来说，这很容易，可以这样做AVERAGES=df.groupby('country').agg(func.avg
浏览 7提问于2015-08-12得票数 5
描述：“如何用平均、按条件分组数据和按Pyspark中的模型列来填充价格列中缺失的值?像这样，代码：cars_new=cars.fillna((cars.groupBy("condition", "model").agg(mean("price"))['avg(price)']))错误：
浏览 2提问于2021-12-01得票数 2
回答已采纳
1回答
我正在尝试使用groupby中的两个变量来计算多列的标准差。然而，我的代码抛出了一个错误，我很难找出它。我正在使用https://www.shanelynn.ie/summarising-aggregation-and-grouping-data-in-python-pandas/作为指南。P NaN -3 -100.0 这是我写的代码 home_std_dev = home_analysis_data.groupby('Book&#x
浏览 8提问于2019-04-08得票数 1
回答已采纳
我有一个pyspark 2.0.1。我正在尝试按我的数据框分组，并从我的数据框中检索所有字段的值。我发现将给我的国家和名称的属性和名称属性的值，它将给出的列标题为collect_list但是对于我的工作，我有大约15列的数据帧&我会运行一个循环，每次在循环中改变groupby字段，需要所有剩余的fields.Can的输出，你能
浏览 6提问于2017-10-18得票数 3
我希望按一列分组，然后找到另一列的最大值。最后，显示基于此条件的所有列。然而，当我使用我的代码时，它只显示2列，而不是所有列。# Normal way of creating dataframe in pyspark (2,2,'0-2spark.createDataFrame([
(4,6,'4-6'),
浏览 0提问于2020-01-19得票数 0
回答已采纳
0回答
如果我们可以使用pandas.core.groupby.DataFrameGroupBy.agg函数对多列进行算术运算，我很感兴趣。({0: 'mean', 1: 'sum', 2: 'nunique', 'C': 'mean0-mean1'}))
有没有可能我们收到像这个例子这样的结果:按列'C‘分组的列0和列1的平均值之间
浏览 3提问于2017-12-09得票数 0
2回答
将大熊猫转化为火花放电的表达
、、、、
我需要将两列Dataframe转换为按其中一列分组的列表。我已经在熊猫上成功地做到了：但是现在我尝试在pySpark中做同样的事情，如下所示：
浏览 4提问于2016-10-22得票数 5
回答已采纳
1回答
最常出现的词
、、、、
我有一个列:语言和单词的数据 ('eng', "cat"), ('eng','dog'|text|| eng| cat|| eng| dog|+----+----+lang count
浏览 1提问于2021-11-02得票数 0
回答已采纳
1回答
我有一个看起来像这样的pySpark数据帧：| sku| date||MLA-605502281|02/10/2016|+-------------+----------+其行为与Pandas相同，
浏览 0提问于2016-10-27得票数 20
回答已采纳
1回答
数据合并后柱的俾斯卡姆和
、、、
在合并两个dataframe之后，如何对所有列进行求和？-09| null| null| c| 11| 31|我想得到的是df2中所有列的总和(在实际情况中有10列)，直到每个userid的日期为止，因此每个用户有一行：| date|16|| a| 3
浏览 4提问于2022-01-10得票数 0
回答已采纳
5回答
星火中的多列求和
、、
如何将星火中的多列和起来？例如，在SparkR中，下面的代码可以得到一个列的和，但是如果我试图在df中得到两个列的和，就会得到一个错误。# Create SparkDataFramehead(agg(df, totalWaiting = sum(df$waiting)))
# Use agg to
浏览 4提问于2017-06-12得票数 12
回答已采纳
在groupby之后，如何在数据帧上使用collect_set或collect_list。例如：df.groupby('key').collect_set('values')。
浏览 2提问于2016-06-02得票数 62
回答已采纳
我每年都会使用下面的代码来提高学生的年龄。目的是了解每年的学生总数。from pyspark.sql.functions import colgr = Df2.groupby(['Year'])gr.agg(fn.count(col('Student_ID')).alias('total_student_by_year'))
我发现这么多ID被重复
浏览 2提问于2017-09-26得票数 62
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
