Spark DataFrame:忽略groupBy中in为空的列

文章/答案/技术大牛

发布

1回答

dataframe、group-by、apache-spark-sql

我有一个数据帧，例如，结构是这样的： ID | Date | P1_ID | P2_ID | P3_ID | P1_A | P1_B | P2_A | ... ====================123 | | | 1 | | | | ... <- only P3_x filled 我需要组合具有相同ID、Date和Px_ID值的行，但在比较键列时不需要考虑Px_ID中的空值。最后，我需要一个这样的</em

浏览 18提问于2019-10-11得票数 0

1回答

Microsoft Spark聚合方法

c#、.net、apache-spark

我正在使用Microsoft.Spark Spark API并将GroupBy应用于DataFrame对象。我想在分组后将Agg应用于多个列。在pyspark中，我会用下面这样的东西来表达我想要实现的目标 new_df = df.groupBy("customer_id") func.mean("a").alias使用.NET应用程序接口，我已经设置了Dat

浏览 18提问于2021-10-01得票数 0

回答已采纳

1回答

创建空的dataframe Java Spark

java、dataframe、apache-spark

关于如何使用Spark Scala/Python创建空的dataframe/Dataset，有很多示例。但是我想知道如何在Java Spark中创建一个空的dataframe/Dataset。我必须创建一个空的dataframe，其中只有一列，标题为Column_1，类型为String。

浏览 27提问于2020-07-14得票数 0

回答已采纳

1回答

按星火数据帧所有列分组并计数

scala、apache-spark、group-by、apache-spark-sql

我希望使用Spark对数据帧的每一列执行Group。Dataframe将有大约。1000列。val df = sqlContext .format("org.apache.spark.sql.cassandra")(c).count().tak

浏览 0提问于2019-08-12得票数 1

回答已采纳

1回答

如何迭代以数据类型为列表的dataframe中的颜色

python-3.x、pyspark、pyspark-sql、pyspark-dataframes

我有一个DataFrame：|NAME|RANK| ID||null| 1|100|| cyz|2|100|我正在尝试访问列name，以便获得第一个非空元素，但我得到的是错误：以下是我尝试过的： grouped_df =df1.groupby('ID').agg(collect

浏览 1提问于2019-12-13得票数 0

1回答

如何在SQL中使用枢轴(不是作为DataFrame分组操作符)？

sql、scala、apache-spark、apache-spark-sql

我有这个dataframe，我试图将这个dataframe操作转换成sql使用pivot函数。withColumn("splitted", split($"page_path", ",")) .groupBy操作显示的输出 spark.sql( ""&quo

浏览 0提问于2020-05-11得票数 4

回答已采纳

2回答

Spark-scala聚合列表中的多个列

scala、apache-spark、aggregate

我有一个数据帧，其中有几个数值列是不固定的(它们在每次执行过程中都会发生变化)。假设我有一个带有数字列名称的Seq对象。我想对这些列中的每一列应用一个聚合函数。(expr: org.apache.spark.sql.Column,exprs: org.apache.spark.sql.Column*)org.apache.spark.sql.DataFrame[String,String])org.

浏览 2提问于2018-09-04得票数 0

1回答

即使dataFrame为空，也将标题保留在分组筛选中

python、pandas-groupby

当我使用groupby过滤时，即使dataframe是空的，我也想保留列标题。]).reset_index(drop=True)0 1 4如果dataframe不为空，则此方法有效。但是，如果记录为空，则此筛选将删除列标题 df_empty = pd.DataFrame(columns=

浏览 3提问于2019-09-30得票数 1

2回答

Scala Spark* -统计Dataframe列中特定字符串的出现次数*

scala、apache-spark、dataframe、aggregate、window-functions

如何使用按id分区的Spark来计算df列中字符串的出现次数在SQL中是： SUM(CASE WHEN name = 'testFROM WINDOW window AS (PARTITION BY id) 我试过使用map( v => match { case "te

浏览 0提问于2017-10-29得票数 4

1回答

将pyspark groupedData转换为pandas DataFrame

python、pandas、pyspark、apache-spark-sql、spark-dataframe

我需要通过Spark分组一个大型数据集，我将其加载为两列的Pandas数据框架，然后重新转换为Pandas:基本上是做Pandas -> 'pyspark.sql.group.GroupedData‘-两列中的元素都是整数，分组后的数据需要以列表的形式存储，如下所示：1 33 83

浏览 1提问于2017-08-03得票数 1

1回答

minBy等价于Spark

scala、apache-spark、apache-spark-sql

我正在寻找minBy聚合在Spark中的等效功能，或者可能需要手动聚合。有什么想法吗？谢谢。

浏览 2提问于2018-07-25得票数 2

2回答

为什么隐式类中的函数不可用？

scala、scala-implicits

我正在尝试教自己Scala，并使用IntelliJ的想法作为我的IDE。我已经启动IntelliJ的shell，运行console，然后输入以下内容：import org.apache.spark.sqlmember of val dataFrames = Seq(df.featuresGroup1(groupBy<

浏览 1提问于2018-05-22得票数 1

回答已采纳

1回答

如何根据条件将Spark* -多行合并为一个*

scala、apache-spark、apache-spark-sql

Dataframe 1：12345,B,D,2002-11-12,MobileDataframe2我必须加入Dataframe 1和Dataframe 2，并在DF2中的每条记录的输出中生成1行记录。我的输出应该如下，12345,Y,Y,2002-11-12,Mobile 列的条件

浏览 0提问于2020-08-28得票数 0

1回答

Spark DataFrame groupBy

scala、apache-spark、group-by、apache-spark-sql

我有一个看起来像这样的Spark Java。代码使用JDBC从oracle表中提取数据并显示groupby输出。DataFrame jdbcDF = sqlContext.read().format("jdbc").options(options).load();jdbcDF.groupBycount().show(); System.out.println("ll="+ll

浏览 12提问于2017-03-02得票数 3

回答已采纳

2回答

在spark* Dataframe中应用groupBy后筛选的列的百分比*

sql、scala、apache-spark、dataframe

Spark Dataframe包含一个包含2列的表:状态、类别。Status has values----'y' and 'n'如何在spark (Scala)中找到每个类别中状态'y‘的百分比df.groupBy("category").agg(

浏览 4提问于2017-10-24得票数 1

3回答

Scala/ Spark-将一个整数与Dataframe列中的每个值相乘

scala、apache-spark

|| Japan | 10 | 3 |我想要一个像这样的数据帧这就是我所做的来实现这一点 .select(df_that_I_have("country"), df_that_I_have.groupBy<

浏览 7提问于2017-04-18得票数 5

回答已采纳

2回答

Spark：“截断了计划的字符串表示，因为它太大了。”使用手动创建的聚合表达式时出现警告

apache-spark、spark-dataframe

我正在尝试为我的每个用户构建一个向量，其中包含每天每小时的平均记录数。因此，向量必须有24个维度。我最初的DataFrame有userID和hour列，andI从执行groupBy并计算每个用户每小时的记录数开始，如下所示： val hourFreqDF = df.groupBy("userID","hour").agg(count("*") as "hfreq&q

浏览 0提问于2017-05-03得票数 46

回答已采纳

1回答

spark中用于检查数据帧中的列的isNullOrEmpty函数为null或空字符串

scala、dataframe、apache-spark、bigdata

如何检查dataframe的列是否为null或空ins spark。例如。type IdentifiedDataFrame = {SourceIdentfier, DataFrame} seq((DeltaTableStream(RequestWithTr

浏览 85提问于2021-07-08得票数 0

2回答

使用枢轴功能时数据不可用时，火花数据丢失列

scala、apache-spark、apache-spark-sql、pivot

cc当源表为空时，则生成的dataframe只会使列1和透视列不出现。sourcesource aa bb cc已尝试的解决办法： select source,col(“source”).isNull).na.fill(0).createOrReplaceTempV

浏览 3提问于2019-11-23得票数 1

回答已采纳

1回答

(py)Spark中分组数据的模式

python、apache-spark、pyspark、spark-dataframe

我有一个有多列的spark DataFrame。我想根据一列对行进行分组，然后为每组找到第二列的模式。# 3 1 1 return scipy.stats.mode(series['y'])[0][0] ## x## 1 1 ## dtyp

浏览 1提问于2016-04-16得票数 10

回答已采纳

点击加载更多