我尝试使用collect_list为每个ID生成一个事件列表，如下所示：collect_list(event) as events_list,GROUPBY ID;------------------------B ["green","
浏览 20提问于2018-06-09得票数 5
回答已采纳
myDf .groupBy("groupingKey")
.agg(collect_list("aDoubleValue")) 我想让collect_list返回结果，但是按照“时间戳”排序。Ia我希望GroupBy结果按另一列排序。 我知道还有其他的问题，但是我无法用DataFrame找到一个可靠的答案。 如何做到这一点？(答案是:在gorupBy不好之前按“时间戳”对myDf进
浏览 82提问于2019-10-04得票数 1
1回答
将spark /RDDs引入本地python结构，如list和熊猫Dataframes，并进行次排序--这需要大量的
UpdateStatewithKey --
浏览 2提问于2016-06-20得票数 4
1回答
{collect_list, struct} ("john", "tomato", 1.99), ("bill", "taco", 2.59) .
浏览 11提问于2022-02-14得票数 1
10回答
预期产出如下：------------------------2 | [100, 500, 1500]from pyspark.sql import functions as Fgrouped_df = ordered_df.groupby("id&qu
浏览 8提问于2017-10-05得票数 82
回答已采纳
2回答
合并多行，具有不同的值
、、、
01 english 1.groupby('ID','Date')\.withColumn("class", conca
浏览 32提问于2021-02-11得票数 0
回答已采纳
如何在hive中使用common列连接两行数据，我尝试了下面的格式，但我错过了顺序。column1 column21000000002 BB-Test2:1 1000000002 AA-Test1:1##BB-Test2:11000000002 BB-Test1:1##AA-Test2:1我尝试使用以下查询AS
SELECT column1, concat_ws("##"
浏览 4提问于2018-07-26得票数 0
我有一个Spark Dataframe，我想按键对元素进行分组，并将结果作为排序列表df.groupBy("columnA").agg(collect_list("columnB")
浏览 5提问于2016-08-01得票数 18
回答已采纳
这个问题本质上是对的重复，除了我在R中工作之外，这个问题的解决方案看起来很可靠，但我还没有找到如何在窗口函数上以同样的方式在sparklyr中应用collect_list。17 | G 2 | 2018-08-23 | F dplyr::group_by(userid) %>%
dplyr::arra
浏览 2提问于2019-05-10得票数 0
回答已采纳
我在scala中有一个星星之火数据框架，类似：A ChromeC FirefoxA FirefoxA ChromeB FirefoxURL列的数据范围很广，但浏览器列的集合有限。我希望在URL列上聚合，并按降序获取列表中每个浏览器的顶部计数，如下所示：
URL FrequentlyUsedBrow
浏览 1提问于2019-10-30得票数 1
回答已采纳
我发现CONCAT_WS(',', COLLECT_LIST(text))可以做部分工作，但不确定如何快速按时间排序。
谢谢。
浏览 17提问于2021-07-21得票数 0
string |-- rating: doubleval result = sqlContext.sql("select userId, collect_list(product), collect_list(rating) from data group by userId")
我的问题是，聚合数组中的product和rating是否相互匹配？更新:从Spark2.0.0开始，可以对struct类型执行collect_list，所以我们可以在合并列上执行
浏览 2提问于2016-11-03得票数 8
回答已采纳
. | 0.55val groupedDF = myDF.groupBy("id").agg( collect_list(struct(col("date",col("KPI_2"))).as("wrapped_KPI_2")然后，我将对这些包装好的
浏览 0提问于2019-01-23得票数 11
回答已采纳
1回答
分裂时间序列数据
、、
我有一个dataframe，其中有作为列的不同参数和每一行参数的时间戳。例如，我希望像这样转换dataframe (窗口大小3)：2017-01-01 00:00:02, a2, b2, c22017-01-01 00:00:04, a4, b4, c42017-01-01 00:0
浏览 4提问于2017-04-07得票数 0
回答已采纳
我一直在考虑下一个问题，但我还没有找到解决方案:我有一个只有一个列df的dataframe A，其中元素有dataType Array[String]。我试图获取A的所有不同数组，而不是导入数组中字符串的顺序。df.select("A").show()|A ||[a,b,c] ||[f] ||[c,a,b] |我想要数据|[a,b,c] ||[f]
浏览 1提问于2017-11-03得票数 0
回答已采纳
2回答
是否有不同的方法按计数排序collect_set？我希望基于一个独立id列的组，为单个列提供一个最受欢迎的项数组。您会有一个collect_list，然后对其进行计数吗？
浏览 5提问于2021-09-29得票数 1
回答已采纳
我在使用collect_list的外部查询中有一个单元查询。内部查询我有一个有180万条记录的有序列表。当我每次运行查询时，500-600条记录会给出错误的结果，并在模式中丢失顺序。select concat_ws('','',collect_list(host)), concat_ws('',&
浏览 3提问于2017-03-28得票数 0
"c")
.show(false)
Spark会产生以下结果：|a |sort_array(collec
浏览 3提问于2018-04-05得票数 6
回答已采纳
1回答
90451000 ["3215","90451000"] 下面是我如何将字段"string_array“转换为整数数组的方法 select attribut,collect_list
浏览 23提问于2021-06-15得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
