从cols创建数组时，数组函数pyspark.sql.functions.array(*cols)是否保持顺序+----+----+----+| 1| 2| 3|| 7| 2| 4|我应该总是期望它保留输出数组中的顺序吗df.withColumn('col4', F
浏览 18提问于2020-02-18得票数 0
回答已采纳
2回答
返回按键排序的映射值
、、、、
下面是一个简单的例子df = spark.sql("SELECT map('a', 1, 'c', 2, 'b3) as data")df.select(map_values("data").alias("values")).show()我想要的是(按键的顺序此外，map_values函数的
浏览 12提问于2022-06-16得票数 1
回答已采纳
acc_no acc_name cust_id 1 222 XYZ 99from pyspark.sqlimport Windowdf1acc_no acc_name cust_id
1 [111,222]
浏览 2提问于2019-10-28得票数 0
1回答
我正在使用pandas_udf在pyspark中创建一个分组映射(拆分-应用-组合模式) UDF，并且我需要知道在传递给UDF时是否保持行的顺序(我的转换取决于每个组的行的顺序)。
浏览 1提问于2020-04-25得票数 1
回答已采纳
1回答
我对python还是很陌生的，但我知道pyspark中没有不枢轴的功能。知道我怎么能做到这一点吗？非常感谢!
浏览 1提问于2022-01-14得票数 -1
回答已采纳
我们在中有一个函数typedLit来添加数组或映射作为列值。|b |seq ||1 |0 |[1, 2, 3]|+---+---+---------+
我在PySpark如何在PySpark中创建一个以数组作为列值的列？
浏览 1提问于2020-05-31得票数 7
2回答
对于一组数据帧val df2 = sc.parallelize(1 to 4).map(i => (i,i*100)).toDF("id","y")为了联合他们所有人我做到了
df1.unionAll(df2)
浏览 3提问于2016-06-03得票数 49
回答已采纳
1回答
我有一个PySpark Dataframe和一个A字段，很少有依赖于A (A->B)和C字段的B字段，例如，我希望每个A都聚合这些字段：----------A-----B | 2 | 12SELECT A, COALESCE(B) as B, SUM(C) as CGROUP BY A谢谢
浏览 0提问于2018-02-25得票数 6
回答已采纳
2回答
在保持顺序的同时，将列值收集到列表的最佳方式是什么？ 我通常使用以下代码将列的值收集到列表中。现在我想知道为什么这样更快，是否这种情况总是这样。也许执行速度取决于数据帧大小。 pandas的解决方案是否维持了秩序，或者它是否会涉及到洗牌？
浏览 47提问于2021-05-07得票数 0
1回答
我是Pyspark编程的新手。我需要些帮助。 我有一个带有分类特征的数据集和一些与之相关的数值。我想对分类值进行矢量化，包括与之相关的数值。我有大约300万个分类数据列的可能值。 ?
浏览 22提问于2021-01-22得票数 0
2回答
我有以下PySpark DataFrame：| id| data |tmp_array = df_test.select("data").rdd.flatMap(lambda x: x).collect()a2 = tmp_array[2]
samples
浏览 2提问于2018-04-12得票数 2
回答已采纳
如果参数是有序集合，构造函数LinkedHashSet(Collection<? extends E> c)是否保证其参数的保留顺序？我们怎么能确定呢？我不认为它有任何理由不维护顺序，但我想知道它是否得到了保证(对于当前和未来的实现)。
浏览 2提问于2017-10-19得票数 5
回答已采纳
6回答
我有一个numpy数组，我想重复它n次，同时保持行的原始顺序：array([[ 0, 1, 2, 3], [ 8, 9, 10, 11]])>>>a [ 4, 5, 6, 7], [ 0, 1, 2, 3],
[ 4, 5,
浏览 1提问于2019-02-05得票数 3
回答已采纳
4回答
我有一个逗号分隔的数字字符串，即16,7,99,1456,1,3Dim MyArr() As String = MyString.Split(",")我测试了它，它似乎保持了排序顺序，但它会一直保持排序顺序吗？
如果它不维持顺序，那么拆分字符串并保持顺序的好方法是什么？我之所以问这个问题，是因为MSDN Array<
浏览 0提问于2009-02-04得票数 4
回答已采纳
我尝试使用array(col)，甚至创建一个函数，以int值作为输入返回列表。不起作用from array import array
return [x]
浏览 1提问于2019-01-07得票数 3
回答已采纳
我需要实现返回Mono< Array< ProcessedObject>>的函数。作为参数，它接受对象列表，并使用返回Mono< ProcessedObject>的函数处理它们。函数需要保持原始顺序，这意味着返回列表中的第一个元素必须从参数列表中的第一个元素创建。到目前为止，我有以下解决方案，但它没有保持所需的顺序。使用Flux甚至可以吗？private fun createItems(objects: List&l
浏览 9提问于2018-09-10得票数 0
回答已采纳
我不理解这个简单的PySpark代码片段的行为：l = [('Alice', 1),('Pierre', 3),('Jack', 5),# This outputs unexpectedly :这是collect()函数的预期行为吗如何以保持正确顺序</e
浏览 1提问于2017-05-02得票数 3
我创建了一个dataframe d2，并希望应用一个函数来查看它是否为空。我得到了错误：'list‘对象没有属性'isEmpty'from pyspark.sql import SparkSessionfrom pyspark</em
浏览 3提问于2021-08-23得票数 1
我刚开始使用火种，但我做了一些研究，似乎找不到解决我的问题的答案。我有一个dataframe，在streetID中可以有重复的条目。我需要基于houseNums创建一个(排序)列表。|streetID |houseNum || 890| 12445|| 890| 28980|| 639| 12445|希望结果会是这样。我
浏览 2提问于2021-10-01得票数 1
回答已采纳
我正在学习pyspark sql，我不确定函数的顺序是否必须是下一个？在何处指定此顺序？
我检查了，但它没有提到任何关于尊重命令顺序的内容。
浏览 2提问于2019-09-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
