在其他列上按条件封顶一个pyspark列？
在其他列上按条件封顶一个pyspark列，可以使用when和otherwise函数来实现。
首先，我们需要导入必要的模块和函数：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, when接下来，创建一个SparkSession对象：
spark = SparkSession.builder.getOrCreate()然后，加载数据集并创建一个DataFrame对象：
data = [(1, 10, 20), (2, 15, 25), (3, 30, 40)]
df = spark.createDataFrame(data, ["id", "col1", "col2"])现在，我们可以使用when和otherwise函数来按条件封顶col2列：
max_value = 25 # 设置封顶值
df = df.withColumn("col2", when(col("col2") > max_value, max_value).otherwise(col("col2")))在上述代码中，我们使用when函数来判断col2列的值是否大于max_value，如果是，则将其替换为max_value，否则保持原值。最后，使用withColumn函数将修改后的列重新赋值给col2。
这样，我们就在其他列上按条件封顶了col2列。
相关·内容
我有一个Pyspark数据帧 x1 x28 5 if x1 > 10:
x1 = 10我怎么能为Pyspark做到这一点呢？
浏览 10提问于2019-04-22得票数 0
1回答
我需要在我的数据框中创建两个额外的列，它们基于一个列的计算，该计算涉及一个列与另一个列上的条件相除。我有一个SQL转换的工作示例，但需要用pyspark equvilent重写它，并且无法正确完成。EUR| 11.2|+--------+-------+
df.createOrReplaceTempView("tempdf") 以上就是我到目前为止<e
浏览 29提问于2021-04-26得票数 1
回答已采纳
4回答
(MySQL，InnoDB)
我有一个有A，B和C列的表，这个表会有很多行，比如说一百万行。我有一个将经常执行的查询，并将按A列搜索表，因此我在A列上添加了一个索引。我有另一个查询，它不会像第一个查询那样频繁地执行，但是仍然足够频繁地满足速度增长的条件。该查询将按所有三行进行搜索。我的问题是，第二个查询是从A列的索引中提高速度，还是必须在所有三列上</em
浏览 0提问于2018-01-24得票数 4
回答已采纳
1回答
在SQL中，当一个查询被多个条件过滤时，一个简单的优化就是在限制较少的条件之前列出更多的限制条件，因为条件是按先到后的顺序计算的。most_resctrictive_condition" AND col3 = "least_resctrictive_condition"
如果某个
浏览 2提问于2014-01-04得票数 1
回答已采纳
我正在尝试将我的pandas代码转换为pyspark dataframe，并尝试在dataframe的一列上应用函数。我在pandas dataframe中做了一些如下的事情。在操作了几个列值之后，将新列添加到pandas数据帧中，如下所示。return USD_amount
salesData['Sales (INR)'] = salesData.apply(convert_USD_INR, axis=1) 有没有人能给我举个例子，把它转换成<e
浏览 15提问于2020-01-03得票数 1
回答已采纳
1回答
我有一个带有封装列的原始Dataframe火花公子。我需要在所有列上循环以打开这些列。我不知道名字列，它们可能会改变。所以我需要通用算法。问题是我不能使用经典循环(for)，因为我需要一个并行代码。数据示例：1456982 | [[1, 2],[3,4]]在层中，它是一个包含其他列(具有自己的列名)的列</em
浏览 0提问于2018-06-25得票数 3
回答已采纳
----+-------+-----------++----+-------+-------+-----------+
我如何在PySpark
浏览 1提问于2018-06-19得票数 1
回答已采纳
是否可以使用Excel高级筛选器来筛选列上的唯一值，而这些列中的行已经在其他列上进行了筛选？
基本上，我有一个工作表，其中其他列正在使用具有自己的条件的自动筛选，最后我想过滤掉这一列上的重复值。但是，当在这一列上使用高级过滤器时，它会撤消我在其他列上的所有过滤。现在，当我在数据中使用复制过滤器时，我可以避免这个问题，但它会永久删除该列上的数据。我不希望丢失数据，我
浏览 3提问于2012-05-20得票数 0
1回答
选择列内容长度<x的行
、、、
我有一个，其中一个列的内容是string类型。我只想选择列上的字符串长度大于5的行。我尝试使用size函数，但它只适用于数组。from pyspark.sql.functions import col, explode, regexp_replace, size
.where(size(col("col_2&
浏览 0提问于2019-03-20得票数 0
回答已采纳
1回答
当我使用seaborn.lmplot函数有条件地将图分割成面时，我得到了这个错误。我在使用内置提示数据集。sns.lmplot(x='total_bill',y='tip',data=tips,col='day',row='time')
问题是，每当我选择按列'day‘进行拆分时，这种情况就会发生，但在其他分类列上效果很好。
浏览 4提问于2020-03-07得票数 0
我有一个如下所示的Pyspark数据框架：|package_id | location |我希望在此数据中添加一个列“package_id”，以便对于每个包(由"package_scan_code“标识)，新添加的原产地列中的值将与”package_scan_code“03对应的位置相同。
浏览 0提问于2019-01-30得票数 0
回答已采纳
2回答
我正在尝试将SQL查询转换为Pyspark。SQL查询如下所示。在以下条件满足的情况下，我需要设置ZIPCODE='0‘。Or (COUNTRY_TABLE.STATE)="MP") AND ((Len([ZIPCODE]))<"5"));
我正在尝试实现的Pyspark') | (col('COUNTRY_TABLE.STATE') == 'M
浏览 6提问于2022-10-17得票数 0
回答已采纳
我想知道如何在完整的DataFrame上创建一个新列，但其值仅基于DataFrame的一个子集(即，基于条件应用的某些函数)。在本例中，我希望创建一个列，该列将每个ID与Value列中按ID的正值之和相关联。24 || 1 | 12 | 17 |下面的代码将按<
浏览 1提问于2019-02-02得票数 0
1回答
我在一个+1100万行数据集中做了一些清理，其中包含了噪音很大的企业名称。我想做一些正则表达式的清理(删除标点符号、空格、数字、重音和一些问题)，然后应用一些近似的字符串匹配算法，比如TF或BM25，但这是另一个问题。这是我的前五行(包括标题)。但是使用下面的代码，我将每个字符串拆分为一个由四个元素组成的列表。为了达到清理数据集的目标，我首先得到了所有不同的“脏”名称，所以我用pyspark读取数据集并运行：
#in the map method I split the string and se
浏览 3提问于2021-05-31得票数 0
因为我想使用这些值来创建一个IF条件。这是我的代码：(由于未定义的值，仍然有一个错误)function myFunction() {
const sourceid = 'Spreads
浏览 15提问于2022-09-06得票数 0
回答已采纳
2回答
我希望在一个列上分组一个dataframe，然后在所有列上应用一个聚合函数。它的R等价值是summarise_all。在R.
df = df%>%group_by(column_one)%>%summaris
浏览 1提问于2019-05-22得票数 4
回答已采纳
例如，对于下面的数据集，"a“、"b”、"c“将被索引为0、1、2，如果我在spark中使用VectorIndexer。但是我想根据标签给它们做索引。
浏览 4提问于2016-10-26得票数 3
回答已采纳
1回答
我在Spark中有连接函数。此函数需要一个联接条件，如果我们要加入的列没有相同的名称，则需要将它们作为联接表达式传递。我想编写一个函数，它将两个dataframes的列名作为参数，并在这些列上联接。问题是联接表达式不能是字符串。我看过像这个这样的问题，在这里，映射被用来映射变量名，但是这不符合我的需要。我已经检查过了，如果我们要加入的列没有相同的名称(除了生成一个带有新列名的dataframes的副本)，那么在Pyspark<
浏览 16提问于2015-08-05得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
