我在一个PySpark DataFrame中有两列，我想在填充空值(而不是就地)后取这两列的比率。| 200 | 300 | 10 | 20 |
+------+------+-----+------+------+------+------+-------+ 我想用M2D和M3C的比率来创建新的列在获取ratio之前，我想用0填充
浏览 17提问于2019-12-19得票数 1
回答已采纳
3回答
我需要在熊猫DataFrame中创建一个新的列，它是按照DataFrame中现有的两个列的比率计算的。但是，比率计算中的分母将根据在DataFrame中的另一列中找到的
浏览 4提问于2020-08-22得票数 2
回答已采纳
我试图在Polars锈菌DataFrame中现有列的基础上创建一个新的计算列。有一个类似于火花放电的with_column方法可用于此。但是在api文档中没有例子。下面是一个示例dataframe： let df = df!("{}
浏览 7提问于2022-06-23得票数 0
回答已采纳
我想通过取两个现有列的比率在dataframe中创建一个新列。下面的代码可以工作，但它不保留列dfprice_per_sqft。
浏览 0提问于2018-10-08得票数 1
1回答
我将df作为一个pyspark.sql.dataframe.DataFrame导入到Databricks中。在这个df中，我有3列(我已经证实它们是字符串)，我希望将它们连接起来。我试过先使用一个简单的"+“函数。因此，我试图在每一列后面添加.astype(str)，但没有结果。最后，我尝试简单地添加另一列，其中满是数字5：也收到了同样的</
浏览 1提问于2022-12-02得票数 0
我已经在现有的数据框中添加了一个新列，但它没有反映在数据帧中。我们就可以看到结果test.show()
有没有办法向现有的dataframe添加一个新的列(不复制dataf
浏览 4提问于2021-01-26得票数 0
我正在尝试使用，我想知道如何使用现有列创建和填充新列。假设我有一个如下所示的dataframe：| _1| _2| _3||x1-y1| 3| z1|+-----+---+---++-----+---+---+----+
浏览 0提问于2019-03-15得票数 0
回答已采纳
1回答
我有来自卡夫卡主题的数据。在我的dataframe中，我有“平均”列，我希望通过对“平均”列执行一些计算来创建新列。目前我写的是-但这是个错误-
pyspark.sql.utils.AnalysisExc
浏览 3提问于2022-09-20得票数 0
回答已采纳
我有多个列的dataframe，如下所示：|----|----------|----| B | C | M |我希望创建2个新列，并在新字段中存储现有列的</
浏览 0提问于2020-11-20得票数 0
回答已采纳
我有一个dataframe，它根据现有列的缩减计算创建一个新列。我需要检查，如果使用的减小值高于特定的阈值数字，则应使其等于阈值数字/不应超过它。我尝试过在.withColumn语句内部和之后包装when语句 df = df.withColumn('total_new_load',
col('existing_load
浏览 50提问于2019-05-23得票数 1
指向数据集的链接：“”
我想要的是:用x轴上的小时(0-23)和y轴上的/Count(请求id)比率分别绘制每个“状态”值和“拾取点”的图表。我尝试过的是:我尝试创建一个新的列行程完成比率，其中我将把计算出来的比率值与该行中的小时值相对应。我知道如何分别计算每小时<
浏览 1提问于2019-07-31得票数 1
回答已采纳
我正试图在现有的DataFrame中创建新列。目前，DataFrame看起来如下：|Acct| M1D|M1C| M2D| M2C| M3D| M3C|| A| 100|200| 200| 200| 300| 10|我希望用M2C填充0<em
浏览 4提问于2019-12-17得票数 0
回答已采纳
1回答
我有一个电火花数据格式的event1。它有许多列，其中一个列是eventAction，它具有“转换”、“签出”等分类值。我想以一种在eventAction列中“转换”变成1，而其他类别变成0的方式来转换这个列。这就是我试过的：
event1.eventAction = event1.select(F.when(F.col('eventAction') == 'conversion', 1).ot
浏览 3提问于2021-03-23得票数 0
回答已采纳
我有一个dataframe，它在一个列中存储一个JSON对象。我希望处理JSON对象来创建一个新的dataframe (列的数目和类型不同，每行将从JSON对象生成n个新行)。我在下面编写了这样的逻辑:在迭代原始数据集时，将字典(行)附加到列表中。for item in row.json_object['obj']:
# cre
浏览 4提问于2022-10-19得票数 1
回答已采纳
我想要创建一个函数，该函数从PySpark中的左联接创建一个新列，详细说明一个列中的值是否匹配或不匹配另一个dataframe逐行的列。例如，我们有一个PySpark dataframe (d1)具有列ID和名称，另一个PySpark dataframe (d2)具有相同<e
浏览 3提问于2021-12-11得票数 0
我发现很难理解这两种方法与pyspark.sql.functions之间的区别，因为PySpark官方网站上的文档并不能提供很好的信息。例如，以下代码：print(F.col('col_name'))研究结果如下：
浏览 10提问于2017-09-24得票数 15
我对Pyspark还不熟悉，我正在尝试在我现有的dataframe中添加一个新的列。新列应该只包含4个固定值(例如1,2,3,4)，我想随机为每一行选择一个值。
我怎么能这么做？
浏览 2提问于2016-06-29得票数 1
回答已采纳
1回答
我正在使用spark版本2.3，并试图将spark中的蜂巢表读取为：from pyspark.sql.functions import*在这里，我添加了一个新列，其中包含了从system到现有的dataframe的当前日期
import pyspark.sql.functi
浏览 0提问于2018-12-06得票数 2
回答已采纳
我知道PySpark DataFrames是不可变的，所以我想创建一个新列，该列是根据应用到PySpark DataFrame的现有列的转换生成的。我的数据太大了，无法使用collect()。该列是唯一int列表(在给定列表中不重复int)，例如：[1,2][2,3]
上面是一个玩具
浏览 9提问于2017-01-12得票数 1
回答已采纳
5回答
查看新的spark API，还不清楚是否有可能修改DataFrame列。df.ix[x,y] = new_value
编辑：合并下面所说的内容，您不能修改现有的数据格式，因为它是不可变的，但是您可以返回一个新的数据格式，并进行所需的修改。如果只想根
浏览 12提问于2015-03-17得票数 95
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
