我有这样的数据帧.. A B 1293 2251 935 2473 935 2473 -1.64如果这是不可能的，那么我们可以执行减法运算并存储新的列，然后除以该列并存储在另一
浏览 101提问于2019-07-19得票数 2
回答已采纳
1回答
我需要在我的数据框中创建两个额外的列，它们基于一个列的计算，该计算涉及一个列与另一个列上的条件相除。我有一个SQL转换的工作示例，但需要用pyspark equvilent重写它，并且无法正确完成。EUR| 11.2|+--------+-------+
df.createOrReplaceTempView("tempdf") 以上就是我到目前为止在pyspark下面是我想用py
浏览 29提问于2021-04-26得票数 1
回答已采纳
2回答
在PySpark中有什么特定的方法可以像我们在r中那样绑定两个数据帧吗？
我需要在PySpark中同时绑定数据帧和作为一个数据帧。
浏览 1提问于2017-08-30得票数 3
我有两个数据帧。 df1的列为['City','State','Zip'] df2具有与df1相同列的标签编码器。这里的每个索引都是每列的编码标签。 我想按索引合并/合并这些数据帧。如何确定哪个标签属于什么，以及如何将它们放到单个数据帧中，其中前三列将是原始列，其索引['City&#x
浏览 21提问于2020-08-27得票数 0
Df1.unix(Df2) 如何将其扩展到处理具有不同列数的pyspark数据帧？
浏览 18提问于2019-02-21得票数 0
2回答
我有两个pyspark数据帧，我想检查第一个数据帧列值是否存在于第二列dataframe.If第一个数据帧列值不存在于第二个数据帧列中，我需要确定这些值并将其写入list.Is有没有更好的方法来使用pyspark
浏览 37提问于2020-09-03得票数 0
回答已采纳
2回答
我有一个数据帧(dayData)，有两列'first'和'average'。我希望将'first‘除以'average’来创建一个新的列'second'。使用以下内容：但是，“average”列中的值可能为0(因此，当我将这
浏览 5提问于2016-06-26得票数 0
我想将MinMaxScalar of PySpark应用于PySpark数据帧df的多列。到目前为止，我只知道如何将其应用于单个列，例如x。from pyspark.ml.feature import MinMaxScaler
pdf = pd.DataFrame({'x':range(3), 'y':[1,2,5], 'z':[100,200,1000对于PySpark中
浏览 0提问于2020-02-18得票数 17
回答已采纳
1回答
我有一个pyspark dataframe，它包含类似下面的数据： id class price place2 B 5 US-5 US8 A 10 CANADA
9 A -30 CANADA 我想找出价格列相对于列如果关于' class‘的sum(价格)大于’0‘，那么这个数据应该进入一个数据
浏览 18提问于2021-01-13得票数 0
回答已采纳
我来自熊猫的背景，在一个简单的操作上，我正在与Spark 2.0.2 (PySpark)作斗争。如何向现有数据框添加新列，该数据框包含现有列的前两个字符。Diana", 6, "Singapore", 4)], ["FirstName", "Sales", "State", "Cost"])尝试#1
from pyspark.sql.fun
浏览 3提问于2016-11-20得票数 0
2回答
我有一个数据帧df。我已经对数据帧执行了decisionTree分类算法。这两列是执行算法时的标签和特征。该模型被称为dtc。如何在pyspark中创建混淆矩阵？features', labelCol = 'label')predictions = dtcModel.transform(test)
from pyspark.mllib.linalgimport Vect
浏览 0提问于2019-10-16得票数 4
我想在两个数据帧之间执行左连接，但是列并不完全匹配。第一个数据帧中的联接列相对于第二个数据帧有一个额外的后缀。from pyspark import SparkContext ['AB-
浏览 1提问于2017-08-08得票数 3
回答已采纳
1回答
在某些阶段，我需要在单个数据帧中合并或连接3个数据帧。这些数据帧来自spark sql表，我使用了联合函数，它已经合并了两个表中具有相同编号的列，但我也需要合并不相等的列值。我现在很困惑，有没有办法在pyspark中合并或连接不相等的基于列的数据帧，请指导我
浏览 13提问于2016-09-22得票数 0
1回答
我有一个pyspark脚本，它读取mysql数据，其中包含数据帧中的列值，并以aws s3格式存储数据，但是在使用aws雅典娜查询时，它显示的是一些随机文本，而不是阿拉伯文。我做错了什么。，如何将其转换为阿拉伯语。提前谢谢。
浏览 1提问于2018-12-05得票数 1
回答已采纳
我有一个pyspark数据帧，如下所示： ? 如果两列uniq_id和date_time具有相同的值，我希望只保留一条记录。 预期输出： ? 我想用pyspark来实现这一点。
浏览 28提问于2020-10-06得票数 0
回答已采纳
我有220 GB的数据。我已经将其作为两列读取到spark dataframe中: JournalID和Text。现在，我的数据帧中缺少27行。使用NGram类，我在dataframe中添加了另外两个列Unigram和Bigram，其中包含文本列中的单字和双字。然后，我使用一元和二元语法列上的pyspark的TF和IDF类计算TFIDF，并将其作为另一列添加到dataframe中。由于多类支持向量机不存在于p
浏览 1提问于2018-12-17得票数 0
1回答
我有一个很大的pyspark数据框架，其中列是一些产品，行是其随时间变化的价格。我需要计算所有产品的协方差矩阵，但数据太大，无法转换为pandas数据帧，因此我需要使用pyspark进行计算。Here是我的数据帧中两列的一个示例。
浏览 68提问于2021-06-15得票数 0
当我们有超过3个节点来分发数据时，pyspark.sql.functions下的"last“函数在spark上返回不一致的结果。from pyspark.sql.types import DoubleType
numeric = sqlContext.createDataFrame
浏览 1提问于2017-02-02得票数 1
我有一个从熊猫数据帧创建的样本spark数据帧-frompyspark.sql.types import StringType
浏览 3提问于2020-09-09得票数 0
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
