使用另外两列中的信息并列放置两个PySpark df列
PySpark是一种基于Python的Spark编程接口，用于处理大规模数据集的分布式计算。PySpark提供了DataFrame（df）数据结构，可以方便地进行数据处理和分析。
在使用另外两列中的信息并列放置两个PySpark DataFrame（df）列时，可以使用以下方法：
- 使用withColumn()方法：可以使用withColumn()方法将两个DataFrame的列并列放置。该方法接受两个参数，第一个参数是要添加的新列的名称，第二个参数是要添加的新列的值。例如：
from pyspark.sql import SparkSession
# 创建SparkSession对象
spark = SparkSession.builder.getOrCreate()
# 创建两个DataFrame
df1 = spark.createDataFrame([(1, 'A'), (2, 'B'), (3, 'C')], ['id', 'col1'])
df2 = spark.createDataFrame([(4, 'D'), (5, 'E'), (6, 'F')], ['id', 'col2'])
# 使用withColumn()方法将两个DataFrame的列并列放置
df_combined = df1.withColumn('col2', df2['col2'])
# 显示结果
df_combined.show()- 使用join()方法：如果两个DataFrame具有相同的键列，可以使用join()方法将它们合并。该方法接受三个参数，第一个参数是要连接的另一个DataFrame，第二个参数是连接条件，第三个参数是连接类型。例如：
from pyspark.sql import SparkSession
# 创建SparkSession对象
spark = SparkSession.builder.getOrCreate()
# 创建两个DataFrame
df1 = spark.createDataFrame([(1, 'A'), (2, 'B'), (3, 'C')], ['id', 'col1'])
df2 = spark.createDataFrame([(1, 'D'), (2, 'E'), (3, 'F')], ['id', 'col2'])
# 使用join()方法将两个DataFrame合并
df_combined = df1.join(df2, on='id', how='inner')
# 显示结果
df_combined.show()以上是将两个PySpark DataFrame的列并列放置的方法。这些方法可以根据具体需求选择使用，以实现数据处理和分析的目标。
相关·内容
我的PySpark数据帧中有四列： 'drivers','cars','topSpeeds','dates' 假设每个司机在不同的日期用不同的汽车达到了不同的最高速度，不同的汽车在不同的日期用不同的司机达到了不同的最高速度我可以将每辆车的司机在所有日期的最高速度的平均值如下： <em
浏览 9提问于2019-02-20得票数 0
回答已采纳
我想要创建一个函数，该函数从PySpark中的左联接创建一个新列，详细说明一个列中的值是否匹配或不匹配另一个dataframe逐行的列。例如，我们有一个PySpark dataframe (d1)具有列ID和名称，另一个PySpark dataframe (d2)具有相同的列- ID和Name。我试图创建一个连接这两个表
浏览 3提问于2021-12-11得票数 0
1回答
我有两个不同的数据帧，我能够基于g_id将它们连接在一起。如下所示： df1 = dfx.join(df_gi, regexp_extract(trim(dfx.LOCATION), "..*", 1) == df_gi.g_id, "inner")\
.select (dfx["*"], df_gi["G_Number2"]) 现在，dfx daraframe有一个名为G_N
浏览 51提问于2020-10-31得票数 0
回答已采纳
我正在尝试做一些与这个post 非常相似的事情，但是我需要使用pyspark，并且我希望根据不同的ID创建两个列。本质上，我试图用两个新闻列(每个列都包含它们的配对ID的平均值)来附加我原来的pyspark。
下面可以找到初始df和输出df的示例：
浏览 8提问于2022-03-18得票数 0
我想要获取一个数据帧(df2)的所有行，其中城市列值和邮政编码列值也存在于另一个数据帧(df1)中。重要的是，我想要两个列的组合，而不是单独查看列。 我的方法是： #1.Get all combinations
df_combinations=np.array(df1.select("Ort","Postleitz
浏览 20提问于2021-01-30得票数 0
回答已采纳
我有两个相同行数的pyspark dataframe，但它们没有任何公共列。因此，我使用monotonically_increasing_id()将新列添加到这两个列中id=mi()
df1 = df1.withColumn("match
浏览 2提问于2017-06-03得票数 1
1回答
我需要在两列中使用partition子句并找到行号。另外，我只需要提取包含rownumber= 1的行。我有保存这些数据的df3数据：我试图使用分区by子句，使用两列"category_name，SubCategoryName“，并将它们按总销售额降序：from pyspark
浏览 16提问于2022-08-13得票数 -1
回答已采纳
我有一个包含几列的数据帧。现在我想从另外两个列派生一个新列：new_df = df.withColumn("new_col", F.when(df[java.lang.Double]) does not existnew_df = df.withColumn(&qu
浏览 0提问于2015-10-15得票数 34
回答已采纳
4回答
如何在Spark中压缩两个数组列
、、、、
我有潘达的数据。我尝试将包含字符串值的两个列连接到一个列表中，然后使用zip将列表中的每个元素都用'_‘连接起来。我的数据集如下：df['column_2']: '1.0, 2.0, 3.0'
我想将这两列连接
浏览 2提问于2019-01-21得票数 9
回答已采纳
2回答
要Py的SQL查询(Spark)
、、、、
我有以下SQL查询，我想将其转换为pyspark。我想使用两个列pp和gender，并在pyspark中执行以下操作 %sql , SUM(CASE WHEN Gender = 'M'THEN 1.0 ELSE 0.0 END) /, count(1) AS totalWHERE ge
浏览 12提问于2020-12-16得票数 0
我试图在两个数据集中匹配文本记录，主要是通过使用PySpark (目前没有尽可能多地使用BM25或NLP技术等库)，-using Spark和SparkNLP库很好。另外，下面是这两个数据集的架构
浏览 6提问于2022-05-23得票数 0
回答已采纳
有两个DFs： df1： Word Countabc 2[ad,as,abd] 0
[abc,ad]我的主要目标是遍历df2的words列中的每个'value‘，并将其与df1中的'word’列进行匹配。 如果找到匹配项-将df1计
浏览 18提问于2020-09-29得票数 0
回答已采纳
2回答
我想要两个日期列在天数上的差异。但是在pyspark.pandas dataframe中，差异在"int“类型中返回。= pd.DataFrame(data)
df[["d1", "d2"]] = df[["d1",
浏览 20提问于2022-11-15得票数 0
回答已采纳
2回答
我有两个pyspark数据帧，我想检查第一个数据帧列值是否存在于第二列dataframe.If第一个数据帧列值不存在于第二个数据帧列中，我需要确定这些值并将其写入list.Is有没有更好的方法来使用pyspark感谢您的回复。 df[Name].show()OracleOracle.NET
浏览 37提问于2020-09-03得票数 0
回答已采纳
我用的是火花2.4.5。我想添加两个新的列，日期和日历周，在我的电火花数据框架df。因此，我尝试了以下代码：df.withColumn('timestamp', F.lit('2020-05-01'))但我收到了错误信息：AssertionError: col should be
浏览 2提问于2020-10-13得票数 0
回答已采纳
我有两个DataFrames，我想对这两个DataFrame的每一列应用distance.euclidean(df1.select(col),df2.select(col))。示例： from pyspark.sql import SparkSessionfrom pyspark.sql.typesof `df1` and `df
浏览 9提问于2020-07-11得票数 0
我是新来的火花，我无法找到解决我的问题，任何建议或帮助是高度赞赏的。
我有一个Pyspark.sql.dataframe，它有两个数组列，其中包含String。两个列数组的长度都不一致，有些行也有空项。我需要比较这两列，并且必须删除B列中的每一行的一个数组元素，当它在列覆盖中的</em
浏览 5提问于2020-01-30得票数 1
回答已采纳
我有两个数据帧df1和df2，我只想在结果中不匹配的列。我试着使用SQL来做，但是SQL返回所有列，而不是一列。df1
a b ccol1|col2|col31 2 3col3
是否可以在pyspa
浏览 5提问于2018-08-20得票数 0
1回答
在PySpark的重采样操作中，我遇到了问题。我的数据是：+-------------------+------------------+，通过使用Spark函数，将"sum“列中的空值替换为"sum”列中前一个和下一个变量的平均值。如果"sum“列中有null，则应将其替换为同一列<
浏览 0提问于2018-09-10得票数 0
回答已采纳
在PySpark中，我们不能使用传统的熊猫或R风格的符号来根据DataFrame中的旧列来制作新的列。例如，假设我试图连接两列：df['newcol'] = F.concat(df['col_1'], df</e
浏览 1提问于2016-07-28得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
