我正在尝试使用存储在其他地方的逻辑动态地向数据帧添加一个新列。
我希望能够遍历数组或列表中包含的新列名和新列逻辑，并将这些值用作withColumn函数中的参数。使用泰坦尼克型数据集中的一个示例数据帧，我
浏览 8提问于2019-07-21得票数 0
回答已采纳
1回答
我创建了一个dataframe，并在其中的一个列中添加了一些元数据。import pandas as pd
df = spark.createDataFrame(pd.DataFrame({'a':[1,2,3],'b':[4,5,6]}
浏览 4提问于2022-02-14得票数 0
回答已采纳
2回答
我有一个具有以下数据(所有列都有字符串数据类型)的Pyspark (原始数据)： 1 103我需要在value列中创建一个新的带有填充的修改的dataframe，这样该
浏览 2提问于2017-07-30得票数 11
我有220 GB的数据。我已经将其作为两列读取到spark dataframe中: JournalID和Text。现在，我的数据帧中缺少27行。使用NGram类，我在dataframe中添加了另外两个列Unigram和Bigram，其中包含文本列中的单字和双字。然后，我使用一元</em
浏览 1提问于2018-12-17得票数 0
2回答
你好，我有一个PySpark dataframe。因此，我想从具有特殊条件的不同行中添加两列。其中一列是日期类型。以下是数据的示例：| flag| date | diff |from py
浏览 0提问于2019-02-19得票数 0
回答已采纳
1回答
我将df作为一个pyspark.sql.dataframe.DataFrame导入到Databricks中。在这个df中，我有3列(我已经证实它们是字符串)，我希望将它们连接起来。我试过先使用一个简单的"+“函数。因此，我试图在每一列后面添加.astype(str)，但没有结果。最后，我尝试简单地添加另一列，其中满是数字5：
df['new_c
浏览 1提问于2022-12-02得票数 0
我们怎么才能用
在org.apache.spark.sql.catalyst.parser.CatalystSqlParser中导入它，它在Scala中工作得很好，现在根据需求，我们尝试转换我们的项目我正在用蓝色的数据砖来使用这个图书馆。
浏览 7提问于2022-06-09得票数 0
考虑以下pyspark中的dataframe：| Col A|| [0.5, 0.6]| | [1.1, 1.5]| A列的类型是向量，如何创建一个值为A列但类型<
浏览 1提问于2020-03-04得票数 1
1回答
我使用的是PySpark版本3.0.1。我正在将csv文件读取为具有2个日期列的PySpark数据帧。但是，当我尝试打印模式时，两列都被填充为字符串类型。 ? ? 上面附加的屏幕截图是Dataframe和Dataframe模式。 如何使用pyspark将date列中</e
浏览 16提问于2020-12-30得票数 2
1回答
我在pyspark中有一个dataframe，df有一个数组字符串类型的列，所以我需要生成一个包含列表头部的新列，还需要包含尾列表连接的其他列。这是我的原始数据帧： pyspark> df.show()| id| lst_col||
浏览 29提问于2020-01-24得票数 0
回答已采纳
1回答
因此，我现在有以下DataFrame，其值如下：+-------+--------+
| VALUE如何向TIME列添加值？稍后，我将在我的程序中添加更多的行，并且需要为值和时间列添加/追加值。我该怎么做？
浏览 5提问于2017-06-26得票数 0
回答已采纳
我刚开始使用SQL和Dataframes。我有一个Dataframe，我应该根据其他列的值向它添加一个新列。我有一个来自excel的Nested IF公式，我应该实现它(用于向新列添加值)，当转换为编程术语时，如下所示：{ }else{
&
浏览 2提问于2017-11-22得票数 4
回答已采纳
我正在尝试在一个pyspark dataframe中创建一个新列，该列基于另一个列的内容。另一列包含所有整数，我希望新列使用1或0进行编码。import pyspark.sql.functions as F
df2 = df2.withColumn('Industrial', F.when(F.col('CODE&#
浏览 10提问于2019-05-30得票数 0
回答已采纳
如果我已经存在数据帧，且我想要向数据框中添加新列sqlContext = SQLContext(sc)
#add list to column exist dataframesc.par
浏览 0提问于2020-10-05得票数 1
我已经在现有的数据框中添加了一个新列，但它没有反映在数据帧中。如果我们可以将数据帧分配给另一个数据帧，我们就可以看到结果test.show()
有没有办法向现有的dataframe
浏览 4提问于2021-01-26得票数 0
1回答
我希望将0或1，0插入到表的位列中，如果没有文本，则插入1。我正在通过SSIS中的excel源来提取数据。在下面的示例中，它应该是：Client 2: 1 0 1Products: Ball BicycleClient 2: Ball Bat
Client 4:
浏览 1提问于2016-01-25得票数 0
回答已采纳
4回答
我有一个具有下面数据(所有列都有字符串数据类型)的Pyspark (原始Dataframe)。在我的用例中，我不确定输入数据中有哪些列。用户只需将dataframe的名称传递给我，并要求我修剪这个dataframe的所有列。1504 " Test"
3
浏览 2提问于2017-07-31得票数 0
1回答
我见过许多针对scala或其他类型文件的解决方案。但如何推断模式，以加载DataFrame，一个csv文件，在python中与pyspark。df = spark.read.csv('dataset.csv') 如果我检查模式，所有列都是字符串。我可以一列一列地更改，但我想还有更好的方法。
浏览 6提问于2021-04-09得票数 0
我有一个dataframe，它在一个列中存储一个JSON对象。我希望处理JSON对象来创建一个新的dataframe (列的数目和类型不同，每行将从JSON对象生成n个新行)。我在下面编写了这样的逻辑:在迭代原始数据集时，将字典(行)附加到列表中。for item in row.json_object['obj']:
浏览 4提问于2022-10-19得票数 1
回答已采纳
我是在Databricks中使用Pyspark的新手，所以这就是为什么我要与以下内容斗争的原因:我有一个dataframe，它有数据类型为string的列。一个例子(见下图)是列netto_resultaat。 要求将此列和其他与财务相关的列从字符串更改为小数。这是因为我要导出Azure SQL数据库中
浏览 23提问于2021-10-25得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
