我想添加一个新列new_col，如果列a的值在yes_list中，则在new_col中该值为1，否则为0 from pyspark import SparkContext
sc = SparkContext.getOrCreate
浏览 11提问于2020-07-09得票数 0
回答已采纳
在我的scala程序中，我有一个包含两列a和b (都是Int类型)的dataframe df。另外，我有一个先前定义的对象obj，其中包含一些方法和属性。在这里，我想使用来自obj的dataframe和属性的当前值向dataframe df添加一个新列。| 2 | 5 |
+---+---+ 如果obj有一个属性num: Int = 10和一个方法f(a: Int, b: Int): Int = {a + b - this.num}，我想使用f来创建新
浏览 16提问于2021-10-21得票数 0
回答已采纳
6 26 0 7 2 14
1 14 3 21 9 1 9 我希望新列任何人都知道怎么做，因为在那之后，我只需要在新的G列中显示最大的20个数字 如果之前有人问过这个问题，我很抱歉，并提前表示感谢。
浏览 5提问于2020-01-16得票数 0
回答已采纳
2回答
我有一个数据，其中有两列: DNI，电子邮件。：. name2 lastname2 8658685我希望根据邮件的不同将num列添加到第一个dataframe中，如果电子邮件列不存在名称和姓氏组合，我希望添加"0“值，它如下所示：. 1N
浏览 2提问于2020-07-26得票数 1
回答已采纳
我尝试通过在dataframe中添加一个新列来使用SparkSQL。val df= sc.read.json("C:/Users/A661758/Desktop/TEST-XSLT.json")错误：'**UID**‘给定的输入列无法解析：
我使用Spark
浏览 1提问于2017-03-14得票数 1
我有一个包含日期时间列的csv文件："2011-05-02T04:52:09+00:00“。我使用scala，文件被加载到spark DataFrame中，我可以使用jodas时间来解析日期：import sqlContext.implicits._
val df = new SQLContext(sc).load("com.databricks.spark.csv", Map("path" ->
浏览 0提问于2015-04-28得票数 3
回答已采纳
1回答
for i in df.collect(): events_df.append(v) events_df = spark.createDataFrame(events_df, schema)def generate_event(delta_row):
浏览 4提问于2022-05-13得票数 2
假设我有以下数据： [(1, "a", 23.0), (3, "B", -23.0)], 我想要添加新的x4列，但是我在Python中有值，而不是添加到新列中，例如x4_ls = [35.0, 32.0]。是否有最佳方法将新列</e
浏览 0提问于2017-02-15得票数 0
回答已采纳
我想向Dataframe添加一个新列，一个UUID生成器。UUID值将类似于21534cf7-cff9-482a-a3a8-9e7244240da7我尝试过在spark中使用withColumn方法。val DF2 = DF1.withColumn("newcolname", DF1("existingcolname" + 1)
因此，在所有行中，DF2都将有额外的列，其中的newcolname添加了根据</
浏览 2提问于2016-05-15得票数 8
回答已采纳
10回答
我有一个火花DataFrame (使用PySpark 1.5.1)，并希望添加一个新的列。我尝试过以下几种方法，但都没有成功：
spark_new_col = sqlContext.createDa
浏览 13提问于2015-11-12得票数 179
回答已采纳
我有两个行数相同的DataFrame，但是根据源，列数是不同的和动态的。val
浏览 0提问于2017-10-31得票数 9
回答已采纳
1回答
嗨，我想在DataFrame的每一行中添加使用现有列的新列，我在Scala中尝试这样做.df是包含可变列数的dataframe，只能在运行时决定。导入spark.implicits._支持基本类型(Int、String等)和Product (case类)，以便在以后的版本中添加其他类型的序列化支持。方法映射的参数不足：(隐含证据$7: org.apache.spark.sql.Encoderorg.
浏览 2提问于2017-10-09得票数 1
我已经在现有的数据框中添加了一个新列，但它没有反映在数据帧中。test = customerDf.withColumn("fullname",expr("concat(firstname,'|',lastname)"))有没有办法向现有的dataframe添加一个新的列(不复制dataframe)？
浏览 4提问于2021-01-26得票数 0
我有一个字符串类型的列为"Age“的数据框，我想获取一个包含字符串格式的范围的新列-1、12、17、24、34、44、54、64、100、1000Age-1
浏览 10提问于2017-07-06得票数 1
回答已采纳
我有一个数据帧，其中的一些列special_column包含像one，two这样的值。我的数据帧也有列one_processed和two_processed。我想添加一个新的列my_new_column，它的值是根据来自special_column的处理值从我的dataframe中的其他列中获取的。我试过.withColumn("my_new_column", F.col(F.concat(F.col("
浏览 24提问于2020-02-21得票数 0
(更重要的是，)，这个问题也仅限于向现有的dataframe中添加一个新列，而我需要添加一个列以及数据中所有现有行的值。因此，我希望向现有的DataFrame添加一列，然后将该新列的初始(“默认值”)值应用到所有行。y| z||true|not true| red|这意味着，我希望向StringType类型的
浏览 4提问于2016-10-10得票数 7
回答已采纳
1回答
我正在尝试根据某些列的值在dataframe上创建一个新列。它在所有情况下都返回null。有人知道这个简单的例子出了什么问题吗？df = pd.DataFrame([[0,1,0],[1,0,0],[1,1,1]],columns = ['Foo','Bar','Baz'])
spark_df = spark.createDataFrame= spark_df.withCo
浏览 2提问于2018-09-26得票数 2
回答已采纳
我正在尝试将一些计算列添加到SparkR数据框中，如下所示：(unix_timestampOut.minus.In.mins", 第一个命令执行ok，head(Orders)显示新列$$anonfun$resolve$1.ap
浏览 2提问于2015-12-29得票数 0
1回答
例如，我有一个名为"date“的列，其格式为"YYYY-MM-DD”，我希望基于"date“生成一个名为"week”的新列。如果使用pandas.Dataframe，可以用Series.apply来完成，我的问题是如何在Spark MLlib中做到这一点？df[
浏览 2提问于2016-09-20得票数 0
回答已采纳
7回答
我想知道是否可以更改列在dataframe中的位置，实际上是否可以更改架构？让我们想象一下，我们使用的是一个有100列的dataframe，经过一些联接和转换之后，其中一些列对于目标表的模式是错误的。
如何移动一个或多个列，即:如何更改架构？
浏览 4提问于2016-06-29得票数 47
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
