我需要使用date_add()函数将90天添加到数据帧的列中。该函数工作正常，但仅当我对90进行硬编码时。如果数字在另一列中，并且我引用它，该函数会要求我输入一个整数。下面的代码可以工作： .withColumn("DATE_SUM_COLUMN",date_add(col("DATE_COLUMN"),90)) 此代码不会： .withColumn("DATE_SU
浏览 33提问于2019-08-21得票数 3
回答已采纳
我正在尝试获取列中的最大值，并编写了以下代码。val max = df.withColumn("max", lit(df.agg(max($"id")).as[Int].first))error: recursivevalue max needs type
val max = df.withColumn("max", lit(df.agg(max($"id&
浏览 24提问于2020-03-03得票数 0
回答已采纳
1回答
使用Spark访问数据仓库中的列
、、、、
我正在开发使用SCALA的SPARK 1.6.1版本，并面临一个不寻常的问题。使用在同一执行过程中创建的现有列创建新列时，获取"org.apache.spark.sql.AnalysisException“。
WORKING:。val resultDataFrame = dataFrame.withColumn("FirstColumn",lit(2021)).
浏览 0提问于2016-08-12得票数 4
在spark 1.4.1中，callUdf方法的参数是没有任何方法可以直接作用于列，如1.5.1中的方法那么如何在1.4.1中调用UDF呢？或如何将列类型更改为
scala.collectio
浏览 1提问于2016-11-28得票数 0
回答已采纳
我用的是这样的东西：但我得到了一个例外，因为它不被支持：at org.apache.spark.sql.streaming.StreamingQueryManager.createQuery(StreamingQueryMan
浏览 3提问于2021-01-05得票数 1
我想通过替换子字符串在Spark Dataframe列上执行一些基本的词干提取。做这件事最快的方法是什么？
在我当前的用例中，我有一个想要规范化的地址列表。
浏览 0提问于2016-05-05得票数 54
回答已采纳
1回答
我目前正在探索POC中的Azure数据库(Scala和Databricks对我来说都是全新的)。我正在使用这个()示例数据集来展示数据库的操作特性。我的问题是，我有一个名为“模型”的数据栏，其中包含“2009年奥迪A3”和“2005年梅赛德斯E 550”等数据。我想要做的是改变这一栏，所以取代前面的，它是‘奥迪A3’或‘梅赛德斯E 550’。我有一个单独的模型年份专栏，因此在可能的情况下试图缩小列<
浏览 7提问于2020-10-19得票数 2
回答已采纳
2回答
我想在DataFrame中添加一个具有任意值的列(即每一行都相同)。('new_column', 10).head(5)
AttributeError: 'int' object h
浏览 3提问于2015-09-26得票数 175
回答已采纳
4回答
我有一个只有一列的Dataframe该列的每一行都有一个字符串值数组：["123", "abc", "2017", "ABC"]["789", "ghi", &quo
浏览 8提问于2017-12-01得票数 28
回答已采纳
我知道使用.withColumn()向星火.withColumn()添加新列的方法，以及返回DataFrame的UDF。我还知道，我们可以将结果DataFrame转换为DataSet。是否有一种“面向对象的方式”来访问列(而不是将列名作为字符串传递)，就像我们以前使用RDD那样，用于追加一个新列。
如何在地图、过滤器等正常操作中访问新列？=> b + "ing")
浏览 1提问于2016-11-15得票数 11
回答已采纳
我的接口是RDD，所以我必须将DataFrame转换为RDD，当我使用df.withcolumn时，分区更改为1，所以我必须使用repartition和sortBy RDD。有没有更干净的解决方案？这是我的代码：val partition = rdd.getNumPartitionsval rdd2=df.rd
浏览 100提问于2017-06-06得票数 1
回答已采纳
我在dataset中有一个列(call是col_id，它包含可能在broadcast_array中的IntegerType值，但它们可能不是。我只是尝试创建一个新列(称为new_col)，以检查每一行的col_id值是否在broadcast_array中。如果是这样，新的列值应该是Available，否则它可以是null。所以我有这样的东西：
val my_new_df = df.withColumn("n
浏览 2提问于2017-12-11得票数 1
回答已采纳
我想在Scala中对我的数据帧进行分层采样。我的dataframe只有一列，我想为它形成一个分数映射。我可以在pyspark中实现，但在Scala中会出错。以下是我在Scala中尝试的内容：from pyspark.sql.functions
浏览 87提问于2018-06-07得票数 0
1回答
我有一个名为“description”值的dataframe列，格式如下我想把它解析成3列，如下所示| ABC | TYPE1 | STORE NAME | ABC XXXXXXXXXXXX STORE NAME ABC TYPE1 |
我尝试了类似中建议的方法它适用于简单的UDF函数，但不适用于我编写的<
浏览 1提问于2018-10-06得票数 3
回答已采纳
我的spark sql和scala代码： s""" |FROM default.table
var grouped_df = df.withColumn("map", struct("a", "b&quo
浏览 15提问于2019-08-17得票数 1
我有一个包含压缩内容的列的拼花文件。目前，我的Spark (用Scala编写)作业使用Java.io Reader链来压缩内容：val byteArrayInputStream= null) { }val out = output.toString但是这会导致Hadoop集群中<
浏览 0提问于2019-04-16得票数 1
我有一个具有以下结构的DataFrame：-----------------------------| 3 | 8 | 4 | 7 || 4 | 2 | 9 | 0 |
我试图实现的是，对于每条记录，都会创建另外三个列，其中包含下一个记录的time, x, y (基于time)。问题是，只有当记录具有相同<e
浏览 0提问于2018-12-22得票数 1
回答已采纳
我有XML文件，其中包含使用withColumn函数在DataFrame上运行的所有转换，如下所示:如何在DataFrame上应用它。我有一个使用Scala ToolBox和runTmirror编写的代码，它在内部编译代码并在DataFrame上运行这些规则。它能很好地工作在不到100列的地方。但是现在需求已经改变了，列的数量从80列增加到210列，所以这段代码失败了，应该是Sta
浏览 0提问于2019-08-31得票数 0
回答已采纳
1回答
我正在尝试编写一些代码，使我能够在数据帧的一组行上计算一些操作。在PySpark中，这可以通过定义类型为GROUPED_MAP的Pandas UDF来实现。然而，在Scala中，我只找到了一种创建自定义聚合器(UDAF)或传统UDF的方法。
我的临时解决方案是生成一个关键字列表，该列表将对我的组进行编码，这将允许我过滤数据帧并对数据帧的每个子集执行操作。然而，这种方法并不是最优的，而且速度非常慢。执行的</e
浏览 2提问于2020-04-08得票数 2
我有一个scala / spark dataframe，它有一个名为"utcstamp“的列，值的格式如下：2018-12-12 21:15:00 我想要获取一个新的带有星期几的专栏，并受到论坛中的this("E")
df = df.withColumn("weekday" , dowText.format(df.select(col(&q
浏览 46提问于2021-01-11得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
