我是spark的新手，在这里我被尝试用新值替换字符串值而震惊。header.replaceAll(line.split("=")(0).toLowerCase().trim,line.split("=")(1).toLowerCase().trim) }
我期望我的最终输出为
浏览 0提问于2018-07-27得票数 0
回答已采纳
问题：为什么下面的代码只在第一列上用空值替换空值，而不替换具有空值的其他列？例如，如果column1和column2没有空值，而column3、column6、column9有空值，则只能在column3中替换空值，而在column6和column9中则不替换空值。注意:所有列都是字符串类型<
浏览 16提问于2022-05-09得票数 0
1回答
当我试图用空值填充一个DataFrame来替换其中的其他值时，我得到了错误的Caused by: scala.MatchError: Null (of class scala.reflect.internal.Types我如何使用Scala Spark 2.1来做这件事？
浏览 28提问于2017-03-17得票数 0
回答已采纳
我有一个包含float和double值的dataframe。scala> val df = List((Float.NaN, Double.NaN), (1f, 0d)).toDF("x", "y")| 1.
浏览 2提问于2017-05-12得票数 3
回答已采纳
我已经使用了explode函数来做同样的事情。我想知道我是否可以跳过这里的数据帧的使用，只使用SparkSQL来执行这个操作。
例如，teradata中有Strtok函数来执行此操作。
浏览 1提问于2019-04-13得票数 0
Scala2.10在这里使用Spark1.6.2。我有一个与类似的(但不是相同的)问题，然而，被接受的答案不是，它假定了关于火花的某种“预先知识”；因此我无法复制它或理解它。(更重要的是，)，这个问题也仅限于向现有的dataframe中添加一个新列，而我需要添加一个列以及数据中所有现有行的值。因此，我希望向现有的DataFrame添加一列，然后将该新列的初始(“默
浏览 4提问于2016-10-10得票数 7
回答已采纳
1回答
我在齐柏林飞艇中有一项繁重的任务，当我多次运行该段落时，齐柏林飞艇的/jobs状态页面将返回HTTP500错误和OOM。我在yarn上运行spark的客户端模式。
浏览 1提问于2017-03-14得票数 2
当创建一个列值默认值为NULL的表时，我在Spark(1.6) SQL中获得了下面的错误。示例:将表测试创建为select column_a，NULL作为column_b从test_temp创建；是否有更好的方法使用spark
浏览 3提问于2017-12-27得票数 0
回答已采纳
我已经检查了下面的问题，它给出了python或scala的解决方案。和for java的方法是不同的。How to replace null values with a specific value in Dataframe using spark in Java?我有一个数据集Dataset<Row> ds，它是我通过读取拼图文件创建的。因此，所有列值都是字符串。其中一些值为空。我使用.na().fil
浏览 70提问于2019-05-06得票数 1
回答已采纳
我有以下对象，它模仿枚举： val JobSeekerID = "JobSeekerID" val Date = "Date"}userJobBehaviourDF.groupBy($(ColumnNames.JobSeekerID))userJobBehaviou
浏览 2提问于2018-01-11得票数 2
回答已采纳
我使用的是火花-核心，火花-sql，Spark 2.10(1.6.1)，scala-反射2.11.2。"));commentValueToFilterOut= commentValueToFilterOut.replaceAll("'","
浏览 0提问于2018-07-17得票数 2
我想通过替换子字符串在Spark Dataframe列上执行一些基本的词干提取。做这件事最快的方法是什么？
在我当前的用例中，我有一个想要规范化的地址列表。
浏览 0提问于2016-05-05得票数 54
回答已采纳
3回答
我正试图将数据格式插入卡桑德拉：然而，一些列值是空的，因此我得到了异常：at scala.collection.immutable.StringOps.toFloat(StringOps.scala:31)
at com.datastax.spark</em
浏览 7提问于2017-05-08得票数 2
回答已采纳
3回答
我正在我的scala应用程序中使用spark 2.3。我有一个dataframe，它是在我共享的示例代码中创建的，名为sqlDF。我有一个字符串列表，其中包含下面的项目
2 |-5 |1
6 |0 |1
浏览 0提问于2019-07-16得票数 2
回答已采纳
我正在解析来自给定RDD[String]的JSON字符串，并尝试将其转换为具有给定case class的Dataset。但是，当JSON字符串不包含case class的所有必需字段时，我会得到一个异常，即找不到缺少的列。我尝试在case class中定义默认值，但这并没有解决问题。我正在使用Spark2.3.2和Scala2.11.
浏览 2提问于2020-06-10得票数 0
回答已采纳
我在一列中有一些字符串值，我想将该列中的子串替换为其他列中的值，并将所有加号替换为空格(如下所示)。列名：ma
浏览 0提问于2019-08-05得票数 1
1回答
问题输入即使值major_purchase是列purpose中的字符串值，我也会得到异常java.text.Par
浏览 2提问于2017-08-06得票数 2
我使用intellij上的Scala来分析一个csv文件，该文件有672,112条记录。文件可在链接- 上使用。文件名: kiva_loans.csv月刊(更多的
浏览 2提问于2021-05-19得票数 1
我是Scala编程新手，我对R做过大量的工作，但是在scala工作时，很难在循环中提取特定的列来执行列值的计算。让我用一个例子来解释：上面是引用列的计算，所以在计算之后，我们将得到下面的spark数据如何引用for-循环中的列索引来计算scala中星火数据<e
浏览 1提问于2018-05-09得票数 0
回答已采纳
1回答
在中用空值替换空值
、、、
我有一个有n个列的数据框架，我想用空字符串替换所有这些列中的空字符串。我试着用和
val ReadDf = rawDF.withColumn("columnA
浏览 2提问于2017-05-21得票数 3
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
