我有一个简单的spark语句，但是它似乎返回false，这与true的预期结果相反：
spark.sql("SELECT 1 AS a").withColumn("b", lit($"a" == 1))$"a" >= 1的语句返回true，那么为什么不返回$"a" == 1
浏览 0提问于2019-09-05得票数 0
回答已采纳
我正在尝试通过使用以下代码过滤掉null或空字符串的行来创建一个新的数据框： (conditionExpr: String)org.apache.spark.sql.DataFrame<and>
(condition: org.apache.spark.sql.C
浏览 0提问于2016-05-20得票数 24
回答已采纳
1回答
我正在用Scala编写方法，这些方法接受列参数并返回一个列。在它们中，我希望使用类似于下面的逻辑来比较列的值(从整数到日期)，但遇到了一条错误消息。 lit()仅用于示例目的。实际上，我将列从一个DataFrame.select()传递到一个方法中进行计算。我需要使用这些列进行比较。if (test1 > test2) { 在Spark中<
浏览 18提问于2021-02-02得票数 0
回答已采纳
- X_average*8.0) / ( S * math.sqrt( (8.0*numCells - math.pow(8.0, 2))/(numCells - 1.0) ) )[error] found : Boolean
[error] required: org.apache.spark.sql.Column我在本地scala上尝试了一个简单的</e
浏览 54提问于2021-06-30得票数 0
回答已采纳
我有以下对象，它模仿枚举： val JobSeekerID = "JobSeekerID" val BehaviorType = "BehaviorType" 然后，我想按列对DF进行分组。
浏览 2提问于2018-01-11得票数 2
回答已采纳
1回答
在我下面的实现中，左反连接和除星火之外是否有区别？someDF4: org.apache.spark.sql.DataFrame = [number: string,202003101810|202003101700| 2|+------------+------------+-----+
输出是匹配的，与左反
浏览 1提问于2020-04-29得票数 0
回答已采纳
1回答
看起来spark sql对" like“查询是区分大小写的，对吧？spark.sql("select distinct status, length(status) from table")Active|6
不返回值
spark.sql("sele
浏览 8提问于2018-11-28得票数 4
我来自Java背景，是Scala的新手。谁能告诉我在哪种情况下需要使用这两个运算符，以及==和===之间的区别
浏览 1提问于2016-09-14得票数 55
回答已采纳
我试图运行简单的逻辑回归程序在火花。我得到了这个错误:我试图包含各种语言来解决问题，但这并不是解决问题。java.lang.IllegalArgumentException:需求失败:列pmi必须是org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7类型，但实际上是DoubleType，更新从dataset中删除了string value属性，该数据集是label。:128)
at scala.collection.AbstractMap.getOrElse(
浏览 7提问于2017-06-30得票数 2
我正在尝试获取列中的最大值，并编写了以下代码。val max = df.withColumn("max", lit(df.agg(max($"id")).as[Int].first))error: recursivetype我真的不明白这个错误
浏览 24提问于2020-03-03得票数 0
回答已采纳
当创建一个列值默认值为NULL的表时，我在Spark(1.6) SQL中获得了下面的错误。示例:将表测试创建为select column_a，NULL作为column_b从test_temp创建；是否有更好的方法使用<
浏览 3提问于2017-12-27得票数 0
回答已采纳
在spark scala dataframe中定义多个逻辑/关系条件时，得到下面提到的错误。但同样的事情在scala中也能正常工作df2=df1.where(((col('a')==col('b')) & (abs(col('c')) <= 1))
| ((col('aa") eq col("b")) & (abs
浏览 12提问于2019-08-02得票数 0
我使用StructType定义了一个模式，用于读取Redsfhit中的数据帧。该表具有350+列，其中许多列被配置为布尔值。at scala.collection.immuta
浏览 1提问于2017-11-22得票数 3
3回答
我的假设是，我需要实现一个新的dataframe (即通过一个连接操作)，以便在Spark中执行这个操作。到目前为止，这个假设是正确的吗？因为其中一些值本身就是对象的集合，所以在中使用scala对象的对象树对我来说可能比在这个联接之后切换到列名级别的操作更容易读懂，或者是本能的。到目前为止的评论？这是和火花一起工作的</
浏览 2提问于2019-12-23得票数 1
回答已采纳
如何比较两个基于PK的数据帧。我主要想创建一个scala spark代码来比较两个大的Dataframe(每个10M记录，每个100列)，并显示如下输出：1 [ {Col1: [1,2]}, {col3: [5,10ID为主键
Diff column -显示第一个列名，其中是差异，然后显示该列中哪个值与另一个值不同。
浏览 1提问于2021-07-30得票数 1
1回答
示例数据帧：import spark.implicits._
(1, "ABC"), (3, "GHIJ")someDF: org.apache.spark.sql.DataFra
浏览 6提问于2020-06-04得票数 0
回答已采纳
我试图根据现有列向我的数据框架添加一个新列，其中数据是一个自定义对象数组。$.assert(Predef.scala:156) ~[scala-library-2.11.8.jar:?]at org.apache.spark.sql.catalyst.encoders.ExpressionEncoder$.javaBean(ExpressionEncoder.scala:87) ~[spark-catalyst_2.11-2.2.0.
浏览 5提问于2017-09-19得票数 0
回答已采纳
我在Spark/Scala中有一个数据文件，它有100的列。许多oth列都有许多空值。我希望找到有超过90%空值的列，然后将它们从我的数据中删除。我怎样才能在Spark/Scala中做到这一点？
浏览 2提问于2017-08-04得票数 0
回答已采纳
我有一个scala对象，如下所示-res20: Class[_ <: org.apache.spark.sql.DataFrame] = class org.apache.spark.sql.DataFramescala> f1.printSchema |-- features: vector (nullable = true)
res23: Array[o
浏览 0提问于2017-03-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
