我正在尝试对用户插入的输入进行类型检查，但我不知道该怎么做。} ratingArr(iteration) = personalRate但是当我尝试给出一个类似"a“的字符串输入时(StringLike.scala:321)
at scala.collection.immutable.StringLike.toDouble
浏览 19提问于2021-02-21得票数 2
回答已采纳
我们可以在火花壳中使用spark.newSession创建新的火花会话。现在，我的问题是，新的火花会话实例的用途是什么？
浏览 4提问于2017-10-03得票数 2
回答已采纳
在使用Spark的DataFrames时，需要用户定义函数(UDF)来映射列中的数据。UDF要求显式指定参数类型。在我的例子中，我需要操作一个由对象数组组成的列，但我不知道要使用哪种类型。对列中的数据执行基本操作相对简单data.select($"topic", size($"subjects")).我应该为UDF中的参数使用什么类型？data
浏览 2提问于2016-08-18得票数 29
回答已采纳
我正在尝试比较SparkSQL查询的类类型。scala> val plan = spark.sessionState.sqlParser.parsePlan("create table some_table as select 1")因此，它的类型类似于class org.apache.spark.sql.ca
浏览 1提问于2020-08-20得票数 1
回答已采纳
建议删除要自动切换到类型化Scala的返回类型参数，或者将spark.sql.legacy.allowUntypedScalaUDF设置为true以继续使用它。在SparkVersion2.4和更低版本中，如果org.apache.spark.sql.functions.udf(AnyRef，DataType)获得带有基元类型参数的Scala闭包，则如果输入值为但是，在Spark3.0中，如果输入值为null，UDF
浏览 9提问于2020-12-03得票数 6
回答已采纳
1回答
/spark-shell --jars ~/spark/jars/spark-cassandra-connector-assembly-1.4.0-SNAPSHOT.jarScala> sc.stopScala> org.apache.spark.SparkContext
<em
浏览 1提问于2018-03-05得票数 0
回答已采纳
spark-shell和scala CLI客户端提供了类似的功能；它们之间有什么区别吗？
浏览 1提问于2016-12-31得票数 2
1回答
带字典的PySpark约简键
、、、、
为什么Spark强制从元组列表中构建RDD，以便在进行还原键转换的情况下？<init>(PythonRDD.scala:207) at org.apache.spark.rdd.RDD.iterator(RDD.scala:270)
at org
浏览 0提问于2018-01-18得票数 1
1回答
有人能告诉我为什么人们使用scala而不是Java来做spark吗？我一直在研究，但没有找到一个可靠的答案，我知道这两个都很好，因为它们都运行在JVM上，而且我知道scala us函数式和OOP语言。
谢谢
浏览 1提问于2016-01-12得票数 13
回答已采纳
我正在尝试找出一种方法来对Scala case类中具有变量类型的数据集合进行建模，我将其作为Spark Dataset进行操作。 at org.apache.spark</
浏览 0提问于2018-08-13得票数 0
我是Scala的新手，在编写单元测试时遇到了问题。我正在尝试在Scala中比较和检查两个Spark DataFrames单元测试的相等性，并意识到没有简单的方法来检查两个Spark DataFrames的相等性。= result[row][col]) return false; }
实际的测试将涉及基于DataFrames列的数据类型的相等性测试(使用浮点数的精度、容差等进行测试)。似乎没有一种简单的方法可以使用Sc
浏览 3提问于2016-11-09得票数 4
1回答
Spark语句的测试解析
、、、
我目前正在Scala (Scala2.12.12)中编写一个Spark应用程序(Spark3.0.1)，并希望对sql语句进行单元测试，以检查它们是否可以被正确解析。例如，我想检查一下：From a_tableSELECT a_column应该失败val query ="""SELECT | FROM a
浏览 4提问于2020-11-30得票数 1
回答已采纳
我试图用scala编写一个Spark，我需要定义一个函数的输入数据类型 Seq(
input.withColumn("relation",relationUDF(col("relation&qu
浏览 5提问于2019-11-21得票数 3
回答已采纳
有人能帮我解释一下德尔塔罗格检查站是怎么工作的吗？我面临一个问题，即我试图在固定的时间间隔内创建常规检查点，但如果自上次创建检查点以来对delta表没有任何更改，我将得到以下错误：java.lang.IllegalStateException(Checkpoints.scala:145)
at org.apache.spark.sql.delta.Checkpoints.writeCheckpointFiles$(Checkpoi
浏览 3提问于2021-08-05得票数 1
回答已采纳
我试图在Scala Spark中运行Spark网站()上的字数统计示例，但是当我尝试spark-submit时，我得到了一个异常: java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize The Spark version is 2.0.1 and the Scala version is 2.12.0示例代码在spark-shell上
浏览 2提问于2016-11-09得票数 3
java.lang.IllegalArgumentException:需求失败:列pmi必须是org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7类型，但实际上是DoubleTypeat org.apache.spark.sql.types.StructType$$anonfun$apply$1.apply(StructType.scala:264) at <e
浏览 7提问于2017-06-30得票数 2
._2.head else null).asInstanceOf[V]) }value cogroup is not a member of org.apache.spark.rdd.RDD
浏览 3提问于2015-11-17得票数 0
回答已采纳
在Spark API中，V1将输入DataFrame传递给CreatableRelationProvider的createRelation方法 https://spark.apache.org/docs/latest/api/java/org/apache/spark/sql/sources/CreatableRelationProvider.html 通过允许访问输入DataFrame
浏览 41提问于2021-05-08得票数 0
我一直在阅读很多博客，试图了解从PySpark、ScalaSpark和Spark中哪些是性能高效的。在此之前，我知道ScalaSpark更好一些，因为Spark在JVM中运行，并且存在Python<->JVM数据序列化/反序列化的开销，这降低了的效率。这还行吗？
Scala可以创建吗？
浏览 9提问于2022-06-18得票数 -2
我正在调用mllib Statistics.corr()函数并接收以下错误：
(x: org.apache.spark.api.java.JavaRDDjava.lang.Double，y: org.apache.spark.api.java.JavaRDDjava.lang.Double，方法: String)scala.Double (x: org.apache.spark.rdd.RDDscala.Double，y: org.apache.spark.rdd.RDDscala.Double，方法:
浏览 6提问于2015-09-21得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
