我应该在Spark 2.3.0中使用Scala 2.11.0还是2.11.8？
在Spark 2.3.0中，建议使用Scala 2.11.8。
Scala是一种多范式编程语言，它结合了面向对象编程和函数式编程的特性。Spark是一个开源的大数据处理框架，它提供了高效的数据处理和分析能力。在Spark中，Scala是最常用的编程语言之一。
在选择Scala版本时，通常建议使用与Spark版本兼容的Scala版本。Spark 2.3.0是一个比较新的版本，它与Scala 2.11.8兼容。这意味着在Spark 2.3.0中使用Scala 2.11.8可以获得最佳的兼容性和性能。
Scala 2.11.8具有以下优势：
- 兼容性：Scala 2.11.8与Spark 2.3.0兼容，可以无缝地集成和使用。
- 性能：Scala 2.11.8在性能方面进行了优化，可以提供更好的执行效率和响应速度。
- 社区支持：Scala 2.11.8是一个成熟稳定的版本，拥有庞大的开发者社区和丰富的资源。
在实际应用中，Spark和Scala的组合可以用于大规模数据处理、机器学习、数据挖掘等领域。例如，可以使用Spark和Scala进行数据清洗、数据转换、数据分析和可视化等任务。
腾讯云提供了一系列与Spark相关的产品和服务，例如腾讯云的弹性MapReduce（EMR）服务。EMR是一种大数据处理和分析服务，可以轻松地在云端部署和管理Spark集群。您可以通过访问腾讯云EMR产品介绍页面（https://cloud.tencent.com/product/emr）了解更多信息。
总结起来，建议在Spark 2.3.0中使用Scala 2.11.8，以获得最佳的兼容性和性能。腾讯云的弹性MapReduce（EMR）服务是一个推荐的云计算产品，可用于部署和管理Spark集群。
相关·内容
1回答
name := "name"
version := "1.0"
scalaVersion := "2.11.7"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.2"
日志：
[warn] Multiple dependencies with the same organization/name but different versions.
To avoid conflict, pick one version
浏览 2提问于2017-01-26得票数 0
回答已采纳
我正在尝试Twitter流样本项目。我在定义sbt时遇到了问题。
我的build.sbt
name := "Tutorial"
version := "0.1.0"
scalaVersion := "2.11.8"
retrieveManaged := true
libraryDependencies ++= Seq(
"org.apache.spark" % "spark-core" % "2.11.0",
"org.apache.spark" % "spark-s
浏览 53提问于2017-06-20得票数 2
回答已采纳
我正在尝试将Spark版本从1.6.2升级到2.3.0。我目前使用的是Scala版本2.10，但我需要升级到Scala版本2.11.x，因为Scala 2.10不再受支持。我的问题是我应该升级到哪个子版本？我正在努力确定要使用哪个子版本。 我找不到任何比较不同Scala子版本的东西，但我遇到了一些推荐使用Scala版本2.11.8的条目，并且使用Spark的Scala 2.11.0有一个bug (不确定这是不是真的)。 你有什么经验，你推荐哪些子版本？谢谢!
浏览 20提问于2019-02-18得票数 0
$SPARK_HOME/bin/spark-shell --packages datastax:spark-cassandra-connector:2.0.0-M2-s_2.11 --conf spark.cassandra.connection.host=127.0.0.1
Ivy Default Cache set to: /home/gopalkrishna/.ivy2/cache
The jars for the packages stored in: /home/gopalkrishna/.ivy2/jars
:: loading settings :: url = jar:file
浏览 2提问于2020-02-28得票数 0
1回答
火花: sbt -依赖关系错误
、、、、
我正在尝试基于Hortonworks tutorial.But创建一个新的Spark应用程序，当我试图导入必要的模块时，build.sbt一直抛出下面的错误。
我有Scala-2.11.4和SBT0.13 installed.Any帮助？
Error:Error while importing SBT project:<br/>...<br/><pre>[warn] ::::::::::::::::::::::::::::::::::::::::::::::
[warn]
[warn] Note: Unresolved dependencies pa
浏览 2提问于2017-10-17得票数 1
回答已采纳
我在Apache-Spark2.11的build.sbt文件中创建了下面的依赖项。
name := "Project1"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.1"
libraryDependencies ++= Seq(
"org.scala-lang" % "scala-compi
浏览 3提问于2016-10-22得票数 1
我正在编译scala应用程序，我在标题中发现了输入的错误。
Scala版本: scala 2.11.8火花版本: Spark 1.6.1 Intellij: 2016 1.3
我遵循下面的示例并将我的sbt文件更改如下：
将:=命名为“简单项目”
版本:= "1.0“
scalaVersion := "2.11.8“
libraryDependencies += "org.apache.spark“%”火花-核心“% "1.6.1”
有可能scala和spark版本之间没有兼容性吗？
浏览 8提问于2016-06-29得票数 2
回答已采纳
1回答
每次运行dist以生成生产环境时，都会收到以下警告：
一个库依赖项更新了warn版本：
警告*org.scala-lang:scala-编译器:2.11.0 -> 2.11.8
若要强制使用scalaVersion，请添加以下内容：
警告ivyScala := ivyScala.value映射{ _.copy(overrideScalaVersion = true) }
警告运行“驱逐”以查看详细的驱逐警告
现在，在build.sbt中，我有以下一行：
scalaVersion := "2.11.12"
我在安装cats库时将其从"2.11.8“改为”2.
浏览 0提问于2018-03-20得票数 0
回答已采纳
1回答
下载软件包时出错-提交
、、、
我在我的程序中使用火花。它在本地成功运行。
但是，当我将jar部署到远程集群时，将使用
spark-submit --packages com.cloudera.sparkts:sparkts:0.4.0 myjar.jar
它将在线搜索sparkTS包，但是失败并返回错误。我不知道发生了什么。我哪里错了？
Ivy Default Cache set to: /home/myname/.ivy2/cache
The jars for the packages stored in: /home/myname/.ivy2/jars
:: loading settings :: url = j
浏览 11提问于2016-11-15得票数 2
在Spark 1.6.2 (Scala 2.10.5)上，以下代码在shell中运行良好：
import org.apache.spark.mllib.linalg.Vector
case class DataPoint(vid: String, label: Double, features: Vector)
mllib Vector正确地掩盖了Scala Vector。
但是，在Spark 2.0 (Scala 2.11.8)上，相同的代码会在shell中抛出以下错误：
<console>:11: error: type Vector takes type parameters
浏览 12提问于2016-09-17得票数 4
回答已采纳
3回答
我正在构建我的第一个spark应用程序。
告诉我Spark2.x是针对Scala2.11构建的。
在Scala站点上，我看到了从2.11.0到2.11.11的版本
所以我的问题是: Spark网站上的2.11到底是什么意思。它有没有在2.11.0 - 2.11.11范围内的Scala版本？
另一个问题:我可以使用最新的Scala 2.12.2构建我的Spark应用吗？我假设Scala是向后兼容的，所以使用Scala构建的Spark库可以在Scala 2.12.1应用程序中使用/调用。我说的对吗？
浏览 5提问于2017-05-10得票数 12
我是scala的初学者，我想用intellij为scala安装spark。要使用spark 2.2.0，我需要Scala2.11，当我创建这个项目时，我选择了2.11.0版本。在build.sbt文件上我可以看到
name := "untitled" version := "0.1" scalaVersion := "2.11.0"
当我运行代码时，我得到了这个错误
Error:scalac: No 'scala-library*.jar' in Scala compiler classpath in Scala SDK SBT
浏览 3提问于2017-10-08得票数 0
希望使用sparklyr Spark install中包含的自定义scalac (Scala编译器)；可以在RStudio SparkUI选项卡(或从spark_web(sc))中找到>>环境>> /jars/scala-compiler-2.11.8.jar作为“系统环境”--而不是像中建议的那样，在基本目录中单独下载和安装scalac，并且链接到创建扩展的页面。
这是我目前使用的Ubuntu，但在下面的错误中停滞不前。我设置了一个与上面"hello world“示例中使用的Github-repo完全相同的目录。知道如何在不安装到建议的基本路径文件夹--即/o
浏览 2提问于2016-12-12得票数 2
1回答
在我的spark应用程序中，我尝试使用fluentd-scala-logger，为此我必须在build.sbt中包含一个额外的依赖项。这是我在build.sbt中添加的两行 resolvers += "Apache Maven Central Repository" at "https://repo.maven.apache.org/maven2/"
"org.fluentd" %% "fluent-logger-scala" % "0.7.0" 我的最终build.sbt如下所示： name := "s
浏览 47提问于2020-12-21得票数 4
回答已采纳
2回答
在进行sbt构建时，我开始看到以下警告消息：
[warn] Scala version was updated by one of library dependencies:
[warn] * org.scala-lang:scala-library:(2.11.1, 2.11.7, 2.11.2, 2.11.6, 2.11.5, 2.11.0) -> 2.11.8
[warn] To force scalaVersion, add the following:
[warn] ivyScala := ivyScala.value map { _.copy(overrideScalaV
浏览 4提问于2016-04-27得票数 10
回答已采纳
1回答
我对我应该使用哪个scala感到困惑。当我运行星火提交申请时，我得到了这个错误：
17/06/05 06:59:46 ERROR yarn.ApplicationMaster: User class threw
exception: java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaMirrors$JavaMirror;
java.lang.NoSuchMethodError: scala.reflec
浏览 16提问于2017-06-05得票数 1
1回答
刚刚开始使用Spark和Scala。我们已经在我们的dev cloudera hadoop集群上安装了Spark 2，我使用的是spark2-shell。我正在翻阅一本书来学习一些基本知识。它的示例显示println(foo)在不进行收集的情况下工作，但这对我不起作用：
scala> val numbers = sc.parallelize(10 to 50 by 10)
numbers: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[9] at parallelize at <console>:24
scala
浏览 2提问于2017-03-29得票数 0
回答已采纳
根据这个，我正在应用udf来过滤CountVectorizer之后的空向量。
val tokenizer = new RegexTokenizer().setPattern("\\|").setInputCol("dataString").setOutputCol("dataStringWords")
val vectorizer = new CountVectorizer().setInputCol("dataStringWords").setOutputCol("features")
val pipeline
浏览 3提问于2018-02-12得票数 1
我正在尝试将Scala版本从2.11.8升级到2.12.10。我在sbt文件中做了如下更改。
"org.apache.spark" %% "spark-core" % "2.4.7" % "provided",
"org.apache.spark" %% "spark-sql" % "2.4.7" % "provided",
"com.holdenkarau" %% "spark-testing-base" % "3.
浏览 4提问于2021-11-11得票数 1
1回答
我正在关注他们的入门页面：，在倒数第二个代码片段中，我必须使用sbt将我的文件打包到.jar中
我的build.sbt：
name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" % "spark-sql" % "2.3.2"
我的SimpleApp.scala：
/* SimpleApp.scala */
import org.apa
浏览 60提问于2018-10-08得票数 0
我用的是spark 2.4和scala 2.11.12，在spark shell中，我碰到了一个非常奇怪的问题，那就是它不能识别导入的类。它是scala 2.11.12的bug吗?因为它可以在scala 2.12和2.11.8中工作 scala> import java.util.ArrayList
import java.util.ArrayList
scala> class A extends ArrayList {}
<console>:11: error: not found: type ArrayList
class A extends Ar
浏览 7提问于2019-05-16得票数 0
1回答
我有下面的星火程序，我正在Windows中运行它(Eclipse/Maven)。
public class LoadingJson {
public static void main(String[] args) {
SparkSession ss = SparkSession.builder()
.appName("My First App in newer version of Spark")
.master("local")
浏览 3提问于2018-05-31得票数 0
回答已采纳
我正在尝试运行一个简单的程序，在scala中用火花来计数单词。我已经在linux中自己完成了所有的安装，并且我无法执行它，因为我有以下错误：
java.lang.ClassNotFoundException: scala.Function0
at sbt.internal.inc.classpath.ClasspathFilter.loadClass(ClassLoaders.scala:74)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
at java.lang.Class.forName0(Native Method)
浏览 3提问于2017-10-26得票数 0
回答已采纳
我的建筑出了问题。这是我的sbt文件：
name := "SparkPi"
version := "0.2.15"
scalaVersion := "2.11.8"
// https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10
libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "2.0.1"
// old:
//libraryDepende
浏览 3提问于2016-11-03得票数 0
我是Spark的新手，从Apache下载了一个预编译的Spark二进制文件(Spark-2.1.0-bin-hadoop2.7)
在提交我的scala (2.11.8) uber jar时，集群抛出并出现错误：
java.lang.IllegalStateException: Library directory '/root/spark/assembly/target/scala-2.10/jars' does not exist; make sure Spark is built
我没有运行Scala 2.10，Spark (据我所知)也不是用Scala 2.10编译的
会不
浏览 2提问于2017-07-25得票数 1
我有spark 2.0 Scala 2.11.8，我正在尝试包含图形框架包。我在scala shell中输入了以下内容：
<spark-shell --packages graphframes:graphframes:0.1.0-spark1.6>
But still I got the error message:
scala> import org.graphframes._
<console>:23: error: object graph frames is not a member of package org
import org.g
浏览 5提问于2017-07-17得票数 0
我一直拒绝服务器访问，error.Unable通过web.But找到fix.Investigated，没有一个运行良好，我正在使用windows7。
C:\Users\thathine>sbt
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; sup
port was removed in 8.0
[info] Loading project definition from C:\Users\thathine\project
[info] Updatin
浏览 3提问于2017-06-18得票数 1
回答已采纳
我正在构建我的第一个星火应用程序，用IDEA开发。
在我的集群中，Spark的版本是2.1.0，Scala的版本是2.11.8。
告诉我：“从2.0版本开始，Spark默认是用Scala2.11构建的。Scala2.10用户应该下载Spark源代码包，并使用Scala2.10支持构建。”
因此，我的问题是：“Scala2.10用户应该下载Spark源代码包并使用Scala2.10支持构建”的含义是什么？为什么不使用Scala2.1.1版本呢？
另一个问题:我可以选择哪个版本的Scala？
浏览 0提问于2018-12-19得票数 1
回答已采纳
我试图在IntelliJ IDEA中构建和运行Scala/Spark项目。
我在全局库中添加了org.apache.spark:spark-sql_2.11:2.0.0，我的build.sbt如下所示。
name := "test"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.0"
libraryDependencie
浏览 2提问于2017-07-16得票数 2
回答已采纳
3回答
我尝试用Ubuntu16.04在Ubuntu上安装和构建Spark2.0.0，如下所示：
安装Java
sudo apt-add存储库ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java 8-installer
安装Scala
转到他们网站的下载标签: scala-lang.org/download/all.html
我使用了Scala2.11.8。
sudo /usr/local/src/scala sudo tar -xvf scala-2.11.8.tgz -C /usr/local/s
浏览 4提问于2016-09-01得票数 7
我正在尝试执行以下代码，但得到了这个错误：value toDF is not a member of Seq[(Int,String)]。
我在main之外有case类，我也导入了implicits。但我还是会犯这个错误。有人能帮我解决这个问题吗？我正在使用Spark 2.11-2.1.0和Scala 2.11.8
import org.apache.spark.sql._
import org.apache.spark.ml.clustering._
import org.apache.spark.ml.feature.VectorAssembler
import org.a
浏览 1提问于2018-04-18得票数 7
回答已采纳
我使用Spark 2.3.0和Scala 2.11.8 以下库的兼容版本是什么？ hadoop-aws aws-java-sdk
浏览 131提问于2019-07-04得票数 2
回答已采纳
1回答
我试着写一个数据帧给一个兽人，但是没有用。我使用的是带有Java的Spark 1.6。我在我的本地机器上运行，我试图安装一些依赖项，但没有成功。 我的POM是： <properties>
<spark.version>1.6.0</spark.version>
<scala.short.version>2.10</scala.short.version>
<slf4j.version>1.7.25</slf4j.version>
<mave
浏览 5提问于2019-09-20得票数 0
回答已采纳
我使用的是Amazon，它有Spark2.1.0和Scala2.11.8。
我在想，当我编译并制作胖Jar时，使用Scala2.11.11可以吗？
浏览 0提问于2017-11-29得票数 1
回答已采纳
build.sbt
lazy val commonSettings = Seq(
organization := "com.me",
version := "0.1.0",
scalaVersion := "2.11.0"
)
lazy val counter = (project in file("counter")).
settings(commonSettings:_*)
柜台/大楼
name := "counter"
mainClass := Some("Count
浏览 4提问于2017-06-21得票数 0
我是Scala和Spark的新手，目前正在做一个scala spark作业项目，有一件事让我很沮丧，那就是我不知道如何像用java那样在IntelliJ中调试代码。
在我导入scala项目后，我注意到spark-job文件夹没有被标记为源代码文件夹，尽管同一模块中的其他一些子文件夹是源代码文件夹。
-- utility (marked as source code folder)
-- event-sender (marked as source code folder)
-- spark-jobs (not marked as source code folder)
浏览 2提问于2019-02-22得票数 0
我在编译spark项目时收到错误。这是pom文件。我使用scala 2.11.8和spark 2.3.2进行编译
我一直在尝试不同版本的scala 2.11.x来解决这个问题，但是他们都不起作用，我希望有人能帮助我知道如何解决这类问题，这将是非常棒的。
错误消息如下。我在编译spark项目时收到错误。这是pom文件。我使用scala 2.11.8和spark 2.3.2进行编译
I have been trying different version of scala 2.11.x to resolve this but none of them worked, I someone can h
浏览 0提问于2019-01-10得票数 0
我正在尝试使用spark-sql，但在导入时
import org.apache.spark.sql.{Row, SparkSession}
获取以下错误：
object sql is not a member of package org.apache.spark
以下是我的详细信息：
Spark版本: 1.6.2 Scala版本: 2.11.8 sbt版本: 0.13.16
这是我的build.sbt文件：
name := "sbt_demo"
version := "1.0"
scalaVersion := "2.11.8"
librar
浏览 3提问于2017-12-06得票数 2
1回答
我在spark-shell (Spark版本2.1.0，使用Scala版本2.11.8，OpenJDK 64位服务器VM，1.7.0_151)中工作。
我导入Column类：
scala> import org.apache.spark.sql.Column
import org.apache.spark.sql.Column
我可以定义一个Column对象：
scala> val myCol: Column = col("blah")
myCol: org.apache.spark.sql.Column = blah
并在函数定义中使用Column：
scala&
浏览 6提问于2018-01-30得票数 6
我正在尝试为spark scala代码编写单元测试，我发现了这篇文章：然而，当我添加这些依赖项时，我在编译时得到这个错误：
Error:scalac: missing or invalid dependency detected while loading class file 'SQLTestUtilsBase.class'.
Could not access type PlanTestBase in package org.apache.spark.sql.catalyst.plans,
because it (or its dependencies) are missin
浏览 3提问于2019-12-13得票数 0
我正在尝试运行一个简单的命令sbt包，但是由于下面给出的错误(下面的粗体命令)，它失败了。如果有人解决了我的问题，我会很感激？我的spark版本为2.0，scala版本为2.11.8，在centOS cloudera上使用JDK1.7
[root@hadoop first]# vim build.sbt
name := "First Spark"
version := "1.0"
organization := "in.goai"
scalaVersion := "2.11.8"
libr
浏览 3提问于2017-08-08得票数 1
当我运行交互式火花壳时，我会显示spark版本(2.2.0)和scala版本(2.11.8)
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.2.0
/_/
Using Scala version 2.11.8 (OpenJDK 64-Bit Server VM, Java 1.8.0_131)
不过，我想检查一下，我在齐柏林 (localhost)中
浏览 0提问于2017-11-09得票数 19
回答已采纳
当我声明MQTTUTils.createPairedStream()时，我得到了一个错误，如
值createPairedStream不是对象org.apache.spark.streaming.mqtt.MQTTUtils的成员。
我的星火和Scala版本是
SCALA版本- 2.11.8
火花版本- 2.3.0
浏览 1提问于2019-03-08得票数 0
回答已采纳
1回答
我陷入了一个看似愚蠢的问题，但我不知道如何解决它。我也在网上看了看，但没有一个解决方案对我有效。
我有一个使用spark graphX模块的spark代码。我需要在graphX中进行更改，并强制我的项目使用这个修改过的graphX版本。为了做到这一点，我首先从spark源代码中取出了graphx模块，并独立编译。然后在我的应用程序pom.xml文件中指定依赖项，该文件的作用域为"system“。这是我的应用程序pom。
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="
浏览 0提问于2018-11-28得票数 0
1回答
我正在尝试星火流基础节目。
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
val appConf = new SparkConf().setMaster("local[2]").setAppName("kafkaapp");
val sContext = new StreamingContext(appConf , Seconds(1));
它返回以下内容
Caused by: java.lang.ClassNotF
浏览 0提问于2018-05-17得票数 0
我想把Java文件编译成jar。我希望它可以由Spark运行。我确实尝试过正常编译，但出现了类似下面这样的错误。
java.lang.NoClassDefFoundError: JavaWordCount (wrong name: org/apache/spark/examples/JavaWordCount)
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
at java.security.SecureClassLoa
浏览 0提问于2017-06-12得票数 1
我正在使用Spark2进行EMR。当我进入主节点并运行火花外壳时，我看不到对sqlContext的访问。我遗漏了什么吗？
[hadoop@ip-172-31-13-180 ~]$ spark-shell
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
16/11/10 21:07:05 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back
浏览 3提问于2016-11-10得票数 1
我正在做一个关于Apache Spark的pluralsight课程，他们一度要求我们在Hadoop-streaming上设置一个依赖项。我已经将它添加到我的build.sbt文件中，但得到的结果出乎意料：
Build.sbt
name := "SparkPlayground"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.0"
浏览 13提问于2016-09-05得票数 2
回答已采纳
火花-卡桑德拉函数leftJoinWithCassandraTable工作在火花壳良好，但包装在sbt，我得到下面提到的错误。
我的scala代码片段
case class time_struct(id: String, month: Int, day: Int, platform: String, type_1: String, title:String,
time: Long)
val rdd = time_data.mapPartitions( data =>
data.map( row =>
浏览 3提问于2017-03-21得票数 0
回答已采纳
我对此做了一些研究，似乎是由于一些版本不匹配。我试图从相当长的时间来解决这个问题，但不确定修复方法。任何帮助都是非常感谢的。
这是我的pom.xml
<properties>
<scala.version>1.6.2</scala.version>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.spark</gro
浏览 0提问于2017-09-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
