1回答
我正在play-scala应用程序中从1.6升级到Spark2.0，但不太确定如何设置我想要的jar文件。现在我正在使用SparkSession构建器来构造我的spark conf和spark context，但是我没有看到任何类似的方法来指定jar文件？我该怎么做呢？set("spark.yarn.jar", "hdfs:///user/hadoop/spark-assembly-1.6.
浏览 25提问于2017-01-18得票数 1
我的主要星火项目依赖于其他实用程序，jars.So组合集可能如下所示： 2. main_spark-2.0.jar will work with utils_spark-2.0.jar (and some of the jobs use thisset)
对于我来说，处
浏览 1提问于2017-10-22得票数 0
回答已采纳
在google云中使用dataproc镜像版本2.0.x，因为在这个dataproc镜像版本中提供了delta0.7.0。然而，这个dataproc实例附带了pyspark 3.1.1的默认版本，Apache Spark 3.1.1还没有正式发布。因此，没有与3.1兼容的Delta Lake版本，因此建议降级。
浏览 1提问于2021-02-09得票数 1
4回答
spark版本: 2.0我可以在Jupyter中导入图框：GraphFrame---> 62 self._jvm_gf_api = _java_api(self.getContextClassLoader().loadClass(javaClassNa
浏览 5提问于2016-09-01得票数 15
我刚刚在Ubuntu主机上使用"sbt程序集“构建了spark 2.0。一切都完成得很好，但是，当我试图提交一份工作时：我发现了一个错误：
Failed to find Spark jars directory (/home
浏览 8提问于2016-07-27得票数 3
回答已采纳
我是Apache Spark的新手。我正在尝试使用Spark执行简单的spring boot应用程序，但是我得到了异常。-- Spark --> <artifactId>spark-core_2.10</artifactId-- Spark SQL -->
<groupId>org.a
浏览 5提问于2018-01-23得票数 1
回答已采纳
我们希望以一种版本不可知的方式为我们的spark作业加载org.apache.spark:spark-avro_2.12包。org.apache.spark:spark-avro_2.12:3.1.2org.apache.spark:spark-avro_2.12:3.2.0
有没有一个通用的机制，我可以实现加载基于<e
浏览 18提问于2021-11-02得票数 1
import org.apache.spark..set("spark.cleaner.ttl", "30s") .set("spark.driver.allowMultipleContextsUsing Spark's repl log4j profile: o
浏览 0提问于2016-02-21得票数 12
import SparkConf, SparkContext
.set("spark.driver.maxResultSize", "80g").set("spark.executor.memory", "5g").set("sp
浏览 0提问于2018-09-10得票数 0
hive.exec.reducers.max=<number> set mapreduce.job.reducesspark.home=/usr/local/src/spark;hduser@ubuntu:/usr/lib/hive/conf$ cat .hiverc
SETh
浏览 0提问于2015-09-21得票数 13
我已经在使用Spark 1.6.1，现在正在评估Spark 2.0预览版，但是我找不到org.apache.spark.sql.Row。这是必需的，因为我正在将我的DataFrame代码从1.6.1迁移到2.0-预览版。我是不是漏掉了什么？下面粘贴了我的maven依赖项 <groupId>org.apache.spark</groupId>
<artifactId><e
浏览 23提问于2016-05-25得票数 2
从官方的DOC我们可以看到：
.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
.set<
浏览 3提问于2017-07-26得票数 0
回答已采纳
2回答
我使用连接到EMR集群的EMR笔记本。内核是火花，语言是Scala。我需要一些位于S3桶里的罐子。我怎么加罐子？
浏览 2提问于2019-08-13得票数 6
回答已采纳
我想出了下面的错误，错误'Module not Found org.apache.phoenix.spark‘失败了，但是这个模块肯定是Jar的一部分。.appName("ECLoad") .config("spark.sql.warehouse.dir", warehouseLocation)
spar
浏览 0提问于2019-07-29得票数 1
有没有办法从Spark shell运行一个示例(SparkPi)？或者通过shell向Mesos集群提交Spark作业？spark-submit目前不支持部署到Mesos，但我希望实现类似的功能，将驱动程序也放到executor中。
浏览 2提问于2014-12-04得票数 3
为了在使用scala和spark时从RDBMS数据库(postgres)检索数据，我编写了以下代码： class GpMeta(spark:SparkSession, source_system_nameSystem.exit(1) def getControlTableData(): Unit = { idf = spark.read.format("jdbc").option
浏览 19提问于2020-04-09得票数 0
2回答
我尝试使用这样的火花从/将Parquet文件读/写到：import org.apache.spark.SparkConfimport org.apache.spark.sql.SaveMode s"<
浏览 28提问于2020-11-28得票数 0
/bin/spark-submit --jars ./ikoda/extrajars/ikoda_assembled_ml_nlp.jar,.conf = new SparkConf().setMaster("local[4]").setAppName("MLPCURLModelGenerationDataStream")
conf.set("spark.streaming.stopGracefullyOnShu
浏览 0提问于2018-07-12得票数 0
回答已采纳
1回答
我们的应用程序的hadoop集群安装了Spark1.5。但是由于特定的需求，我们使用2.0.2版本开发了spark job。当我向yarn提交作业时，我使用--jars命令覆盖集群中的spark库。java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
at org.apache.spark.sql.SparkSession$Bui
浏览 3提问于2016-12-16得票数 2
有没有什么配置属性，我们可以在spark 1.6中通过spark-shell显式地设置它来禁用/启用配置单元支持。
浏览 3提问于2017-07-20得票数 6
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号