在使用构建器模式创建火花会话时，我们通常使用("spark.some.config.option", "config-value")设置配置。我们到底是什么意思，它的意义是什么？例如： .config("spark.some.config.option
浏览 1提问于2019-01-04得票数 0
回答已采纳
1回答
我正在学习Java中的Spark，我注意到要添加一个列，我们可以使用 dataset.withColumn("name", expr(something)) 我想知道expr的语法是什么？
浏览 240提问于2020-09-16得票数 0
回答已采纳
https://spark.apache.org/docs/latest/quick-start.html#self-contained-applications说 # Use spark-submitto run your application --class "SimpleApp" \ target&#x
浏览 72提问于2020-03-20得票数 0
我正在使用spark-sql来运行作业，那么生产命令应该是什么？我可以使用spark-sql作为生产作业命令吗？
谢谢，Virendra
浏览 1提问于2016-06-30得票数 0
1回答
嗨，谁能给我解释一下，Apache的“Spark Standalone”需要HDFS吗？Spark文档指出，处理并行性是通过RDD分区和执行器/核心来控制的。
有谁能帮我理解一下。
浏览 0提问于2016-08-13得票数 0
有时，在运行Spark作业时，我会看到以下错误消息：
13/10/21 21:27:35 INFO cluster.ClusterTaskSetManager: spark.SparkException这是什么意思？我如何诊断和解决这个问题？
浏览 1提问于2014-09-07得票数 6
回答已采纳
2回答
我想检查一下，看看从暴风闪电中调用Spark代码是不是一个好主意。我们在Storm中有一个基于流的系统。因此，根据消息，我们希望这样做ML，我们正在考虑使用Spark来实现。
浏览 0提问于2015-05-01得票数 0
我可以从HortonWorks网站上看到Spark 1.6.2是完全支持的版本，Spark2.0是技术预览版。
技术预览是什么意思？我们可以将其用于开发和生产工作吗？
浏览 3提问于2016-09-19得票数 2
1回答
我有一些scala程序，它使用spark-2.4.6框架。我的代码是用scala-2.12.12编译的。如何检查我的代码(编译成类文件)是否与spark-2.4.6How兼容，我能检查编译器的哪个版本用于构建spark类吗？这里的二进制兼容性是什么意思？是否存在兼容scala编译器的列表？
浏览 2提问于2020-10-14得票数 0
回答已采纳
2回答
使用：
spark.ExecutorAllocationManager: Removing executor 0 because it has been idle for 300 seconds (new desired total will be
浏览 8提问于2017-07-05得票数 7
回答已采纳
我找到了一些在本地启动spark的代码：val ctx = newSparkContext(conf)
[*]是什么意思？
浏览 3提问于2015-09-02得票数 68
各位，
我们有一个要求，就是我们希望对CSV文件进行一个小的转换，并使用spark将其写入到其他HDFS文件夹中。
浏览 3提问于2017-02-09得票数 0
2回答
Spark集群相当于standalone的localN是什么？我的意思是，我们将local的参数值设置为N，哪个参数在集群模式下接受它？
浏览 0提问于2018-09-12得票数 0
在编写/创建Spark表时，在底层存储文件夹中创建的已启动、提交和成功的文件是什么？会有多个这样的文件吗？如果是这样的话，有不止一个是什么意思呢？
谢谢。
浏览 0提问于2021-06-30得票数 5
1回答
我遇到了下面的快递，我知道它是什么意思-部门(“姓名”)。我很想知道，它的目标是什么。请分享您的输入。来自， val people = spark.read.parquet(".val department = spark.read.
浏览 11提问于2020-07-29得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
