5回答
我在我的hortonworks集群上安装了Spark1.6.2和Spark2.0。$ spark-shellSpark1 will be picked by default
当我查看
浏览 4提问于2016-12-14得票数 13
回答已采纳
1回答
在本地模式下运行spark作业时，我的Spark有一个sql选项卡。当在AWS EMR上运行相同的作业时，Spark的SQL作业不再存在？
在亚马逊的EMR版本的Spark中，是否有这样的代码原因呢？
浏览 3提问于2016-03-03得票数 0
回答已采纳
问题： spark on k8s 配置 --conf spark.kubernetes.driver.podTemplateFile 参数不生效，但是指定spark.kubernetes.executor.podTemplateFile生效
k8s版本1.16
--master k8s://https://10.x.x.x:6443 \
浏览 403提问于2021-12-24
我把我的Laravel Spark升级到了版本6，现在我得到了错误...Class App\Http\Controllers\TeamController does not exist$router->get('/'.$pluralTea
浏览 2提问于2018-03-28得票数 0
1回答
现在，我有一个测试数据，其中有一个分区，在该分区中有两个parquet文件val df = spark.read.format("delta").load("./test1510/table@v1")val df = spark.read.format("delta").load("./test1510/table@v0")
然后我得到了612行，现在我的问题是:
浏览 12提问于2020-02-03得票数 2
1回答
我正在尝试使用Databricks Spark包将XML文件读入到一个。但是，当遇到处理指令时，Spark会引发一个错误，声称发生了意外事件。数据集足够大，我们需要某种处理程序，比如Spark。我已经翻阅了spark文档，没有发现任何关于处理指令的内容。").option("rowTag", "row").load("example.xml")spar
浏览 0提问于2019-08-20得票数 0
回答已采纳
无法访问包org.apache.spark.sql中的类型编码器，因为缺少它(或它的依赖项)。检查生成定义中缺少或冲突的依赖项。(使用-Ylog-classpath重新运行以查看有问题的类路径。)如果“SQLImplicits.class”是针对不兼容的org.apache.spark.sql版本编译的，则完全重建可能会有所帮助。SparkScala未知Scala问题。无法访问包org.apache.spark.sql中的Row类型，因为缺少它(或它的依赖项)。检查生成定义中缺少或冲突的依赖项。(使用-Y
浏览 2提问于2017-01-26得票数 1
正在运行的命令： at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan.org$apache$spark$at org.apache.spark.sql.DataFr
浏览 36提问于2021-12-08得票数 0
回答已采纳
1回答
在集群上部署特定的SPARK版本
、、、、
在我当前的项目中，我尝试在集群上部署SPARK的2.2版本，其中2.1版本是可用的。我在SPARK文档中查看了在集群上部署特定依赖项的方法，这导致我使用了以下spark-submit： --conf
浏览 20提问于2020-11-12得票数 1
1回答
我正在尝试使用Spark Java API，但由于Spark，我在Eclipse中遇到了构建路径错误：
Archive for required library: 'C:/Users/IBM_ADMIN/Documents/spark-1.6.2-bin-hadoop2.6/lib/spark-assembly-1.6.2-hadoop2.6.0.jar' in project 'oplservice' cannot be
浏览 2提问于2016-07-02得票数 0
嗨，我是Scala和Intellij的菜鸟，我只是想在Scala上这样做：import org.apache.spark.sql.SQLContext" %% "spark-core" % sparkVersion exclude("jline", "2.12"),
"org.apache.spark" %%/spark</e
浏览 11提问于2017-10-11得票数 2
回答已采纳
2回答
我尝试使用spark，但是我犯了以下错误：
错误:在加载类文件“Package.class”时检测到缺少或无效的依赖项。无法访问包org.apache.spark中的术语注释，因为缺少它(或它的依赖项)。检查生成定义中缺少或冲突的依赖项。(使用-Ylog-classpath重新运行以查看有问题的类路径。)如果“package.class”是针对不兼容的org.apache.spark版本编译的，则完全重建可能会有所帮助。无法访问包org.apache.spark中的术语注释，因为缺少它
浏览 1提问于2017-02-19得票数 1
我是学习sparkSQL的新手，我正在尝试运行spark文档提供的示例，但遇到了如下错误：我该怎么办呢。注意:我正在使用这个想法来编辑我的程序的所有代码：import org.apache.spark.sql..builder() import spark.implicits._
runBasicDataFrameExample(spa
浏览 0提问于2018-06-28得票数 1
1回答
Sql数据集Spark2
、、、
正在尝试在Spark2中运行JavaSparkSQLExample。使用spark-core_2.11-2.0.2和spark-sql_2.11-2.0.2。另外，我们如何构建会话--因为您不能使用：.config("spark.some.config.option", "some-value")运行。SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A m
浏览 1提问于2016-12-08得票数 1
2回答
我试图在IntelliJ IDE中配置ScalaWelcome to Scala 2.12.5 (Java HotSpot(TM) 64-Bit Server/maven2"
val sparkVersion = "2.2.1"
Seq( "org.apache.spark" %% "spark-core_2.12;2.2.1: n
浏览 1提问于2018-03-22得票数 2
回答已采纳
详细信息:在我的本地机器和Spark Node上使用Scala 1.4.1 (使用maven依赖项添加到项目中)和JVM 1.7在我的本地计算机和Spark Node上使用Scala版本-2.10.4尝试连接到其他集群中的def main(args:Array[String]){ val objConf = new SparkConf().setAppName("SparkConnection").setMaster(&quo
浏览 1提问于2015-12-29得票数 1
2回答
试着用Insert进入case语句，但是我们不能从spark中更新单元ORC表吗？如果是的话，程序是什么？进口以下import org.apache.spark.SparkConfimportorg.apache.spark.sql._import org.apache.<e
浏览 0提问于2015-12-30得票数 5
回答已采纳
当我试图对Hive使用Spark-Sql时，抛出了类似下面的错误。$.formatTimeVarsForHiveClient(HiveUtils.scala:204) at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.main(SparkSQLCLIDri
浏览 0提问于2019-07-31得票数 2
我尝试在databricks中运行以下代码，以便调用spark会话并使用它打开csv文件：fireServiceCallsDF = spark.read.csv('/mnt/sf_open_datafire_dept_calls_for_service/Fire_Department_Calls_for_Service.csv', header=True, inferSchema=True)NameError:name 'spark</e
浏览 2提问于2016-11-23得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
