首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >spark sql报错了,本地没报错??

spark sql报错了,本地没报错??

提问于 2020-03-09 05:55:44
回答 0关注 0查看 690

spark sql报错了,本地没报错

== SQL == struct<"incident_level:string,incident_time:string,device_name:string,device_ip:string,device_id:string,device_type:string,incident_type:string,incident_sub_type:string,incident_content:string> -------^^^

at org.apache.spark.sql.catalyst.parser.ParseException.withCommand(ParseDriver.scala:241) at org.apache.spark.sql.catalyst.parser.AbstractSqlParser.parse(ParseDriver.scala:117) at org.apache.spark.sql.catalyst.parser.AbstractSqlParser.parseDataType(ParseDriver.scala:39) at org.apache.spark.sql.hive.orc.OrcFileOperator$$anonfun$readSchema$1.applyOrElse(OrcFileOperator.scala:104) at org.apache.spark.sql.hive.orc.OrcFileOperator$$anonfun$readSchema$1.applyOrElse(OrcFileOperator.scala:99) at scala.collection.TraversableOnce$class.collectFirst(TraversableOnce.scala:145) at scala.collection.AbstractIterator.collectFirst(Iterator.scala:1334) at org.apache.spark.sql.hive.orc.OrcFileOperator$.readSchema(OrcFileOperator.scala:99) at org.apache.spark.sql.hive.orc.OrcFileFormat$$anonfun$buildReader$2.apply(OrcFileFormat.scala:160) at org.apache.spark.sql.hive.orc.OrcFileFormat$$anonfun$buildReader$2.apply(OrcFileFormat.scala:151) at org.apache.spark.sql.execution.datasources.FileFormat$$anon$1.apply(FileFormat.scala:148) at org.apache.spark.sql.execution.datasources.FileFormat$$anon$1.apply(FileFormat.scala:132) at org.apache.spark.sql.execution.datasources.FileScanRDD$$anon$1.org$apache$spark$sql$execution$datasources$FileScanRDD$$anon$$readCurrentFile(FileScanRDD.scala:126) at org.apache.spark.sql.execution.datasources.FileScanRDD$$anon$1.nextIterator(FileScanRDD.scala:179) at org.apache.spark.sql.execution.datasources.FileScanRDD$$anon$1.hasNext(FileScanRDD.scala:103) at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIteratorForCodegenStage1.agg_doAggregateWithoutKey_0$(Unknown Source) at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIteratorForCodegenStage1.processNext(Unknown Source) at org.apache.spark.sql.execution.BufferedRowIterator.hasNext(BufferedRowIterator.java:43) at org.apache.spark.sql.execution.WholeStageCodegenExec$$anonfun$11$$anon$1.hasNext(WholeStageCodegenExec.scala:624) at scala.collection.Iterator$$anon$11.hasNext(Iterator.scala:409) at org.apache.spark.shuffle.sort.BypassMergeSortShuffleWriter.write(BypassMergeSortShuffleWriter.java:125) at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:99) at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:55) at org.apache.spark.scheduler.Task.run(Task.scala:121) at org.apache.spark.executor.Executor$TaskRunner$$anonfun$11.apply(Executor.scala:407) at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1408) at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:413) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)

Driver stacktrace: at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1890) at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1878) at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1877) at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59) at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:48) at org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:1877) at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:929) at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:929) at scala.Option.foreach(Option.scala:257) at org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:929) at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.doOnReceive(DAGScheduler.scala:2111) at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:2060) at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:2049) at org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:49) at org.apache.spark.scheduler.DAGScheduler.runJob(DAGScheduler.scala:740) at org.apache.spark.SparkContext.runJob(SparkContext.scala:2081) at org.apache.spark.SparkContext.runJob(SparkContext.scala:2102) at org.apache.spark.SparkContext.runJob(SparkContext.scala:2121) at org.apache.spark.SparkContext.runJob(SparkContext.scala:2146) at org.apache.spark.rdd.RDD$$anonfun$collect$1.apply(RDD.scala:945) at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151) at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112) at org.apache.spark.rdd.RDD.withScope(RDD.scala:363) at org.apache.spark.rdd.RDD.collect(RDD.scala:944) at security.view.model.SevenTrendSparkSql$.main(SevenTrendSparkSql.scala:94) at security.view.model.SevenTrendSparkSql.main(SevenTrendSparkSql.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52) at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:851) at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:167) at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:195) at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86) at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:926) at org.apache.spark.deploy.SparkSub

回答

成为首答用户。去 写回答
相关文章
IDEA 本地运行 Spark Demo 报错
运行spark demo时出现java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)。 这个问题可以说是新手必须会遇到的问题了,主要原因是环境中的 Scala 版本和 Spark 的 Scala 版本不一致所导致的。 很多文章也提到了,把 pom.xml 文件改一下,到 Project 信息里查看 Scala 的版本等等。 不过有时候这个也不能完全解决的,因为 IDEA 会 Cache 一些配置文件的信息,有时候即使你改了,还是会报一样的错。 也不是不能排查,大概可以看看运行的 Console 里,会打印出完成的 ClassPath,去里面看看到底引入了哪个版本的 Scala 即可。有时候你甚至会发现 Project Setting 已经改好 Scala 的版本了,但是 Path 里还会有不应该存在的 Jar 包。
runzhliu
2020/08/06
9710
IDEA 本地运行 Spark Demo 报错
docker login 报错了...
简单记录一下 docker login 时候有问题了,以下是我 Docker Engine 的 version 信息。
runzhliu
2020/08/06
5.1K1
Spark SQL报错:org.apache.spark.sql.catalyst.errors.package$TreeNodeException 排查记录
在EMR集群上按小时跑的spark sql 任务有时会失败,在driver端的日志中可以看到报错: org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree
王旭平
2022/12/08
3.2K0
spark集群模式下textFile读取file本地文件报错解决
如果在spark-shell中使用textFile(“file://path”)演示,在local模式下是没有问题的,因为毕竟就是在本机运行,读取本地的文件。但是如果spark-shell --master指定spark集群的话,这样运行就会有问题,会报找不到文件的错误。
十里桃花舞丶
2019/02/20
1.9K0
hive on spark 报错
1.自从spark2.0.0发布没有assembly的包了,在jars里面,是很多小jar包
Dlimeng
2023/06/28
3200
hive on spark 报错
Spark SQL
官方地址 http://spark.apache.org/sql/ Spark SQL是Spark用来处理结构化数据的一个模块,它提供了2个编程抽象:DataFrame和DataSet,并且作为分布式SQL查询引擎的作用。
羊羽shine
2019/08/22
7700
http请求报400报错
400 是 HTTP 的状态码,主要有两种形式: 1、bad request 意思是 “错误的请求”; 2、invalid hostname 意思是 “不存在的域名”。 在ajax请求后台数据时有时会报 HTTP 400 错误 – 请求无效 (Bad request);出现这个请求无效报错说明请求没有进入到后台服务里
全栈程序员站长
2022/07/01
2K0
Spark入门- Spark运行Local本地模式
Spark-shell 是 Spark 给我们提供的交互式命令窗口(类似于 Scala 的 REPL)
栗筝i
2022/12/01
1.6K0
Spark入门- Spark运行Local本地模式
Spark系列 - (3) Spark SQL
Hive:Hadoop刚开始出来的时候,使用的是hadoop自带的分布式计算系统 MapReduce,但是MapReduce的使用难度较大,所以就开发了Hive。Hive的出现解决了MapReduce的使用难度较大的问题,Hive的运行原理是将HQL语句经过语法解析、逻辑计划、物理计划转化成MapReduce程序执行。
码老思
2023/10/19
5780
Spark系列 - (3) Spark SQL
spark学习笔记:spark sql
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
MachineLP
2019/09/19
7580
Flink SQL vs Spark SQL
Spark已经在大数据分析领域确立了事实得霸主地位,而Flink则得到了阿里系的亲赖前途一片光明。我们今天会SparkSQL和FlinkSQL的执行流程进行一个梳理。并提供2个简单的例子,以供参考。
麒思妙想
2020/07/10
4K0
Flink SQL vs Spark SQL
Spark SQL JOIN
本文主要介绍 Spark SQL 的多表连接,需要预先准备测试数据。分别创建员工和部门的 Datafame,并注册为临时视图,代码如下:
每天进步一点点
2022/07/27
8290
Spark SQL JOIN
Spark学习之Spark SQL(8)
本文介绍了Spark SQL的功能和其与Spark DataFrame的交互,包括读取结构化数据、支持SQL查询、支持自定义函数等。同时,还提供了几个基本的查询示例和用户自定义函数的示例。
王小雷
2018/01/02
1.2K0
Spark Sql系统入门4:spark应用程序中使用spark sql
问题导读 1.你认为如何初始化spark sql? 2.不同的语言,实现方式都是什么? 3.spark sql语句如何实现在应用程序中使用? 为了使用spark sql,我们构建HiveContext (或则SQLContext 那些想要的精简版)基于我们的SparkContext.这个context 提供额外的函数为查询和整合spark sql数据。使用HiveContext,我们构建SchemaRDDs.这代表我们机构化数据,和操作他们使用sql或则正常的rdd操作如map(). 初始化
用户1410343
2018/03/26
1.5K0
最详细的maven配置——报错了你打我[通俗易懂]
maven说的简短一点就是一个大型的jar包管理工具,类似于工具人。 只要有了maven,就不用去幸幸苦苦的找jar包了。wc,爽哉。 好了,还是不多bb,我么还是直接干正事。
全栈程序员站长
2022/09/01
7170
Elasticsearch 断路器报错了,怎么办?
这是系列文章的第三篇,主要探讨:Elasticsearch 断路器报错了,怎么办?
铭毅天下
2022/04/06
1.8K0
Elasticsearch 断路器报错了,怎么办?
SQL报错注入
extractvalue函数 函数原型:extractvalue(xml_document,Xpath_string) 正常语法:extractvalue(xml_document,Xpath_string); 第一个参数:xml_document是string格式,为xml文档对象的名称 第二个参数:Xpath_string是xpath格式的字符串 作用:从目标xml中返回包含所查询值的字符串
sugarbeet
2022/09/26
4050
spark报错OutOfMemory「建议收藏」
3.map也可以换成 mapPartitions 并且适当调整分区数 200 400
全栈程序员站长
2022/07/31
4950
生产集群spark报错问题
shuffle write的分区数由上一阶段的RDD分区数控制,shuffle read的分区数则是由Spark提供的一些参数控制。
Bob hadoop
2021/03/17
2.7K0
生产集群spark报错问题
spark报错---安装系列八
1.自从spark2.0.0发布没有assembly的包了,在jars里面,是很多小jar包
Dlimeng
2023/06/29
2690
spark报错---安装系列八

相似问题

TIM 报 SDK 报错?

1387

控制台报错了!!!!!!!!?

068

服务器报错了?

1245

发送短信本机开发完成能够正常发送短信,但是放到远程服务器上运行就发送不了,也没报成功也没报错误为啥?

1342

安装jumpserver报错了,求教大神?

0127
相关问答用户
擅长3个领域
腾讯 | 技术专家擅长2个领域
擅长4个领域
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档