Loading [MathJax]/jax/input/TeX/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >org.apache.spark.sql.AnalysisException: Table or view not found: `traintext`.`train`; line 1 pos 14;

org.apache.spark.sql.AnalysisException: Table or view not found: `traintext`.`train`; line 1 pos 14;

作者头像
用户1171305
发布于 2017-12-28 03:53:30
发布于 2017-12-28 03:53:30
6K00
代码可运行
举报
文章被收录于专栏:成长道路成长道路
运行总次数:0
代码可运行

恭喜老铁,跟我遇到了一样的问题,接下来是解决方法:

遇到的问题:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
org.apache.spark.sql.AnalysisException: Table or view not found: `traintext`.`train`; line 1 pos 14;
'Project [*]
+- 'UnresolvedRelation `traintext`.`train`

	at org.apache.spark.sql.catalyst.analysis.package$AnalysisErrorAt.failAnalysis(package.scala:42)
	at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1.apply(CheckAnalysis.scala:71)
	at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1.apply(CheckAnalysis.scala:67)
	at org.apache.spark.sql.catalyst.trees.TreeNode.foreachUp(TreeNode.scala:128)
	at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$foreachUp$1.apply(TreeNode.scala:127)
	at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$foreachUp$1.apply(TreeNode.scala:127)
	at scala.collection.immutable.List.foreach(List.scala:381)
	at org.apache.spark.sql.catalyst.trees.TreeNode.foreachUp(TreeNode.scala:127)
	at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$class.checkAnalysis(CheckAnalysis.scala:67)
	at org.apache.spark.sql.catalyst.analysis.Analyzer.checkAnalysis(Analyzer.scala:57)
	at org.apache.spark.sql.execution.QueryExecution.assertAnalyzed(QueryExecution.scala:48)
	at org.apache.spark.sql.Dataset$.ofRows(Dataset.scala:63)
	at org.apache.spark.sql.SparkSession.sql(SparkSession.scala:592)
	at com.iflytek.test.ReadData$.main(ReadData.scala:24)
	at com.iflytek.test.ReadData.main(ReadData.scala)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:738)
	at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
	at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
	at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
	at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
	at org.apache.oozie.action.hadoop.SparkMain.runSpark(SparkMain.java:372)
	at org.apache.oozie.action.hadoop.SparkMain.run(SparkMain.java:282)
	at org.apache.oozie.action.hadoop.LauncherMain.run(LauncherMain.java:64)
	at org.apache.oozie.action.hadoop.SparkMain.main(SparkMain.java:82)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.oozie.action.hadoop.LauncherMapper.map(LauncherMapper.java:234)
	at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
	at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:459)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1920)
	at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
log4j:WARN No appenders could be found for logger (org.apache.spark.SparkContext).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

解决方案:

1.首先检查自己的代码问题,看看是否是代码的问题

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
object ReadData {
  def main(args: Array[String]): Unit = {
    
    val database=args.apply(0)
    
    val table=args.apply(1)
    
    val spark = SparkSession
                .builder()
                .appName("spark sql exmaple")
                .config("spark.sql.warehouse.dir", "/user/hive/warehouse")
                .enableHiveSupport()
                .getOrCreate()
    
    val sql="select * from "+database+"."+table
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
    val data=spark.sql(sql)
    
    data.show();
    
  }
}
代码语言:javascript
代码运行次数:0
运行
复制
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
2.看看自己的项目中是否配置hive-site.xml(重点,我自己就是这个错误)
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
那么去哪找呢?
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
去集群服务器上:find -name hive-site.xml
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
找到之后拷贝到项目的资源文件下面就可以了,打包的时候在项目的根目录下,会自动加载jar根目录下的hive-site.xml
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
为什么要添加:spark要查找hive中的数据,需要这个配置文件,里面是hive的一些信息。
代码语言:javascript
代码运行次数:0
运行
复制
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017-09-20 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
如何使用Hue创建Spark1和Spark2的Oozie工作流
使用Hue可以方便的通过界面制定Oozie的工作流,支持Hive、Pig、Spark、Java、Sqoop、MapReduce、Shell等等。Spark?那能不能支持Spark2的呢,接下来本文章就主要讲述如何使用Hue创建Spark1和Spark2的Oozie工作流。
Fayson
2018/03/29
5.1K1
如何使用Hue创建Spark1和Spark2的Oozie工作流
执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client
1、执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client,错误如下所示: 18/04/22 09:28:22 ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch applic
别先生
2018/05/16
1.8K0
org.apache.spark.streaming.dstream.MappedDStream@5a69b104 has not been initialized现象原因及方案
现象 执行Spark Streaming Application时报错 15/07/09 11:26:55 INFO scheduler.JobGenerator: Stopping JobGenerator immediately 15/07/09 11:26:55 INFO util.RecurringTimer: Stopped timer for JobGenerator after time -1 15/07/09 11:26:55 INFO streaming.CheckpointWriter:
codingforfun
2018/08/24
1.6K0
spark-shell --master yarn-client(异常已经解决)
可能是spark-shell --master yarn-client过时了,但是换成spark-shell --master yarn --deploy-mode client,依然报错。
程裕强
2022/05/06
1.4K0
spark-shell --master yarn-client(异常已经解决)
error: not found: value sqlContext/import sqlContext.implicits._/error: not found: value sqlContext
1、今天启动启动spark的spark-shell命令的时候报下面的错误,百度了很多,也没解决问题,最后想着是不是没有启动hadoop集群的问题
别先生
2018/07/31
1.7K0
spark sql读取hudi表数据
这篇文章接上一篇spark submit读写hudi,上一篇spark submit写入hudi的数据这里打算通过spark sql来进行查询
yiduwangkai
2022/03/24
2K3
spark sql读取hudi表数据
java.net.ConnectException: Call From slaver1/192.168.19.128 to slaver1:8020 failed on connection exc
1:练习spark的时候,操作大概如我读取hdfs上面的文件,然后spark懒加载以后,我读取详细信息出现如下所示的错误,错误虽然不大,我感觉有必要记录一下,因为错误的起因是对命令的不熟悉造成的,错误如下所示: 1 scala> text.collect 2 java.net.ConnectException: Call From slaver1/192.168.19.128 to slaver1:8020 failed on connection exception: java.net.Conne
别先生
2018/04/02
2.5K0
spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
最后无奈。。就用原来的方法 创建软连接,加载数据,发现可以。。这我就不明白了。。。
用户3003813
2018/09/06
6690
spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
Spark提交Jar任务警告: Initial job has not accepted any resources;
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
时间静止不是简史
2020/07/27
4.6K0
Spark提交Jar任务警告: Initial job has not accepted any resources;
Spark Streaming Failed to read checkpoint from directory ...现象解决方案及原因
使用spark-submit提交一个Spark Streaming Application至yarn集群, 报错
codingforfun
2018/08/24
6600
exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.
1、虽然,不是大错,还说要贴一下,由于我运行run-example streaming.NetworkWordCount localhost 9999的测试案例,出现的错误,第一感觉就是Spark没有启动导致的: 1 18/04/23 03:21:58 ERROR SparkContext: Error initializing SparkContext. 2 java.net.ConnectException: Call From slaver1/192.168.19.131 to slaver1
别先生
2018/05/16
2.7K0
spark 从HIVE读数据导入hbase中发生空指针(java.lang.NullPointerException)问题的解决
陆续好多人会问,在写入Hbase的时候总是会出现空指针的问题,而检查程序,看起来一点也没有错。 如报的错误大致如下: Error: application failed with exception java.lang.RuntimeException: java.lang.NullPointerException     at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java
sparkexpert
2018/01/09
2.9K0
Yarn上运行spark-1.6.0
本文约定Hadoop 2.7.1安装在/data/hadoop/current,而Spark 1.6.0被安装在/data/hadoop/spark,其中/data/hadoop/spark为指向/data/hadoop/spark。
一见
2018/08/06
8730
Spark2.x学习笔记:5、Spark On YARN模式
程裕强
2018/01/02
3.7K1
Spark2.x学习笔记:5、Spark On YARN模式
Spark入门,概述,部署,以及学习(Spark是一种快速、通用、可扩展的大数据分析引擎)
1:Spark的官方网址:http://spark.apache.org/ 1:Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目,Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量廉价硬件之上,形成集群。 2:Spark是MapReduce的替代方案,而且兼容HDFS、Hive,可融入Hado
别先生
2018/04/02
2.1K0
Spark入门,概述,部署,以及学习(Spark是一种快速、通用、可扩展的大数据分析引擎)
Hive V1.2.1源码的解译
在利用spark sql on hive的过程中,访问Mysql总是报错,其报错的日志总是显示:
sparkexpert
2022/05/07
2820
推荐系统那点事 —— 基于Spark MLlib的特征选择
在机器学习中,一般都会按照下面几个步骤:特征提取、数据预处理、特征选择、模型训练、检验优化。那么特征的选择就很关键了,一般模型最后效果的好坏往往都是跟特征的选择有关系的,因为模型本身的参数并没有太多优化的点,反而特征这边有时候多加一个或者少加一个,最终的结果都会差别很大。 在SparkMLlib中为我们提供了几种特征选择的方法,分别是VectorSlicer、RFormula和ChiSqSelector。 下面就介绍下这三个方法的使用,强烈推荐有时间的把参考的文献都阅读下,会有所收获! VectorS
用户1154259
2018/01/17
1.4K0
Hive多分隔符支持示例
如何将上述事例数据加载到Hive表(multi_delimiter_test)中,表结构如下:
Fayson
2018/03/29
3.6K0
Hive多分隔符支持示例
Spark踩坑——java.lang.AbstractMethodError
百度了一下说是版本不一致导致的。于是重新检查各个jar包,发现spark-sql-kafka的版本是2.2,而spark的版本是2.3,修改spark-sql-kafka的版本后,顺利执行。
用户1154259
2018/07/31
1.7K0
解决spark sql读取hudi表出现偶然读不出来数据问题
用beeline连接spark thriftserver或者kyuubi(spark 3.3.0)查询hudi mor表,发现对于同一个spark SQL在同一个beeline session里面不同时间查到的东西都是一样的。比如我用select count(*) from xxx。除此之外还有个问题就是,在同一个beeline session里面再过一段时间后,由于有些文件被合并了,再查会报以前的log文件找不到的问题。
从大数据到人工智能
2022/11/02
1.2K0
解决spark sql读取hudi表出现偶然读不出来数据问题
推荐阅读
相关推荐
如何使用Hue创建Spark1和Spark2的Oozie工作流
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档