日常问题——flume连接hive时报错Caused by: java.lang.NoSuchMethodError

栗筝i

发布于 2022-12-01 08:50:14

5170

发布于 2022-12-01 08:50:14

文章被收录于专栏：迁移内容

问题描述：

今天新安装的flume，使用flume来做kafka与hive对接时出现了以下两个的错误：

Caused by: org.apache.hive.hcatalog.streaming.ConnectionError: HiveEndPoint{metaStoreUri='thrift://localhost:9083', database='db', table='student', partitionVals=}
(HiveWriter.java:99)
	at org.apache.flume.sink.hive.HiveSink.getOrCreateWriter(HiveSink.java:346)
	at org.apache.flume.sink.hive.HiveSink.drainOneBatch(HiveSink.java:297)
	at org.apache.flume.sink.hive.HiveSink.process(HiveSink.java:254)
	at org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:67)

Caused by: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
	at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
	at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)
	at org.apache.hadoop.mapred.JobConf.setJar(JobConf.java:536)
	at org.apache.hadoop.mapred.JobConf.setJarByClass(JobConf.java:554)
	at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:448)
	at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5141)

本着问题要一个一个顺序解决的态度，对Caused by: org.apache.hive.hcatalog.streaming.ConnectionError: HiveEndPoint{metaStoreUri=‘thrift://localhost:9083’, database=‘db’, table=‘student’, partitionVals=}问题进行搜索，但是大多数百度的内容都是表要分桶，开启事务，格式是：org ，因为他们的问题也与我的不全一样。

解决方案（过程）：

第一个问题解决无果后，我联想会不会是第二个问题导致的第一个发生错误，是他的前置条件，于是查看第二个报错的问题

Caused by: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

哈哈，发现是hive/lib下与flume/lib下的guava的jar包的版本不一致导致的，这个问题在安装运行hive时与hadoop下的guava版本不一致时就遇到过，就很可惜，用了很长的一块时间。

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2020-06-29，如有侵权请联系 cloudcommunity@tencent.com 删除

hive

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

hive

登录后参与评论

0 条评论

热度