腾讯云

开发者社区

文档建议反馈控制台

首页

文章/答案/技术大牛

发布

社区首页 >问答首页 >星火卡夫卡0.10 org.apache.kafka.clients.consumer.KafkaConsumer.assign NoSuchMethodError

问星火卡夫卡0.10 org.apache.kafka.clients.consumer.KafkaConsumer.assign NoSuchMethodError
EN

Stack Overflow用户

提问于 2017-03-26 14:55:33

回答 2查看 2.8K关注 0票数 3

当我尝试使用卡夫卡集成进行结构化流时，我遇到了一个NoSuchMethodError。当有第一个可用记录时，堆栈跟踪如下所示:由:java.lang.NoSuchMethodError引起：

org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/Collection;)V
        at org.apache.spark.sql.kafka010.CachedKafkaConsumer.createConsumer(CachedKafkaConsumer.scala:56)
        at org.apache.spark.sql.kafka010.CachedKafkaConsumer.<init>(CachedKafkaConsumer.scala:45)
        at org.apache.spark.sql.kafka010.CachedKafkaConsumer$.getOrCreate(CachedKafkaConsumer.scala:349)
        at org.apache.spark.sql.kafka010.KafkaSourceRDD$$anon$1.<init>(KafkaSourceRDD.scala:137)
        at org.apache.spark.sql.kafka010.KafkaSourceRDD.compute(KafkaSourceRDD.scala:136)
        at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)
...

我的sbt具有以下依赖关系：

libraryDependencies ++= Seq(
    scalaTest % Test,
    "org.apache.spark" %% "spark-core" % "2.1.0" % "provided",
    "org.apache.spark" %% "spark-sql" % "2.1.0" % "provided",
    "org.apache.spark" %% "spark-sql-kafka-0-10" % "2.1.0" % "provided",
    "org.apache.hadoop" % "hadoop-client" % "2.6.0" % "provided"
)

Scala版本为2.11.8。

我能够运行火花应用程序的数据。只是卡夫卡的整合给了我这个错误。结构化流代码只是文档这里中的示例

  val ds1 = spark
  .readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "data01:9092,data02:9092,data03:9092")
  .option("subscribe", "cluster-topic-01")
  .load()
  val ds2 = ds1.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
  val query = ds2.writeStream
        .format("console")
        .start()
  query.awaitTermination()

有什么建议让我看看这个问题吗？提亚

apache-spark

腾讯云BI 新春特惠

首年仅需9.9元，续费同价

回答 2

Stack Overflow用户

回答已采纳

发布于 2017-03-26 15:54:46

我的猜测是，在运行时类路径中的某个位置有一个游离的Kafka客户机正在加载，而不是一个spark-sql-kafka-0-10依赖的。

票数 2

Stack Overflow用户

发布于 2018-06-27 05:31:18

在现代CDH分布(例如Cloudera 5.12)中，有一种更简单的方法。

在Cloudera的UI中，转到Spark2选项卡，然后转到"configuration“。
通过"kafka“关键字搜索必要的配置。您应该发现spark_kafka_version配置设置为'0.9‘或'None’。
设置"0.10“值并部署客户端配置。
如有必要，请重新启动Spark2服务。

如果上面的方法不起作用(Cloudera中没有'0.10‘值或没有这样的配置)，您可以手动编辑配置：

在任何编辑器中打开文件/etc/spark2/conf.cloudera.spark2_on_yarn/spark-env.sh。
以这样的方式编辑2信任(SPARK_KAFKA_VERSION和SPARK_DIST_CLASSPATH)：SPARK_KAFKA_VERSION=${SPARK_KAFKA_VERSION:-'0.10'} SPARK_DIST_CLASSPATH="$SPARK_HOME/kafka-0.10/*"
在每个纱线节点和客户端节点上执行步骤1-2 .