我有以下简单的spark streaming进程，它使用组id为feature1的卡夫卡主题test中的消息并打印结果。但是，当我运行bin/kafka-consumer-groups.sh --bootstrap-server zookeeper-1:9092 --list列出所有组时，没有feature1或任何包含feature1我的spark版本是2.1.2，kafka版本是2.12-2.0.0，zo
浏览 9提问于2018-08-20得票数 0
如何使用直播流API指定kafka spark流的消费组id。使用spark1.3
kafkaParams.put("group.id", "app1");
浏览 0提问于2016-04-09得票数 7
回答已采纳
1回答
当我试图在文件夹: /usr/local/spark/examples/src/main/python/streaming下运行火花蒸："kafka_wordcount.py“的示例代码时“$ bin/spark-submit --jars \ external/kafka-assembly
浏览 2提问于2016-01-30得票数 3
回答已采纳
我正在尝试使用Spark Structured Streaming将聚合数据写入Kafka。.format("kafka") .option("topic", "(StreamingQueryManager.scala:204)
at org.apache.spark</e
浏览 1提问于2018-04-10得票数 1
我的kafka集群版本是0.10.0.0，我想使用pyspark流来读取kafka数据。但是在Spark Streaming + Kafka集成指南中，没有python代码示例。那么pyspark可以使用spark-streaming kafka -0-10来集成kafka吗？
提前感谢您的帮助！
浏览 11提问于2017-08-05得票数 0
2回答
我正在使用Python 3.5和Spark 2.2流媒体与Kafka，脚本无法运行，因为缺少kafka库。
我不明白为什么这个库丢失了/没有找到，尽管依赖信息来自Spark的网站本身。script.py“，错误显示kafka库是必需的。在下一次运行时，我运行了"spark-submit --packages org.apache.spark:spark-
浏览 22提问于2018-08-27得票数 6
回答已采纳
我在创建一个AbstractMethodError时得到了JavaStreamingContext异常。我的依赖指数如下；找不到线索，谁能建议这里出了什么问题吗？-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10 --> <groupId
浏览 0提问于2019-01-11得票数 1
回答已采纳
1回答
我是spark流媒体的新手。我能够捕获我的kafka事件，并能够存储在hdfs本身中。当我尝试使用spark-submit命令作为我的流jar运行时，我得到了下面的错误。spark-submit --class Test --master yarn --executor-memory 20G --num
浏览 1提问于2016-02-17得票数 1
1回答
我使用kafka_2.11-0.11.0.1和spark 2.2.0。我将jar文件包括为：下面是我的代码：import org.
浏览 0提问于2017-11-03得票数 1
1回答
我在python中使用了Spark2.4.0。并从kafka_2.11-2.0.0 (二进制非源)读取数据。我正在使用星星之交--jars sspark-streaming-kafka-0-8-assembly_2.11-2.4.0.jar script.py，错误消息出现在错误报告中，如果有人能帮忙，谢谢::194)
jar文件的spark-streaming-kafka-0-8-assembly_2.11-2.4
浏览 0提问于2019-03-25得票数 0
回答已采纳
我正在尝试通过pyspark订阅一个Kafka主题，代码如下：并使用以下命令：
spark-submit
浏览 0提问于2020-02-07得票数 0
我有火花流应用程序从Kafka读取消息使用火花直接流(非接收者)方法和处理每个分区的消息。在我的Kafka分区中，有时我们得到处理2000条消息需要20秒的消息，而对于相同的no，有些消息需要7-9秒。信息的传递。spark.streaming.kafk
浏览 2提问于2017-01-20得票数 3
1回答
我试图使用星火流2.0.0和Kafka 0.10。我习惯于我的集成测试，但我在启动服务器时遇到了一些问题。当我尝试使用Spark2.2.0时，它起作用了。<scope>test</scope> <dependency>
<groupId>org.apache.spark</groupId>&l
浏览 2提问于2018-03-20得票数 0
回答已采纳
我正在尝试添加一些导入，但是当我添加import org.apache.spark.streaming.kafka.kafkautils时，它显示了以下错误
对象卡夫卡不是对象org.apache.spark.streaming.kafka.kafkautils的成员。使用scala ide 4.7版本2.11.11、spark 2.3.0-bin-hadoop2.7 jar文件、kafka 2.1
浏览 0提问于2018-03-29得票数 3
回答已采纳
1回答
我正在尝试运行一个Python脚本，该脚本在Spark1.3.1中运行得很好。我已经下载了Spark1.4并尝试运行这个脚本，但是它一直在说
星火流的卡夫卡库在类路径中找不到。从Maven Central 下载工件的JAR，Group = org.apache.spark，artifact =，Version = 1.4.0。_2.10-1.4.0.jar,spark-core_2.10-1.4.0.jar,spark-streaming-k
浏览 2提问于2015-07-08得票数 3
我有一个独立的spark集群，正在从kafka队列中读取数据。kafka队列有5个分区，spark只处理其中一个分区的数据。我使用的是以下内容： <dependencies> <groupId>org.apache.spark</groupId>
<a
浏览 2提问于2017-02-27得票数 3
回答已采纳
我的Spark作业抛出了一个异常，如下所示： at scala.Predef$.assert(Predef.scala:170)
我关闭了auto.commit (enable.auto.commit=false)，使用出现这种错误的原因可能是什么？这个错误是Kafka消费者端<e
浏览 2提问于2018-01-09得票数 0
是否可以限制Kafka消费者返回Spark Streaming的批量大小？
我之所以问这个问题，是因为我得到的第一批记录有上亿条记录，需要很长时间才能处理和设置检查点。
浏览 0提问于2016-10-11得票数 18
回答已采纳
当我添加 <groupId>org.apache.spark</groupId><dependencies> <groupId>org.apache.spark
浏览 45提问于2017-02-21得票数 0
回答已采纳
1回答
我正在使用pyspark在kafka上消费数据，我在我的控制台上输入以下内容以提交：
2., Artifact Id =
浏览 11提问于2018-01-27得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
