我正在做一个sparkstreaming项目，将数据从kafka转移到另一个kafka集群，并将其写入kafka。我从Spark Streaming - read and write on Kafka topic那里学到了wrrap，并将其发送给所有的执行者。下面是我的生产者-包装器代码： import org.apache.kafka.clients.producer.val createFunc= () => new KafkaProduce
浏览 10提问于2019-12-15得票数 0
我在最新的文档页面中阅读了Spark Streaming kafka集成指南，它是基于Kafka 010版本的。我对这个文档感到困惑。group.id和Spark Streaming Direct Stream的关系是什么？
浏览 0提问于2016-10-13得票数 1
我正在尝试添加一些导入，但是当我添加import org.apache.spark.streaming.kafka.kafkautils时，它显示了以下错误
对象卡夫卡不是对象org.apache.spark.streaming.kafka.kafkautils的成员。使用scala ide 4.7版本2.11.11、spark 2.3.0-bin-hadoop2.7 jar文件、kafka 2.11罐、火花流-10_2.11-2.3
浏览 0提问于2018-03-29得票数 3
回答已采纳
我正在学习apache spark与kafka的集成，这样当新消息到达Kafka的主题时，我的代码就可以自动运行。我也读过官方文档 https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html 但我仍然对它的工作原理感到困惑我有我的字
浏览 15提问于2019-12-10得票数 1
我有一个每秒产生60,000条消息的应用程序。我向Kafka发送消息，我希望在其他应用程序中通过spark streaming接收这些消息，但Spark接收的消息速率约为40,000。我想增加Spark每个间隔接收的消息数，我该怎么做呢？
浏览 0提问于2017-03-11得票数 1
我的kafka集群版本是0.10.0.0，我想使用pyspark流来读取kafka数据。但是在Spark Streaming + Kafka集成指南中，没有python代码示例。那么pyspark可以使用spark-streaming kafka -0-10来集成kafka吗？
提前感谢您的帮助！
浏览 11提问于2017-08-05得票数 0
2回答
我在我的kafka主题中有一个流数据。我需要使用pyspark以pyspark dataframe的形式从topic中读取这些数据。但是当我调用readStream函数时，我不断地收到错误。我的代码如下：
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-streaming-kafka-0-8_2
浏览 15提问于2018-01-12得票数 2
如果我使用Spark 1.6.2，Scala2.10和spark-streaming-kafka_2.10，我能从Scala代码中消费来自Kafka 0.10.1.0的消息吗？* <groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafk
浏览 5提问于2017-01-02得票数 1
回答已采纳
2回答
我想利用霍顿作品中卡夫卡主题的火花来流数据。我已经启动了动物园管理员和卡夫卡服务器。然后，我在Eclipse中成功地构建了一个具有所有流依赖项的maven项目。下面是pom文件。<?-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka -->
<dep
浏览 0提问于2018-05-03得票数 4
回答已采纳
1回答
这是我的密码：import org.apache.spark.streaming._import org.apache.spark.streaming</e
浏览 1提问于2019-01-14得票数 0
回答已采纳
3回答
这就是我到现在为止所做的：
我试着运行.--packages org.apache.spark:spark-streaming-kafka:1.6.0
浏览 6提问于2016-01-18得票数 11
我正在尝试通过pyspark订阅一个Kafka主题，代码如下：
lines = spark.readStream.format("kafka").option("kafka.bootstrap.servers",
浏览 0提问于2020-02-07得票数 0
是否可以限制Kafka消费者返回Spark Streaming的批量大小？
我之所以问这个问题，是因为我得到的第一批记录有上亿条记录，需要很长时间才能处理和设置检查点。
浏览 0提问于2016-10-11得票数 18
回答已采纳
如何使用直播流API指定kafka spark流的消费组id。使用spark1.3
kafkaParams.put("group.id", "app1");
浏览 0提问于2016-04-09得票数 7
回答已采纳
我正在试验星火卡夫卡的整合。我想测试eclipse中的代码。:52)
at org.apache.spark.streaming.kafka.KafkaCluster$$anonfun$org$apache$spark$streaming$kafka$KafkaCluster$apache$spark$streaming$kafka$KafkaCluster$$withBr
浏览 3提问于2015-08-25得票数 1
我基本上是想使用Kafka中的数据，并将其写入HDFS。但是发生的情况是，它没有在hdfs中写入任何文件。它会创建空文件。import org.apache.spark.streaming.Seconds
import org.apache.spark.strea
浏览 4提问于2017-10-08得票数 0
我使用的是kafka2.11-0.11.0.1、Scala2.11和Spark2.2.0。我在eclipse的java构建路径中添加了以下jars：kafka-tools-0.11.0.1,spark-streaming-kafka_2.11-1.6.3,
浏览 3提问于2017-11-06得票数 0
我在尝试运行字数统计示例时遇到以下错误。 Traceback (most recent call last):
浏览 9提问于2016-08-29得票数 3
我写了一个火花流应用程序，它读取卡夫卡的数据。我已经用spark1.6.0和kafka0.8.2.2构建了jar。我在应用程序jar中打包了kafka类，甚至在运行时，kafka/api/TopicMetadataRequest也从应用程序jar加载。-----------EDIT------------ libraryDependencies ++= Seq(
"org.apache.<
浏览 0提问于2017-07-20得票数 1
我正在一个AWS EMR集群上运行它，它的版本为SparkVersion2.0.2。下面的依赖项被添加到星火提交中。spark-sql-kafka-0-10_2.11-2.0.2.jar
kafka-clients当我删除spark-streaming-kafka-0-8-assembly_2
浏览 2提问于2017-06-06得票数 0
回答已采纳
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
