我正在开发一个Spark应用程序，它使用Spark和Java侦听Kafka流。Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/
浏览 14提问于2017-06-25得票数 2
回答已采纳
我正在使用Python3.6.8在Ambari上运行Spark版本2.3.0.2.6.5.1175-1。INFO StateStoreCoordinatorRef:在线程"Thread-10“java.lang.NoClassDefFoundError中注册的StateStoreCoordinator端点异常: kafka.common.TopicAndPartition at java。编辑:我使用livy将作业提交到集群。": "org
浏览 34提问于2022-06-15得票数 0
回答已采纳
我想使用PySpark结构流应用编程接口将结构流数据写入Cassandra。我的数据流如下：源代码和版本如下: Spark版本: 2.4.3 DataStax DSE: 6.7.6主题：
浏览 23提问于2019-11-01得票数 2
4回答
我正在做一个在数据流上运行机器学习算法的POC。Spark Streaming -->聚合多个表中的数据-->在数据流上运行MLLib -->产生输出。问题：
火花流和卡夫卡流有什么区别？我如何才能与KStreams +火花流+机器学习结合起来？我的想法是持续训练测试数据，而不是批量训练。
浏览 2提问于2016-12-14得票数 9
1回答
我发现在火花流(Spark2.0)中有两种使用Kafka主题的方法：2)使用kafka: sqlContext.read.format(“json”).stream(“kafka://KAFKA_HOST”)为Spark2.0的新特性创建一个无限DataFr
浏览 2提问于2016-07-25得票数 3
回答已采纳
我正在尝试读取星火流应用程序中的kafka流数据；而在读取数据的过程中，我得到了以下例外： ... 10 more火花: 1.6.2以下是pom.xml：
<!-- https://mvnrepository.com/artif
浏览 0提问于2016-12-24得票数 0
我正在尝试阅读一个使用星火流直接流的Kafka主题，但是我收到了以下错误：org.apache.spark.SparkException: java.net.Socket
浏览 0提问于2016-04-22得票数 1
回答已采纳
我试图运行电火花流应用与卡夫卡使用纱线。在org.apache.kafka.common.config.ConfigDef.parse(ConfigDef.java:124) at org.apache.kafka.common.config.AbstractConfig(KafkaConsumer.java:350) at org.apache.spark.streaming.kafka010.C
浏览 0提问于2019-03-13得票数 3
让我们说，我刚刚推出了一个卡夫卡直接流+火花流应用程序。对于第一批，驱动程序中的流上下文连接到Kafka并获取startOffset和endOffset。然后，启动具有这些开始和结束偏移范围的火花作业，以便执行者从Kafka获取记录。我的问题从这里开始。当第二批的时间，流上下文连接到卡夫卡的开始和结束偏移范围。如果没有允许存储最后一次提交偏移值的使用</e
浏览 4提问于2020-02-27得票数 0
回答已采纳
我没有从使用Kafka直接流的队列中获得任何数据。在我的代码中，我放入了System.out.println()，这条语句没有运行，这意味着我没有从该主题获得任何数据。我非常确定队列中的数据是可用的，因为没有进入控制台。有没有人能提个建议？下面是我的Java代码，
SparkConf sparkConf = new SparkConf().setAppName("JavaKafkaWord
浏览 2提问于2016-11-23得票数 1
2回答
我已经看到了一个类似于的问题
val topics = Array("cdc-classic") at org.apache</em
浏览 0提问于2018-06-07得票数 0
回答已采纳
Kafka DirectStream的火花流问题：
3) 4)试试火花2.1.conf
浏览 4提问于2017-02-16得票数 6
我正在试验星火卡夫卡的整合。我想测试eclipse中的代码。:52)
at org.apache.spark.streaming.kafka.KafkaCluster$$anonfun$org$apache$spark$streaming$kafka$KafkaCluster$apache$spark$streaming$kafka$KafkaCluster$$withBrokers(Kaf
浏览 3提问于2015-08-25得票数 1
我正在使用Spark2.2.0和Kafka0.10火花流库从满是kafka应用程序的主题中读取。Kafka Broker版本为0.11，Kafka-streams版本为0.11.0.2。.CachedKafkaConsumer.get(CachedKafkaConsumer.scala:85)
at org.apache.spark.streaming.kafka010.Kafka
浏览 0提问于2018-01-19得票数 2
回答已采纳
3回答
我是星火流的新手，从星火流到卡夫卡，我使用KafkaUtils创建了一个直接流。：在org.apache.spark.streaming.kafka.KafkaCluster.getPartitions(KafkaCluster.scala:119) at org.apache.spark.streaming.kafka.KafkaUtils:43) at java.lang.reflect.Met
浏览 4提问于2017-11-15得票数 0
import org.apache.spark.SparkConf;import org.apache.spark.streaming.Duration;import org.
浏览 2提问于2016-10-10得票数 1
回答已采纳
1回答
我使用星火流与Kafka集成，当我在本地模式下从IDE运行流应用程序时，一切都是有魅力的。然而，一旦我将它提交到集群中，我就会一直出现以下错误：
libraryDe
浏览 3提问于2017-08-22得票数 2
回答已采纳
2回答
我最近刚开始与IBM合作，并想尝试一下火花流部分。
这两个教程都使用了 iPython记事本来显示使用Spark的示例应用程序。
浏览 2提问于2016-05-17得票数 1
我使用的是Spark流媒体应用程序。应用程序使用直接流从Kafka topic (具有200个分区)中读取消息。:1431)at org.apache.spark.streaming.kafka010:617)
at
浏览 1提问于2017-12-03得票数 2
回答已采纳
我正尝试使用以下命令在独立的星火集群上部署一个使用Kafka主题作业的星火流：~/cdc/kafka-clients-0.10.0.1.jar,~/cdc/mysql-connector-java-5.1.12.jar,得到这个例外：
Exce
浏览 1提问于2018-05-29得票数 1
回答已采纳
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
