我正在用Spark Streaming编写一个简单的数据管道，使用Java语言从Kafka中提取JSON数据，将JSON解析成一个自定义类(Transaction)，然后将该数据插入到一个Cassandra我已经尝试过了，本质上是让这个类变成一个属性包：
p
浏览 1提问于2016-07-02得票数 0
回答已采纳
我在打印kafka主题的数据到控制台时遇到了问题。我得到的错误信息如下图所示。 ? 正如您在上图中所看到的，在batch 0之后，它不会进一步处理。 ? ? spark-sql-kafka-0-10_2.12-3.1.1.jar,file:///C://Users//shivani//Desktop//Spark//spark-cas
浏览 30提问于2021-07-02得票数 1
回答已采纳
我使用的是星星之火-SQL2.4.1、星火-卡桑德拉-连接器_2.11-2.4.1.jar和java8。同时将数据从kafka主题插入到C*/Cassandra表数据。我正在犯错误：
org.apache.spark.sql.kafka010.KafkaDataConsumer - KafkaConsumer cache hitting max capacity of64, removing consumer for Ca
浏览 0提问于2019-10-18得票数 0
我有一个完全用scala编写的代码，它使用spark streaming从kafka主题获取json数据，然后在经过一些处理后将其转储到cassandra和另一个kafka主题。我需要帮助，如何写这样的测试和我们如何可以模拟数据时，我正在使用spark cassandra连接器。
浏览 7提问于2019-01-07得票数 0
下面是我将数据帧写入Cassandra数据库的测试代码。spark = SparkSession \ .config("spark.jars","spark-streaming-kafka-0-10_2.12-3.0.0.jar,spark-sql-kafka-0-10_2.12-3.0.0.jar,kafka-clients-2.5
浏览 27提问于2020-06-27得票数 2
回答已采纳
1回答
我正在学习Spark streaming，并试图使用spark-streaming和Cassandra Spark connector将我从Kafka topic收到的样本股票数据(就像"MSFT:28.29无需保存到Cassandra，我的代码就可以正常工作(从Kafka获取数据并进行一些微不足道的统计计算)。配置了Cassandra并建立了连接。但是如果我试图添加下面
浏览 4提问于2016-02-16得票数 0
我想把Kafka + Cassandra连接到Spark 1.5.1。这些库的版本： "org.apache.spark" % "spark-streaming_2.10" % "1.5.1",
"org.apache.spark" % "<em
浏览 2提问于2015-11-07得票数 1
在mesos上使用spark与kafka和cassandra ( spark- cassandra -connector)结合使用spark-streaming我正在听一个kafka主题，然后使用.saveToCassandra插入到cassandra中
我有60个CPU分配给spark (30个spark节点和5个cassandra节点)，我正
浏览 0提问于2015-09-17得票数 1
2回答
我使用Kafka流并将数据存储到Cassandra DB。当试图使用sbt程序集命令获取fat jar时，我得到了下面提到的错误。 "com.datastax.spark" %% "spark-cassandra-connector" % connectorVersion,
"org.apache.spark</
浏览 1提问于2018-03-11得票数 0
回答已采纳
这是我得到的错误： at org.apache.spark.streaming.dstream.InputDStream<init>(InputDStream.scala:78) a
浏览 1提问于2017-02-04得票数 0
我创建了一个带有JSON格式记录的Kafka主题。./kafka-console-consumer.sh --new-consumer \ --from-beginning \ --consumer.config /root/client.properties
我如何使用
浏览 5提问于2017-05-24得票数 1
回答已采纳
我在运行spark作业时遇到以下错误。请推荐spark和Cassandra连接器的正确版本。下面是我的build.sbt scalaVersion := "2.11.8"
"org.apache.spark" %% "spark-streaming"2.2.0-cdh6.0.1" % "provided",
"org
浏览 20提问于2019-01-28得票数 2
3回答
我对spark和Cassandra都是新手。我无法在我的代码中获取Cassandra数据。-- Kafka --> <groupId>org.apache.kafka</groupId>
<artifactId>kafka_
浏览 2提问于2017-01-31得票数 2
1回答
spark streaming应用程序在插入到mongoDB之前会做一些验证。我们正在探索避免为处理的每一条消息连接到mongoDB的方法，而是希望一次处理一个批处理间隔内的所有消息。以下是spark streaming应用程序的简化版本。我们做的其中一件事是将所有消息附加到一个数据帧中，并尝试将该数据帧的内容插入到foreachRDD之外。但是当我们运行这个应用程序时，将数据帧写入mongoDB的代码不会被执行。
浏览 3提问于2017-08-02得票数 0
我想使用PySpark结构流应用编程接口将结构流数据写入Cassandra。我的数据流如下：源代码和版本如下: Spark版本: 2.4.3 DataStax DSE: 6.7.6", "localhost:9092")\
.config("spark.cassandra.connection.host",
浏览 23提问于2019-11-01得票数 2
我正在尝试使用Apache、Saprk、Scala和Cassandra创建一个应用程序。但是，在获得这些工具的正确的可兼容版本方面，我面临着许多问题。
有人能告诉我我应该使用哪个版本吗？
浏览 7提问于2017-09-29得票数 1
回答已采纳
想要将cassandra添加到spark streaming "org.apache.spark" %% "spark-streaming"% sparkVersion,
"org.apache.spark" %% "spark-streaming-kafka" % spa
浏览 2提问于2015-11-07得票数 2
2回答
我是Apache Spark的新手，我正在尝试运行Spark Streaming + Kafka集成直接方法示例(JavaDirectKafkaWordCount.java)。<init>(TopicMetadataRequest.scala:55)at
浏览 2提问于2016-05-04得票数 0
1回答
我想使用scala maven项目将spark streaming中的数据保存到cassandra。这是将数据保存到cassandra表的代码import com.datastax.spark.connector.streaming._
import org.apache.spark.streaming.kafka
浏览 0提问于2017-07-09得票数 0
云服务器
ICP备案
即时通信 IM
云直播
对象存储
腾讯云开发者
