我尝试用spark结构流连接远程cassandra节点。parsed = parsed_df \
def w
浏览 14提问于2019-07-30得票数 0
显然在Spark streaming中没有对Cassandra接收器的内置支持。我在网上找到了这个例子，它基于ForEachWriter为Spark structured streaming实现了一个自定义的Cassandra接收器： https://dzone.com/articles/cassandra-sink-for-spark-structured-strea
浏览 31提问于2019-02-24得票数 0
如何在Spark Structured Streaming中读取Kafka和查询外部存储，如Cassandra？我从Kafka获得消息流，我想对它应用Map操作，对于每个键，我想查询像Cassandra这样的数据存储，并获得该键的更多信息，并在流上应用进一步的操作。我如何使用Spark Structured Streaming 2.2.0来做到这一点？
浏览 2提问于2017-09-07得票数 1
我有一个接收点击流的用例，我需要使用来自Cassandra的数据进行某些计算，最后将计算出的值推送到Redshift。 对于流和计算的这个用例，我正在探索所需的Tech Stack。
浏览 14提问于2020-10-17得票数 1
我正在尝试从spark structured streaming连接到Kafka。这是可行的： --files /mypath/jaas_mh.conf \ --conf "spark</
浏览 19提问于2018-08-25得票数 0
回答已采纳
我读过一些关于spark streaming的文章，我想知道是否有可能使用rabbitmq作为代理从自定义来源流式传输数据，并通过spark流提供这些数据，Spark的机器学习和图形处理算法将在这些数据上执行附注:我用python编写代码，我没有任何使用spark的经验，我可以称之为我试图实现的微服务吗？
谢谢。
浏览 5提问于2020-09-02得票数 0
所以现在使用Spark-structured-streaming，我很惊讶检查点只有HDFS。用Kafka来勾点会更快更可靠。那么，有没有可能在没有HDFS的情况下使用spark structured？奇怪的是，我们只能在Kafka中将HDFS用于流数据。Spark 2.4.7 谢谢
浏览 39提问于2021-05-07得票数 2
我有一个Spark结构的流媒体应用程序。应用程序从kafka接收数据，并且应该使用这些值作为参数来处理来自cassandra数据库的数据。我的问题是，我如何使用输入数据帧(kafka)中的数据，作为cassandra中的"where“参数"select”，而不会出现以下错误：
Exception in thread "main" org.apache.spark.sql.AnalysisException: Queries with streaming<
浏览 25提问于2021-05-24得票数 0
回答已采纳
在spark structured streaming中，将相同in的当前记录集与以前的记录集连接的最佳方式是什么？如何在重启后重新初始化之前的状态？如果我们使用spark任意会话，如何在重启后重新初始化以前的状态？我们现在已经在Kafka streams中实现了这一点。但是想知道在spark structured streaming中是否有实现的方法。
浏览 2提问于2020-07-15得票数 2
我正在尝试连接我的结构化流式spark 2.4.5与kafka，但所有的时间，我尝试这个数据源提供程序出现错误。._ def main(args: Array[String]): Unit = {
println("Spark Structured Streaming with K
浏览 86提问于2020-05-04得票数 0
回答已采纳
火花版本: 1.4.1Datastax Cassandra连接器: 1.4.2-SNAPSHOT.jar
./spark提交--jars /usr/local/src/spark-cassandra-connector/spark-cassandra-connector-java/target/scala-2.10/spark</
浏览 2提问于2016-01-04得票数 0
回答已采纳
Spark version:3.00Cassandra::3.11.4 .builder \
.config("spark.jars","spark-streaming-kafka-0-10_2.12(stre
浏览 27提问于2020-06-27得票数 2
回答已采纳
1回答
我正在学习Spark streaming，并试图使用spark-streaming和Cassandra Spark connector将我从Kafka topic收到的样本股票数据(就像"MSFT:28.29无需保存到Cassandra，我的代码就可以正常工作(从Kafka获取数据并进行一些微不足道的统计计算)。配置了Cassandra并建立了连接。streaming U
浏览 4提问于2016-02-16得票数 0
我想通过spark-sql-kafka库从卡夫卡中通过火花阅读，如下所述：。- [Spark configuration](https://spark.apache.org[Spark structured<
浏览 0提问于2019-12-11得票数 0
3回答
我对spark和Cassandra都是新手。我无法在我的代码中获取Cassandra数据。我读了很多讨论，发现spark和spark-Cassandra连接器有一些兼容性问题。我试了很多来解决我的问题，但还是没能解决。 <d
浏览 2提问于2017-01-31得票数 2
我想了解一下Spark Structured Streaming的单元测试方面。我的场景是，我从Kafka获取数据，并使用Spark Structured Streaming使用它，并在数据上应用一些转换。
我不确定如何使用Scala和Spark来测试它。
浏览 3提问于2019-07-05得票数 2
我是spark的新手，正在尝试探索Spark结构化流媒体。我将使用来自Kafka(嵌套的JSON)的消息，根据JSON属性上的特定条件过滤这些消息。然后，每个满足过滤器的消息都应该被推送到Cassandra。我已经阅读了关于spark Cassandra连接器https://spark.apache.org/docs/2.2.0/structured-streaming-kafka-i
浏览 17提问于2019-04-12得票数 0
我不断地从外部源向cassandra写入数据。现在，我使用spark streaming通过以下代码从cassandra连续读取此数据：我如何才能做到这一点？我试着在谷歌上搜索这个，但得到的文档很少。我使用的是spark</e
浏览 0提问于2016-03-21得票数 2
2回答
那么我如何使用Spark2.0来读取这些嵌套的子文件夹，并从所有的叶json文件中创建一个静态的Dataframe呢？数据阅读器有“选项”吗？我的下一个目标是成为一个流DF，火龙将新文件持久化到s3中，使用Spark2.0中的新结构化流自然成为流数据的一部分。当然，更喜欢的是一个直接的动态流，但这个连接器上没有日期为2.0，所以火软管->S3是临时的。ND:我正在使用databricks，它将S3安装到DBFS中，当然也可以很容易地成为EMR或其他Spark提供商。很高兴看到一个笔记本，如果一个人是共享的，给出一个例
浏览 4提问于2016-10-30得票数 8
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
