是否可以在Spark Structured streaming中使用mapPartitions？遇到这些错误dataframe_python.mapPartitions(processfunction)选项2：‘带有流源的查询必须使用writeStream.start()；
有没有办法
浏览 15提问于2019-08-01得票数 1
在Spark Structured Streaming中，我们可以使用groupBy对事件时间进行窗口操作，如下所示： window($"t
浏览 1提问于2017-11-07得票数 1
目前在阅读flink的文档时，我发现flink中有很多支持，比如翻滚窗口、滑动窗口、会话窗口和自定义窗口的实现谢谢你的点子和建议~
浏览 0提问于2018-11-05得票数 0
我读到Spark Structured Streaming不支持将Kafka消息读取为JSON的模式推断。有没有一种方法可以像Spark Streaming一样检索模式：dataFrame.printschema
浏览 1提问于2018-01-21得票数 13
如果我将enable.auto.commit设置为true，它是Sync or ASync吗？import org.apache.spark.sql.<
浏览 0提问于2020-03-20得票数 0
我想知道是否有与spark structured streaming相关的所有属性的列表？例如，在文档中，我们可以找到：当我按照spark sql上的配置文档中的建议执行spark.sql("SET -v").show(numRows = 200, truncate =
浏览 2提问于2018-09-03得票数 0
他们通过司机吗？如果我使用集群管理器作为纱线，这些事情会改变吗？如果我把火花壳里的所有东西都用在笔记本上，它们会改变吗？/structured-streaming-kafka-integration.html#deploying)
- [Spark configuration](https://spark.apache.org[Spark structured streaming pro
浏览 0提问于2019-12-11得票数 0
我们讨论了以下问题：
但是Spark Structured Streaming是在Spark2.2上添加的，它给流媒体带来了很多变化，而且它是非常出色的。我们可以说Spark Strutured Streaming是流处理，还是仍然是批处理？现在Apache Flink和Apache Spark Structured Streaming的最大区别是什么？
浏览 3提问于2017-09-01得票数 13
我读过一些关于spark streaming的文章，我想知道是否有可能使用rabbitmq作为代理从自定义来源流式传输数据，并通过spark流提供这些数据，Spark的机器学习和图形处理算法将在这些数据上执行附注:我用python编写代码，我没有任何使用spark的经验，我可以称之为我试图实现的微服务吗？
谢谢。
浏览 5提问于2020-09-02得票数 0
显然在Spark streaming中没有对Cassandra接收器的内置支持。我在网上找到了这个例子，它基于ForEachWriter为Spark structured streaming实现了一个自定义的Cassandra接收器： https://dzone.com/articles/cassandra-sink-for-spark-structured-streaming 我知道我们需要创
浏览 31提问于2019-02-24得票数 0
如果是这样的话，你能提供任何网站的例子吗？额外的： 如果你试图像一个普通的python程序一样运行它，它会给你一个错误： 使用以下命令运行它： spark-submit --packages com.microsoft.azure:azure-eventhubs-spark
浏览 19提问于2019-01-25得票数 0
回答已采纳
我想了解一下Spark Structured Streaming的单元测试方面。我的场景是，我从Kafka获取数据，并使用Spark Structured Streaming使用它，并在数据上应用一些转换。
我不确定如何使用Scala和Spark来测试它。有人能告诉我如何使用Scala在结构化流媒体中进行单元测试吗？我还是个流媒体新手。
浏览 3提问于2019-07-05得票数 2
我想使用Apache Spark Structured Streaming和Kafka，Spark Structured Streaming支持Kafka 0.10及更高版本，我的Kafka集群使用kafka
浏览 17提问于2019-05-23得票数 1
我的理解是Spark structured Streaming是建立在Spark SQL之上的，而不是Spark streaming。因此，下面的问题是，应用于spark流的属性是否也适用于spark结构化流，例如：
spark.streaming.backpressure.initialRate spark.streaming.backpressure.enabledsp
浏览 1提问于2018-09-03得票数 1
1回答
我知道Kafka Connect可能是其中一个选择，但如何使用Spark来实现这一点。一种可能的解决方法可能就是我要找的。提前感谢!！
浏览 0提问于2018-03-25得票数 1
Streaming receiver .readStream\
at org.apache.spark.sql.execution.streaming.StreamExecution.org$apach
浏览 5提问于2018-07-26得票数 3
我想利用Spark的结构化流功能，但我需要在一个窗口内做一个reduce by键。基本火花流支持一种称为reduceByKeyAndWindow的方法。我对Spark Structured Streaming文档进行了大量的搜索，但没有找到任何与Spark Streaming的reduceByKeyAndWindow相当的文档。
浏览 0提问于2018-04-14得票数 2
我正在尝试使用window on structured与spark和kafka。我在非基于时间的数据上使用window，所以我得到了这个错误：
'Non-time-based windows are not supported on streaming DataFrames/Datasets
浏览 0提问于2019-04-09得票数 5
显然，来自Spark2.4的MLLib的LSHModel支持spark Structured Streaming ()。
然而，我并不清楚是如何做到的。
浏览 1提问于2021-03-02得票数 0
._ def main(args: Array[String]): Unit = {
.mast
浏览 86提问于2020-05-04得票数 0
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
对象存储
腾讯云开发者
