我想将我的spark结构化流式处理数据推送到REST API。有没有人可以分享一下相同的例子。我发现很少，但所有都与spark流媒体有关，而不是结构化流媒体。
浏览 14提问于2019-01-18得票数 1
我有一个Spark集群，总共有17个executors。我已经将Spark 2.1与Kafka集成在一起，并从topic中读取数据，例如： .readStream .options(kafka.bootstrap.servers","localhost:9092") .load
现在我想知道，
浏览 0提问于2018-09-05得票数 2
我正在研究在kafka中存储kafka偏移量用于Spark结构化流媒体，就像它对DStreams stream.asInstanceOf[CanCommitOffsets].commitAsync(offsetRanges)一样，与我正在寻找的相同，但用于结构化流媒体。它是否支持结构化流媒体？如果是，我如何实现它？我期望kafka只在内部存储偏移量，而不使用spark hdfs检查点。
浏览 10提问于2019-05-16得票数 3
如何在Spark Streaming 2.3.1中将每条记录写入多个kafka主题？换句话说，我有5条记录和两个输出kafka主题，我希望在两个输出主题中都有5条记录。问题没有谈到结构化的流媒体案例。我正在寻找结构化流媒体的具体。
浏览 16提问于2018-07-23得票数 1
我在Spark 2.3的发布说明中看到了结构化流媒体的公告/揭幕，但我知道它已经存在了一段时间了。由于一些依赖，我需要在系统实现中使用Spark 2.2，但我也想开始将面向批处理的工作转移到流范例中。在没有Spark 2.3的过程中，我是否遗漏了什么重要的东西，或者这仅仅是结构化流媒体成为“官方”而不是实验性的发行版？
浏览 13提问于2018-07-25得票数 0
我想在我的Spark结构化流媒体应用程序中创建多个kafka主题运行时。我发现Java API中有各种可用的方法。但我找不到任何有Spark结构的流媒体。我的apache Spark版本是2.4.4，Kafka库依赖是spark-sql-kafka-0-10_2.12
浏览 17提问于2019-11-28得票数 0
我有一个可以收听Kafka主题的Spark流媒体应用程序。当获得数据时，我需要对其进行处理，并将其发送到Kudu。目前，我正在使用org.apache.kudu.spark.kudu.KuduContext API，并对数据框调用插入操作。我们使用的是Spark 1.6
浏览 7提问于2018-08-08得票数 1
1回答
在过去的几个月里，我使用了相当多的结构化流媒体来实现Stream Jobs (在使用了很多Kafka之后)。在阅读了“使用Apache Spark进行流处理”一书后，我有了这样一个问题:有没有什么要点或用例可以让我使用Spark流而不是结构化流？我是不是应该花点时间去了解它，或者既然我已经在使用Spark Structured Streaming了，我应该坚持使用它，并且之前的API没有任何好处。将非常感谢任何意见/见解
浏览 17提问于2020-04-06得票数 2
我想了解一下Spark Structured Streaming的单元测试方面。我的场景是，我从Kafka获取数据，并使用Spark Structured Streaming使用它，并在数据上应用一些转换。
我不确定如何使用Scala和Spark来测试它。有人能告诉我如何使用Scala在结构化流媒体中进行单元测试吗？我还是个流媒体新手。
浏览 3提问于2019-07-05得票数 2
3回答
我之前已经成功地使用了pyspark for Spark Streaming (Spark 2.0.2)和Kafka (0.10.1.0)，但我的目的更适合于结构化流媒体。我尝试在线使用示例：ds1 = spark .format("kafka")
.option("kafka.bootstrap.servers另外，有没有使用KafkaUtils做结构化流媒体的方法呢？或者这是唯
浏览 2提问于2017-07-07得票数 1
我正在学习apache spark与kafka的集成，这样当新消息到达Kafka的主题时，我的代码就可以自动运行。我也读过官方文档 https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html 但我仍然对它的工作原理感到困惑结构化流媒体是kafka和spark java代码之间的桥梁吗？它是否一直在监听kafka，并且每当消息到达时，它都会
浏览 15提问于2019-12-10得票数 1
我正在获取mongoDB文档，然后在处理之后，我想使用Bson.Document库将其存储到Hbase中在结构化流媒体中，我得到了DatasetDocument
scala> val stream = spark.readStream.format("kafka").option("su
浏览 15提问于2019-11-09得票数 2
我想使用Spark structured来聚合从RabbitMQ消费的数据。我知道与apache kafka有官方的spark结构化流媒体集成，我想知道是否也存在与RabbitMQ的集成？由于我不能切换现有的消息传递系统(RabbitMQ)，我想使用kafka-connect在消息传递系统(Rabbit to kafka)之间移动数据，然后使用Spark structured streaming
浏览 0提问于2018-04-16得票数 0
2回答
Amazon EMR，Apache Spark 2.3，Apache Kafka，每天约1000万条记录。Apache Spark用于以5分钟的时间批量处理事件，每天一次工作节点正在死亡，AWS自动重新配置节点。查看日志消息时，节点中看起来没有空间，但它们在那里有大约1Tb的存储。我认为日志聚合不能正确地将日志复制到s3存储桶，这应该由spark进程自动完成，正如我所见。提前谢谢你！
浏览 4提问于2018-10-19得票数 8
首先，使用Spark的fileStream读取文件从上述HDFS目录创建Dataframe读取
val loaddata = sqlContext.read.format("com.databricks.spark.xml
浏览 0提问于2016-11-18得票数 2
1回答
当我将结构化流应用于静态数据集时，火花引擎将得到静态数据集的全部数据。在这种情况下，使用流处理静态数据集意味着什么？我所期望的是结构化流能够一次获得整个数据集的一部分，然后我在数据集中的这一部分上计算它，直到整个数据集被遍历。否则，使用结构化流和spark SQL处理静态数据集是完全相同的。对静态数据集使用结构化流的原因是静态数据集可能很大。我们希望使用结构化流来防止静态数据集上的数据一次性加载到内存中(因此内存非常紧张)。这是否违反了流处理的思想？使用结构化流和火花S
浏览 4提问于2019-11-15得票数 2
回答已采纳
然后，任何流媒体引擎都会消耗卡夫卡的数据，并对其进行分析。在这种情况下，我不想在Nifi和流媒体引擎之间使用卡夫卡。因此，我想将数据从Nifi直接发送到流引擎。但是，我不知道一些细节。例如，结构化流；如果我直接将数据从Nifi发送到Spark结构化流，Spark收到了这些数据，但是Spark的节点被关闭了。火花节点中的数据会发生什么变化？( Spark结构化流是否有任何Nifi接收器？)在这种情况下，Spark<em
浏览 0提问于2019-02-14得票数 0
回答已采纳
我正在尝试抓取结构化流查询的批次信息，以最终记录。一般来说，我对Spark是个新手，我对从Spark Streaming访问等同于streamingContext的内容感到困惑。streamingContext是Spark Streaming独有的东西吗？我正在尝试做一些与下面类似的事情，除了我无法注册侦听器(因此我正在尝试理解)，因为我没有streamingContext。我是不是完全偏离了轨道，试图拥有一个具有结构化流媒体功能的StreamingContext？In
浏览 10提问于2019-09-04得票数 1
回答已采纳
我正在使用Spark 2.3结构化流媒体，并尝试使用“lag”功能。但是，看起来在结构化流中不支持lag。val output = spark.sql("SELECT temperature, time, lag(temperature, 1) OVER (ORDER BY time) AS PrevTempFROM InputTable")org.apache.spark.sql.AnalysisException: Non-time-based w
浏览 13提问于2018-07-21得票数 2
1回答
我正在尝试在结构化流媒体中可视化流媒体查询。我怎么能这么做呢？我应该使用仪表板还是有其他工具？ 我在网上找不到类似的东西。DF = spark \ .format("kafka") \
.option("kafka.bootstrap.servers", bootstrapServers
浏览 8提问于2020-03-27得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
