我正在使用Spark 2.3结构化流媒体，并尝试使用“lag”功能。但是，看起来在结构化流中不支持lag。val output = spark.sql("SELECT temperature, time, lag(temperature, 1) OVER (ORDER BY time) AS PrevTempFROM InputTable")org.apache.spark.sql.AnalysisException: Non-tim
浏览 13提问于2018-07-21得票数 2
我正在为我的spark结构化流媒体应用程序构建监控，并且需要获得spark应用程序消耗的某个主题的消费者滞后。我相信spark驱动程序一定知道这个延迟，因为它有执行器的所有元数据。我看不到任何方法可以从任何现有的spark文档或资源中获得这个指标。我检查了streaminQueryListener接口，但它的功能也很有限，因为我们只能从它获得每个查询的</
浏览 0提问于2020-03-27得票数 2
我正在研究在kafka中存储kafka偏移量用于Spark结构化流媒体，就像它对DStreams stream.asInstanceOf[CanCommitOffsets].commitAsync(offsetRanges)一样，与我正在寻找的相同，但用于结构化流媒体。它是否支持结构化流媒体？如果是，我如何实现它？我知道使用.option("checkpointLocation", checkpointLocati
浏览 10提问于2019-05-16得票数 3
我想将我的spark结构化流式处理数据推送到REST API。有没有人可以分享一下相同的例子。我发现很少，但所有都与spark流媒体有关，而不是结构化流媒体。
浏览 14提问于2019-01-18得票数 1
我有一个Spark集群，总共有17个executors。我已经将Spark 2.1与Kafka集成在一起，并从topic中读取数据，例如： .readStream .options(kafka.bootstrap.servers","localhost:9092") .load
现在我想知道，
浏览 0提问于2018-09-05得票数 2
我在Spark 2.3的发布说明中看到了结构化流媒体的公告/揭幕，但我知道它已经存在了一段时间了。由于一些依赖，我需要在系统实现中使用Spark 2.2，但我也想开始将面向批处理的工作转移到流范例中。在没有Spark 2.3的过程中，我是否遗漏了什么重要的东西，或者这仅仅是结构化流媒体成为“官方”而不是实验性的发行版？
浏览 13提问于2018-07-25得票数 0
1回答
在过去的几个月里，我使用了相当多的结构化流媒体来实现Stream Jobs (在使用了很多Kafka之后)。在阅读了“使用Apache Spark进行流处理”一书后，我有了这样一个问题:有没有什么要点或用例可以让我使用Spark流而不是结构化流？我是不是应该花点时间去了解它，或者既然我已经在使用Spark Structured Streaming了，我应该坚持使用它，并且之前的API没有任何好处。将非常感谢任何意见/见解
浏览 17提问于2020-04-06得票数 2
在我当前的场景中，Nifi收集数据，然后发送给Kafka。然后，任何流媒体引擎都会消耗卡夫卡的数据，并对其进行分析。在这种情况下，我不想在Nifi和流媒体引擎之间使用卡夫卡。例如，结构化流；如果我直接将数据从Nifi发送到Spark结构化流，Spark收到了这些数据，但是Spark的节点被关闭了。火花节点中的数据会发生什么变化？( Spark结构化</em
浏览 0提问于2019-02-14得票数 0
回答已采纳
如何在Spark Streaming 2.3.1中将每条记录写入多个kafka主题？换句话说，我有5条记录和两个输出kafka主题，我希望在两个输出主题中都有5条记录。问题没有谈到结构化的流媒体案例。我正在寻找结构化流媒体的具体。
浏览 16提问于2018-07-23得票数 1
我想在我的Spark结构化流媒体应用程序中创建多个kafka主题运行时。我发现Java API中有各种可用的方法。但我找不到任何有Spark结构的流媒体。我的apache Spark版本是2.4.4，Kafka库依赖是spark-sql-kafka-0-10_2.12
浏览 17提问于2019-11-28得票数 0
我正在获取mongoDB文档，然后在处理之后，我想使用Bson.Document库将其存储到Hbase中在结构化流媒体中，我得到了DatasetDocument
scala> val stream = spark.readStream.format("k
浏览 15提问于2019-11-09得票数 2
3回答
我之前已经成功地使用了pyspark for Spark Streaming (Spark 2.0.2)和Kafka (0.10.1.0)，但我的目的更适合于结构化流媒体。我尝试在线使用示例：ds1 = spark .format("kafka").option("partition.assignment.strateg
浏览 2提问于2017-07-07得票数 1
我使用的是Kafka和Spark 2.1结构化流媒体。我有两个主题和json格式的数据，例如：{"id":"2","name":"mark"}
{"name":"tom","age":"2
浏览 1提问于2017-06-09得票数 1
我有一个可以收听Kafka主题的Spark流媒体应用程序。当获得数据时，我需要对其进行处理，并将其发送到Kudu。目前，我正在使用org.apache.kudu.spark.kudu.KuduContext API，并对数据框调用插入操作。为了从我的数据创建数据框，我需要调用collect()，以便可以使用sqlContext创建数据框。
有没有一种方法可以在不调用collect()的情况下创建数据帧/将数据插入到Kudu中？我们使用的是<e
浏览 7提问于2018-08-08得票数 1
Spark SQL ( DSL而不是API)是否支持结构化流中的窗口功能？Flink中类似的内容如下所示： SELECT user, SUM(amount) FROM Orders GROUP BY TUMBLE(proctime,
INTERVAL '1' DAY), user我在官方结构化流媒体网站上找到的唯一SQL示例是下面的，其中没有窗口功能的示例： df.createOrReplaceTempView(&
浏览 24提问于2019-03-08得票数 0
我想了解一下Spark Structured Streaming的单元测试方面。我的场景是，我从Kafka获取数据，并使用Spark Structured Streaming使用它，并在数据上应用一些转换。
我不确定如何使用Scala和Spark来测试它。有人能告诉我如何使用Scala在结构化流媒体中进行单元测试吗？我还是个流媒体新手。
浏览 3提问于2019-07-05得票数 2
2回答
环境: Scala、spark、结构化流媒体
如果我在Scala Array(Dataset[Row])中有一个数据集的数组，我对使用处理Dataset[Row]对象的函数并行处理感兴趣，那么通过map或foreach传递数组对象来利用spark集群中的sparks并行性是否足够？
浏览 2提问于2020-07-26得票数 0
我正在学习apache spark与kafka的集成，这样当新消息到达Kafka的主题时，我的代码就可以自动运行。我也读过官方文档 https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html 但我仍然对它的工作原理感到困惑我有我的字数统计写的程序在java火花和另一边卡夫卡正在运行。 结构化</
浏览 15提问于2019-12-10得票数 1
2回答
Amazon EMR，Apache Spark 2.3，Apache Kafka，每天约1000万条记录。Apache Spark用于以5分钟的时间批量处理事件，每天一次工作节点正在死亡，AWS自动重新配置节点。查看日志消息时，节点中看起来没有空间，但它们在那里有大约1Tb的存储。有没有人在存储空间应该足够的情况下遇到了问题？我应该提供什么样的信息来帮助解决这个问题？
提前谢
浏览 4提问于2018-10-19得票数 8
1回答
当我将结构化流应用于静态数据集时，火花引擎将得到静态数据集的全部数据。在这种情况下，使用流处理静态数据集意味着什么？我所期望的是结构化流能够一次获得整个数据集的一部分，然后我在数据集中的这一部分上计算它，直到整个数据集被遍历。否则，使用结构化流和spark SQL处理静态数据集是完全相同的。对静态数据集使用结构化流的原因是静态数据集可能很大。我们希望使用结构化流来防止静态数据集上<
浏览 4提问于2019-11-15得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
