我正在运行一个星火流应用程序。有几次，其中一个作业由于某些运行时异常而失败。streaming将作业标记为失败，并继续处理下一个流批。如果其中一个作业失败，是否有一个参数可以设置为通知Spark关闭应用程序(而不是处理下一个流批)？我在独立集群模式上使用Spark1.4.1。
浏览 0提问于2016-06-10得票数 0
1回答
我想知道是否有可能提供输入来激发来自StreamSets的流。我注意到在StreamSets连接器目的地中不支持火花流。
我将探讨是否有其他方法将它们连接到一个示例POC。
浏览 3提问于2016-07-06得票数 3
回答已采纳
在Spark中，我以RDD的形式加载了一个数据集，并且喜欢不频繁地向其追加流数据。我知道RDDs是不可变的，因为它简化了锁定，等等。其他处理静态和流数据的方法是一体的吗？
类似的问题以前也被问过：
浏览 7提问于2016-12-24得票数 0
我们正在从kinesis读取数据，并使用spark结构流将其输出到文件中。当stream.these中没有数据时，kinesis实现正在生成空批吗?空批正在创建空文件作为输出？你知道怎么让spark写出空白文件吗？
浏览 24提问于2019-02-27得票数 0
回答已采纳
我设置火花流时间间隔为5s。如果当前的5s接收了非常非常多的数据，而spark streaming不能在5s内完成，但下一批数据即将到来。
spark streaming是否会同时处理下一批数据？
浏览 10提问于2016-07-02得票数 3
回答已采纳
我们有一个在Spark2.3.3上运行的星火流应用程序 kafka_stream = spark \ .format("kafka但是由于网络问题，这个工作在上消失了几天，现在卡夫卡流中上有数百万条消息等待接收。
当我们重新启动流数据作业使用火花提交，第一批将是太大，将需要很长时间才能完成。我们认为可能有一种方法可以用一些参数限制第一批的大小，但是我们没有发现任何有帮助的
浏览 1提问于2019-04-02得票数 10
回答已采纳
1回答
spark.streaming.backpressure.enabled和spark.streaming.kafka.maxRatePerPartition
sparkConf.set("spark.streaming.backpressure.enabled",”true”)
启用或禁用火花流的内部背压机制(自1.5起)。这使得火花流能够根据当前批处理调度延迟和处理时间来控制接收速率，以便系统接收到的速度仅限于系统所能处理的
浏览 0提问于2021-09-13得票数 4
回答已采纳
我想使用火花流比较两批和过滤数据第一批：aaa 0bbb 0第二批：aaa1ddd 0key type相邻的两个批次，最后一个批次的数据(类型为0)必须是前一个批次中的(类型为1)，
浏览 3提问于2017-06-07得票数 2
1回答
我在Mesos上运行了一个星火流作业。所有批次都需要完全相同的时间，这一次比预期的要长得多。这些工作从卡夫卡提取数据，处理数据并将其插入卡桑德拉，然后再回到卡夫卡的另一个主题。print()
streamingContext.awaitTermination()}
即使所有的执行程序都位于同一个节点(spark.executor.cores=2 spark.cores.max=2)中，问题仍然存在，而且与以前的情况完全相同：。即使主题没有消息(0条记录的批处理)，
浏览 0提问于2018-06-07得票数 3
回答已采纳
1回答
如何避免火花流中批量排队
、、、
我有直接流的火花流，我使用下面的配置
spark.streaming.kafka.maxRatePerPartition 42
当我使用最早的选项启动流批时，为了更快地使用Kafka的消息并减少延迟，我将spark.streaming.kafka.maxRatePerPartition保持为42。是否有可能实现以下场景，我们的批处理间隔为60，如果每批运行在60，下一批可以准时开始。如果一<e
浏览 2提问于2021-03-16得票数 1
回答已采纳
1回答
冷(批)层将用Apache (PySpark)实现。但是对于热(流)层有不同的选择:火花流或Flink。提前谢谢你！
浏览 3提问于2021-11-05得票数 1
回答已采纳
2回答
我正在使用Spark2.0并尝试使用wholeTextFiles API来流文件。我的Spark程序正在成功地读取文件--文件夹中的第一批文件，但是我不能流到后面的一批文件。请让我知道如何在使用WholeTextFiles API时流文件。df.createOrReplaceTempView("myView");
jssc.start();火花正在处理第一批的数据但是
浏览 4提问于2017-04-05得票数 0
对于每一个spark.streaming.blockInterval (比方说，1分钟)接收器听流源的数据。假设当前的微批处理需要一段不自然的很长时间才能完成(根据意图，比如20分钟)。在这一批处理过程中，接收者是否还会监听流源并将其存储在火花存储器中？
当前的管道运行在中，使用的是Spark结构化流。有人能帮我理解这一点吗？
浏览 1提问于2020-04-22得票数 0
什么时候需要在静态mapGroupsWithState上使用DataFrame函数？在批处理数据集的情况下，只有一次调用，而且由于没有先前的状态，状态对象将为空。本质上，对于批处理数据集，map/flatMapGroupsWithState等同于map/flatMapGroups，状态和/或超时的任何更新都没有任何效果。
浏览 1提问于2020-10-11得票数 1
1回答
我正在编写一个Spark (v1.6.0)批处理作业，它是从Kafka主题中读取的。为此，我可以使用org.apache.spark.streaming.kafka.KafkaUtils#createRDD，但是，我需要为所有分区设置偏移量，还需要将它们存储在某个地方(ZK？知道从哪里开始下一批作业。
在批处理作业中读取卡夫卡的正确方法是什么？我还考虑编写一个流作业，它从auto.offset.reset=smallest读取，并将检查点保存到HDFS，然后在下一次运行时从该任务开始。但在这种情况下，我如何才能只取一次，并
浏览 0提问于2016-06-25得票数 7
回答已采纳
有人说spark streaming，即使它可以以微批的形式处理流，它仍然不是一个像storm那样的流计算系统。那么，这种微批量计算思想的限制因素是什么？是什么让它不如一个真正的计算系统？谢谢!
浏览 1提问于2014-09-18得票数 5
3回答
我们正在尝试构建一个容错火花流作业，这是我们遇到的一个问题。下面是我们的场景： 2) We have checkpointstreaming job is then restarted from checkpoint
我们现在面临的问题是，在火花流作业重新启动后，它会重放最后一个成功的批处理。它总是这样做的，只是重放最后一批成功的批，而不是先前的批
浏览 3提问于2017-05-29得票数 4
3回答
批处理： SparkStreaming API简单地将数据划分为批处理，这些批处理还包含相同的流对象/元素集合。根据需求，一组批处理定义在基于表单时间的批处理窗口和基于集中在线活动的批处理窗口中。Rdd和批之间到底有什么区别？
浏览 5提问于2015-10-30得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
