1回答
我创建了一个批处理流。从一批流，我调用另一批，从第二批，我调用简单的第三流。我需要第三次流动的选择应该是完整的，然
浏览 1提问于2017-04-05得票数 1
有没有专为机电一体化编程而设计的语言？我知道LabView，这是一种数据流语言，但不确定它的主要平台。
除了c/c++之外，你能向我推荐一些语言吗？用于机电一体化(机器人、传感器编程等)主题的任何语言。
浏览 0提问于2012-11-27得票数 1
回答已采纳
1回答
如何避免火花流中批量排队
、、、
我有直接流的火花流，我使用下面的配置
spark.streaming.kafka.maxRatePerPartition 42
当我使用最早的选项启动流批时是否有可能实现以下场景，我们的批处理间隔为60，如果每批运行在60，下一批可以准时开始。如果一批花费的时间超过60，我们不希望下一批来排队。
浏览 2提问于2021-03-16得票数 1
回答已采纳
我很好奇，如果一个星火流应用程序被优雅地击落是绝对必须的，还是它有通过预写日志导致重复数据的风险。在下面的场景中，我概述了队列接收器与队列交互时需要确认消息的步骤序列。火花队列接收器从队列中提取一批消息。
..。
浏览 3提问于2015-07-29得票数 9
3回答
我们正在尝试构建一个容错火花流作业，这是我们遇到的一个问题。下面是我们的场景： 2) We have checkpointmimicking a sudden failure) 我们现在面临的问题是，在火花流作业重新启动后它总是这样做的，只是重放最后一批
浏览 3提问于2017-05-29得票数 4
在tensorflow验证监视器流auc中，它对流意味着什么？案例1:每次调用验证监视器时，都会重置auc状态，因为在每个验证步骤中，对10个批进行流处理。案例2: auc状态没有重置，因此流auc是从验证监视器的第一次调用中计算出来的。即，第一输出( 100步)从10批计算，第二验证输出( 200步骤)基于第
浏览 5提问于2017-06-09得票数 1
回答已采纳
1回答
火花流异常处理策略
、、、
我有一个吡火花流作业，它从s3 (使用textFileStream)中流一个目录。在hdfs上，每一行输入都被解析并输出到拼花格式。如何处理输出操作(在foreachRDD中)的失败？foreachRDD内部发生的异常不会导致流作业停止。实际上，我试图确定如何在foreachRDD中
浏览 0提问于2015-11-13得票数 2
回答已采纳
(分钟)似乎火花结构化流并没有很好地使用startingOffsets属性的最新。我不想读旧消息，只有重要的当前的！
浏览 3提问于2021-10-01得票数 1
1回答
我想知道是否有可能提供输入来激发来自StreamSets的流。我注意到在StreamSets连接器目的地中不支持火花流。
我将探讨是否有其他方法将它们连接到一个示例POC。
浏览 3提问于2016-07-06得票数 3
回答已采纳
2回答
在一体化方面，我有：因此，我将id映射到postId，当我使用一个queryparam尝试这个链接时，它可以工作，但是当我尝试这样的东西时：如何使上述场景与2个查询参数一起工作？
浏览 1提问于2017-05-27得票数 2
回答已采纳
因此，我想使用一个生成器来加载要训练的批数据。
在这个场景中，我如何使用LabelEncoder + StandardScaler执行特性的扩展呢？但是，由于数据量大，在我的机器上不再可能使用此工作流。(MemoryErrors.)我正在研究如何使用keras.utils.Sequence来同时加载批数据而不是内存中的所有内容，这样我只需要有完整的索引列表，一次只需要一整批的内存。然而，我将如何处理LabelEncoding，更重要的是:我将如何在这个场景中进行特性缩放？鉴于当时的情况，这是一个正确的方法
浏览 0提问于2019-01-19得票数 8
在火花流中，数据按批间隔进行处理。is first batch of data10s~15s is third batch of data是否有一个变量来识别火花流中的每一批数据如果有这样的变量：我可以获得batchID的值来识别哪一批数据，也可以通过batchID (如：window(……).filter(_.batchId == 1) )过滤数据或者有什么方法来区分每一批数据？
浏览 6提问于2016-02-02得票数 3
回答已采纳
1回答
流和静态数据集的合并是结构化流的一个很好的特点。但是每一批数据集都会从数据源中刷新。由于这些源并不总是动态的，因此在指定的时间段(或批数)缓存静态数据集将是一种性能增益。在指定的批处理期间/批数之后，数据集将从源重新加载，否则将从缓存中检索。
在星火流中，我使用缓存的数据集来管理它，并在指定数量的批处理运行后取消它的持久化，但是由于某种原因，这不再适用于结构化流。
浏览 1提问于2017-12-13得票数 9
我想知道是否有一种方法来指定在星火结构化流中的小批处理的大小。这不仅仅是说明小批处理间隔(触发器)，我想说明一个小批处理(DataFrame)中每个间隔可以有多少行。有办法吗？除了这样做的一般功能之外，我还特别需要在测试场景中应用该功能，在测试场景中我有一个MemoryStream。EDIT1
每个触发间隔处理的最大偏移数的maxOffsetsPerTrigger：利率限制。
浏览 0提问于2018-09-02得票数 0
1回答
冷(批)层将用Apache (PySpark)实现。但是对于热(流)层有不同的选择:火花流或Flink。提前谢谢你！
浏览 3提问于2021-11-05得票数 1
回答已采纳
我正在运行一个星火流应用程序。有几次，其中一个作业由于某些运行时异常而失败。streaming将作业标记为失败，并继续处理下一个流批。如果其中一个作业失败，是否有一个参数可以设置为通知Spark关闭应用程序(而不是处理下一个流批)？我在独立集群模式上使用Spark1.4.1。
浏览 0提问于2016-06-10得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
