1回答
如何将PyFlink性能与Flink + Scala进行比较？因此，Apache是纯流的，而不是Spark的微批，我倾向于选择Apache。但我唯一关心的是PyFlink的性能。PySpark流的延迟会更少吗？它比Scala编写的Flink代码慢吗？在什么情况下更慢？
提前谢谢你！
浏览 3提问于2021-11-05得票数 1
回答已采纳
在tensorflow验证监视器流auc中，它对流意味着什么？案例1:每次调用验证监视器时，都会重置auc状态，因为在每个验证步骤中，对10个批进行流处理。案例2: auc状态没有重置，因此流auc是从验证监视器的第一次调用中计算出来的。即，第一输出( 100步)从10批计算，第二验证输出( 200步骤)基于第
浏览 5提问于2017-06-09得票数 1
回答已采纳
1回答
流和静态数据集的合并是结构化流的一个很好的特点。但是每一批数据集都会从数据源中刷新。由于这些源并不总是动态的，因此在指定的时间段(或批数)缓存静态数据集将是一种性能增益。在指定的批处理期间/批数之后，数据集将从源重新加载，否则将从缓存中检索。
在星火流中，我使用缓存的数据集来管理它，并在指定数量的批处理运行后取消它的持久化，但是由于某种原因，这不再适用于结构化流。有什么建议可以用结构化流来实现吗？
浏览 1提问于2017-12-13得票数 9
(分钟)似乎火花结构化流并没有很好地使用startingOffsets属性的最新。我不想读旧消息，只有重要的当前的！
浏览 3提问于2021-10-01得票数 1
1回答
一旦notify Consumer将所有数据发布到Kafka topic，Producer是否有可能我曾想过要使用Sliding window，但问题仍然是，我们不知道生产者是否完成了发布数据？目前，我们计划使用多个分区来基于Default Partitioner拆分数据。更新：
每隔十五分钟，生产者就会得到数据
浏览 0提问于2016-11-12得票数 2
回答已采纳
我们正在从kinesis读取数据，并使用spark结构流将其输出到文件中。当stream.these中没有数据时，kinesis实现正在生成空批吗?空批正在创建空文件作为输出？
浏览 24提问于2019-02-27得票数 0
回答已采纳
我需要在MVC5中实现工作流。虽然我读过关于工作流的文章，但我不知道如何集成工作流和MVC5 5。我对工作流非常陌生，对MVC5知之甚少。
如何向用户显示工作流</
浏览 0提问于2015-05-08得票数 3
1回答
我是新来的火花，我使用星火流与卡夫卡..。假设我在第一批中得到100条记录，在第二批中得到120条记录，在第三批中得到80条记录。--> {sec 1 1,2,...100} --> {sec 2 1,2..120} --> {sec 3 1,2,..80}我想在处理第二批时使用result1，并将第二批的result1和120个记
浏览 1提问于2014-10-20得票数 3
回答已采纳
我很好奇，如果一个星火流应用程序被优雅地击落是绝对必须的，还是它有通过预写日志导致重复数据的风险。在下面的场景中，我概述了队列接收器与队列交互时需要确认消息的步骤序列。火花队列接收器从队列中提取一批消息。
..。我的理解是正确的，如何
浏览 3提问于2015-07-29得票数 9
1回答
如何避免火花流中批量排队
、、、
我有直接流的火花流，我使用下面的配置
spark.streaming.kafka.maxRatePerPartition 42
当我使用最早的选项启动流批时是否有可能实现以下场景，我们的批处理间隔为60，如果每批运行在60，下一批可以准时开始。如果一批花费的时间超过60，我们不希望下一批来排队。
浏览 2提问于2021-03-16得票数 1
回答已采纳
此外，使用StreamSupport.stream(Iterables.partition(collection, partitionSize).spliterator(), true)不会并行化该流，StreamSupport.stream(Iterables.partition(collection, partitionSize).spliterator().trySplit(), true)会并行化，并且生成的流包含所有分区我的目标是:给定一个大小为100k的集合，我希望将其划分为大小为5000的批，并并行处理这些批
浏览 39提问于2021-03-18得票数 3
回答已采纳
1回答
我想要流it (从用户输入)并输出一个特定长度的列表流--有效地将用户的输入批处理成批，然后对其执行其他一些工作。因此，基本上，对于用户输入：1,2,3,4,5,6,7,8,9，只要我收集到3个数字，我就可以将它分割成这些批<1,2,3> , <4,5,6> , <7,8,9>，我想为下一个处理步骤创建一个列表。我试图使用lamda和java 8中的流操作来实现这一点，以便更多地了解它。我能找到的唯一相关示例是这个带有自定义收集器的，它执行与我想要的非常相似的事情--使
浏览 4提问于2015-11-25得票数 4
回答已采纳
3回答
每个记录都必须作为单独的记录在工作流中注册，该记录必须经过自己的工作流。
是否有其他解决方案来处理批记录/ids？否则，工作流服务必须调用1000次才能注册工作流</
浏览 4提问于2012-09-20得票数 3
回答已采纳
1回答
我必须使用云函数来摄取和转换数据，但问题是我不知道如何从Twitter中提取数据并将其摄取到云中。
我知道我还必须创建一个调度程序和Pub/Sub主题来触发云功能。
浏览 17提问于2022-03-24得票数 1
回答已采纳
我想使用火花流比较两批和过滤数据第一批：aaa 0bbb 0第二批：aaa1ddd 0key type相邻的两个批次，最后一个批次的数据(类型为0)必须是前一个批次中的(类型为1)，当前批次如下：
k
浏览 3提问于2017-06-07得票数 2
2回答
所以我想读一批消息，返回给呼叫者，停止火花流。目前，我正在通过batchInterval时间的火花流上下文方法的awaitTermination方法。我现在不知道如何从火花流中将处理过的数据返回给调用者。
浏览 5提问于2014-12-02得票数 5
回答已采纳
1回答
using-python-libraries一体化在当地运作良好一旦部署到云端(部署时没有错误)，应用程序似乎找不到对话框库，并抛出错误: ModuleNotFoundError at / No模块，名为“对话框流”
有什么遗漏了吗？如何将对话框库导入GAE
浏览 0提问于2018-01-25得票数 0
回答已采纳
1回答
三叉戟卡夫卡交易喷口
、、、、
我应该实现三叉戟事务拓扑。我发现，我可以使用kafka作为喷口，使我的拓扑事务性。我发现，这是卡夫卡的风口浪尖，但它不是交易。另外，我发现是一个三叉戟卡夫卡交易喷口。如果您有实现事务性拓扑的经验，请帮助我！谢谢!
浏览 1提问于2014-05-21得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
云直播
对象存储
腾讯云开发者
