最大喷口容量

文章/答案/技术大牛

发布

2回答

streaming、spark-streaming、apache-storm、iot、heron

我正在使用Heron对IoT数据执行流分析。目前在该架构中，只有一个并行度因子为1的spout。我通过将值传递给setMaxSpoutPending()方法来使用它。我想知道我们传递给这个方法的数量是否有限制？

浏览 21提问于2017-12-16得票数 2

回答已采纳

3回答

Apache :当没有可用的螺栓消耗元组时，元组会发生什么情况？

apache-storm

如果它连接到另一个螺栓，但在一段时间内没有下一个螺栓的实例可用。它会在这呆多久？无限期？够久了？

浏览 9提问于2015-09-01得票数 1

回答已采纳

1回答

理解风暴拓扑可视化

java、apache-storm、directed-acyclic-graphs、apache-storm-topology

基于以下链接中提供的解释，我对可视化的理解如下：但是，我没有找到任何关于组件大小的文档(即。直径在DAG中的实心圆)在可视化中。

浏览 0提问于2017-07-18得票数 3

回答已采纳

1回答

风暴中的背压

apache、apache-storm

在我们的1.0.2应用程序中，我们面对内存不足的exceptions.Upon调试，我们看到卡夫卡喷口向螺栓发出了太多的消息。螺栓的运转能力几乎达到4.0。因此，是否有办法使反压力在风暴中，以便喷口发射取决于螺栓的容量。尝试将topology.backpressure.enable启用为true，但运行到此问题。

浏览 3提问于2017-06-15得票数 4

2回答

发现风暴的延迟源

java、cassandra、apache-storm

我有一个三部分的拓扑结构，有一些严重的延迟问题，但我有困难找出哪里。风暴UI中的数字如下所示： (我看到螺栓的运行能力超过1.0 )元组通过shuffleGrouping.连接。风暴群有3台机器。拓扑中有3个工作人员。

浏览 1提问于2015-06-29得票数 1

1回答

如何解释Storm统计量

apache-kafka、apache-storm

我已经部署了一个简单的拓扑，卡夫卡喷口和定制螺栓，什么都不做，但承认元组。这个想法是为了衡量卡夫卡喷口的表现。所以，看看这些数据，我有一些问题。2)螺栓容量在0.5左右。它能证明卡夫卡喷口是瓶颈吗？我将感激任何关于改进风暴拓扑优化的信息，因为它现在对我来说并不明显。

浏览 2提问于2016-01-21得票数 0

回答已采纳

1回答

暴风-卡夫卡多喷口，如何分担重担？

java、load-balancing、apache-storm、apache-kafka

我正试图在多个喷口之间分担这项任务。我遇到了一种情况，我一次从外部源获得一个元组/消息，我希望有多个喷口实例，主要目的是共享负载并提高性能效率。我可以用一个喷口来做同样的事情，但是我想要通过多个喷口来分担负荷。我无法用逻辑来分散负载。因为在特定的喷口完成消耗后，才会知道消息的偏移量(即基于缓冲区大小设置)。spout,哪里, parallelism_hint -是应

浏览 2提问于2013-08-16得票数 10

回答已采纳

1回答

Storm DRPCTopology有内置队列吗？

apache-storm

但是在阅读有关DRPCTopology的文章时，我似乎只需要向DRPC服务器发送数据，它就可以处理转发到喷口的问题。DRPC服务器有内置的队列吗？所以对于我的用例，我可以用它代替卡夫卡喷口吗？

浏览 2提问于2014-07-24得票数 0

回答已采纳

1回答

KafkaTridentSpoutOpaque重复使用最后一条消息

java、apache-kafka、apache-storm、trident

我使用storm+kafka+protobuf来构建我的流处理系统。以下是一些细节：风暴核1.2.2 apache-storm-1.2.2 protected static KafkaSpoutConfig<String, byte[]> newKafkaSpoutC

浏览 1提问于2018-11-20得票数 0

1回答

风暴卡夫卡喷口有很高的滞后性。

java、spring、apache-kafka、apache-storm

我正在用ApacheStorm1.1.2和Kafka0.11在Java 9中构建一个Spring应用程序这种滞后设置了拓扑每秒可以吸收的最大消息数量的上限，这并不是很好。有人知道解决这个问题的办法吗？更新:我还注意到，即使有10名工作人员和4的并行性提示，从我在UI中可以看出的情况来看，负载并不是在不同的kafka喷口执行器之间分配的。主题有8个分区。

浏览 0提问于2018-10-03得票数 0

回答已采纳

2回答

如何测量风暴作业所花费的时间

apache-storm

我想用不同的parallelism_hint测试我的拓扑。为了测试它，我准备了一个1G日志文件来发出到Storm。问题是如何以编程方式测量拓扑所花费的时间。

浏览 0提问于2016-02-25得票数 0

回答已采纳

1回答

在尊重KafkaSpout的同时关闭maxSpoutPending

apache-storm、apache-kafka

当我运行我的拓扑结构时，我注意到maxSpoutPending被忽略了，喷口继续发出，远远超过了这个限制。

浏览 2提问于2015-02-20得票数 3

回答已采纳

1回答

在Apache Storm中使用与多个螺栓相同的类

apache-storm

我是Apache的新手，一直面临着多个螺栓容量的问题。builder.setBolt(BOLT-2, new X());螺栓上的每一处都必须分开喷口

浏览 3提问于2017-10-25得票数 0

回答已采纳

3回答

风暴最大喷口悬而未决

real-time、apache-storm

这是一个关于风暴的最大喷口悬而未决的工作原理的问题。我目前有一个spout，它读取一个文件，并为文件中的每一行发出一个元组(我知道Storm不是处理文件的最佳解决方案，但我对这个问题没有选择)。

浏览 0提问于2014-06-25得票数 18

回答已采纳

1回答

什么是nimbus.task.timeout.secs属性是风暴

apache-storm

什么是nimbus.task.timeout.secs属性是风暴。它与topology.message.timeout.secs的不同之处在于。

浏览 1提问于2014-09-07得票数 2

2回答

风暴用户界面值

twitter、apache-storm

为什么发射、传输和加值在Storm中“拓扑统计”部分下的变化，以及它们是如何计算的。即使失败的次数为零。提前谢谢。

浏览 0提问于2015-03-03得票数 2

回答已采纳

2回答

STL队列的最大容量

c++、queue

考虑到STL队列包含整数，那么它的最大容量是多少。所谓最大容量，我指的是它在最大容量下可以容纳的最大整数数量。谢谢

浏览 2提问于2011-03-29得票数 1

回答已采纳

1回答

最大流-最小割集定理

algorithm、graph

我理解Ford-Fulkerson求最大流的方法，但我很难理解min如何给出最大流的值。如果容量最小，就意味着存在容量较高的增强路径，那么为什么容量较低的路径会出现最大流量？作者所说的容量是指residual capacity吗？因为这一切都有意义。

浏览 2提问于2016-06-24得票数 2

回答已采纳

3回答

Yarn - yarn.scheduler.capacity.root.queue-name.maximum-capacity是如何工作的？

hadoop-yarn、capacity-planning

<queue-name>.capacity的容量和yarn.scheduler.capacity.root.<queue-name>.maximum-capacity属性的最大容量。我的理解是，以上两个属性分别设置了绝对容量和绝对最大容量。这意味着队列流的100%等于集群总容量的70%，它可以填满队列容量的100%，也就是集群总容量的70%。现在，问题是当队列'stream‘填满了66.4% (即当已

浏览 4提问于2019-06-07得票数 6

1回答