我一直在努力让Storm的本地副本正常工作，遵循回购指南和这个。
当试图使用mvn compile exec:java -Dstorm.topology=org.apache.storm.starter.ExclamationTopology运行拓扑时，输出最终会继续循环&垃圾邮件：
28534 [Thread-9-SendThread(localhost:2000)] INFO o.a.s.s.o.a.z.ClientCnxn - Opening socket connection to server localhost/127.0.0.1:2000. Will not attem
浏览 3提问于2016-02-19得票数 1
回答已采纳
我已经建立了一个动物园管理员伪分布式集群，并且我想在我的单机上的伪集群上运行Storm拓扑，我应该怎么办？我见过有人写到，它需要配置Storm 3次，就像和动物园管理员打交道一样，我不确定，有人知道吗？
浏览 2提问于2016-01-09得票数 0
回答已采纳
Storm与Hadoop相比如何？hadoop似乎是开源大规模批处理的事实标准，Storm比Hadoop有什么优势吗？或者它们是完全不同的？
浏览 1提问于2012-06-29得票数 29
回答已采纳
1回答
我正在做一些关于流处理与复杂事件处理相结合的研究。我想使用一个开源软件来处理阿帕奇的Storm。我已经找到了像Esper，Siddhi，Sase+这样的CEP引擎，但我正在寻找一些专门在Apache-Storm上工作的东西。是否有任何CEP引擎可以完美地调整Storm，如果是的话，引擎的内部架构是什么(例如在一个螺栓或其他东西上工作).Any信息是最受欢迎的。
浏览 0提问于2016-09-07得票数 1
1回答
我正在使用CDH5.3，我试图编写一个mapreduce程序来扫描一个表并进行一些处理。我已经创建了一个扩展TableMapper的映射程序，我得到的例外是：
java.io.FileNotFoundException: File does not exist: hdfs://localhost:54310/usr/local/hadoop-2.5-cdh-3.0/share/hadoop/common/lib/protobuf-java-2.5.0.jar
at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(Distribute
浏览 4提问于2015-12-18得票数 4
1回答
Storm框架应用程序
、、、、
我使用Hadoop构建了一个应用程序，用于在分布式环境中搜索相似的图像存储。但是Hadoop不支持实时处理，这就是响应时间长的原因。我知道Storm是另一个大数据分析应用程序框架。但我对我们是否可以使用Storm来实现这种应用程序感到困惑。
有没有人能给出一个有效使用Storm框架的应用程序的建议。
浏览 0提问于2015-10-07得票数 1
我一直在为我们的实验室项目使用Storm进行测试。当我使用Storm bolt执行一些计算任务时，我发现在Storm外部运行计算所用的时间大约是Storm bolt execute()方法内部时间的十分之一。
我还在一个螺栓的execute()方法中尝试了这一小段代码：
Random rd = new Random(System.currentTimeMillis());
double count =rd.nextDouble();
for( int i=0;i <50000000;i++ ) {
count *= rd.nextDouble();
}
上面的代码在Storm内
浏览 0提问于2017-08-08得票数 0
1回答
对于每天必须处理至少"2-3 to“数据的业务用例，我在"Hadoop & Storm”上做了分析。
不用说，“Storm”看起来令人印象深刻，因为它在处理传入大数据方面的效率，但我不确定“Storm”是否有足够的能力处理“to”的数据，同时为我提供实时结果？
有谁能解释一下吗？
谢谢，加金德拉
浏览 0提问于2012-11-06得票数 0
回答已采纳
我一直在寻找如何使用apache storm作为CEP，但似乎有两个概念(流处理和复杂事件处理)，在CEP中，你可以编写类似sql的查询，它们在数据流上执行，就像ESPER，但我在apache storm中找不到任何类似的东西，这是不是意味着apache storm是一个数据流处理器而不是CEP？
浏览 16提问于2017-02-12得票数 0
2回答
我正在尝试重新平衡我的风暴拓扑，它正在使用KafkaSpout。我的代码是：
TopologyBuilder builder = new TopologyBuilder();
Properties kafkaProps = new Properties();
kafkaProps.put("zk.connect", "localhost:2181");
kafkaProps.put("zk.connectiontimeout.ms", "1000000");
kafkaProps.put(&
浏览 2提问于2013-02-22得票数 6
我最近遇到了Apache Mesos，并成功地在Mesos上部署了我的Storm拓扑。
我想尝试在Apache Marathon上运行Storm拓扑/Hadoop作业(使用mesos-storm框架直接在Apache Mesos上运行Storm有问题)。
我找不到任何教程/文章可以列出如何从Apache Marathon启动Hadoop/Spark任务的步骤。
如果任何人能提供关于这个主题的任何帮助或信息(可能是启动storm/hadoop作业的Marathon的Json作业定义)，那就太好了。
非常感谢
浏览 2提问于2014-12-08得票数 2
嗨:我将有一个大容量风暴分析任务。对我来说，我想把许多螺栓/工人从不同的节点/机器中分离出来，以便每台机器都能分担负载。我想知道如何写螺栓/工人/拓扑，以便他们可以互相沟通。在下面的代码中，我提交了一台计算机的拓扑结构，如何在其他机器上编写螺栓/worker/config，以便拓扑结构能够了解其他机器的螺栓/工人。我想我不能在一台机器上提交拓扑，而在其他机器上提交相同的拓扑。有任何关于风暴工人分担负荷的提示吗？
import java.util.Map;
import java.util.concurrent.atomic.AtomicInteger;
import org.slf4j.Lo
浏览 3提问于2015-05-01得票数 0
回答已采纳
1回答
我们正在尝试用Apache Spark streaming替换Apache Storm。在storm中；我们根据“客户ID”对流进行分区，以便具有“客户ID”范围的消息将被路由到相同的螺栓(工人)。我们这样做是因为每个worker都会缓存客户详细信息(来自DB)。因此，我们分成4个分区，每个螺栓(工人)将拥有整个范围的1/4。
我确实看到了Spark和Storm的比较；这是对Spark的限制。我希望我们在Spark Streaming中有一个解决方案
浏览 1提问于2015-06-06得票数 1
3回答
将无序列表转换为目录
、、、
引用此小提琴：
嗨，我正在尝试复制一个包含无序列表和引导点的目录。不幸的是，当有很长的一行内容时，格式化就会失效。有人知道如何让下图中的第二章出现在与点相同的线条上吗？
下面是我现在得到的代码：
我也将它粘贴到这里：
<div>
<ul id="toc">
<li><span>Introduction</span> <a href="#">Chapter 1</a></li>
<li><span> St
浏览 0提问于2012-01-18得票数 7
回答已采纳
我的目标是与发布者和使用者一起创建一个分布式应用程序，在其中我使用CEP处理数据流，以生成事件使用者的事件通知。
Esper和Apache Storm有什么区别？
我能否实现Storm只使用Esper的功能，以及何时应该考虑将Esper与Storm集成？
我很困惑，我以为Esper提供了同样的功能。
浏览 8提问于2017-03-07得票数 3
回答已采纳
storm拓扑包含一个Spout组件，它使用1个以上的线程运行。例如：
builder.setSpout("lines", new TestLineSpout(), 2);
Spout (open函数)打开并读取文本文件中的所有行，nextTuple将每行内容发送到一个螺栓。
当运行两个线程时，对于spout，文件的每一行都被读取两次。
我刚接触storm，想知道处理这个问题的最好方法是什么？我可以将线程数减少到1，或者修改spout，让每个线程读取不同的行--或者我需要(如何)使用TopologyContext参数吗？不确定我是不是错过了一种实现这一点的“风暴”方式？
浏览 0提问于2014-05-28得票数 5
2回答
在我的拓扑中，在处理流时，我希望将一些消息的处理推迟到将来的某个时间点。这样做有哪些合理的选择？
到目前为止，我考虑了以下几点：
使用Java的Thread.sleep。(然而，根据一些讨论，这并不是有效利用Storm资源的推荐方法。)
使用延迟队列..。
特别是，尝试。
还有其他实现值得尝试吗？
Storm是否有一些API来延迟我忽略的消息？
ZeroMQ是否提供了Storm (如果修改)可以利用的延迟消息传递API？
浏览 2提问于2013-05-16得票数 5
回答已采纳
Apache Storm和LMAX Disruptor之间的对比差异是什么？两者都在一起解决不同的问题吗？如果有，是什么？我花了几天时间学习Apache Storm，我发现它与LMAX Disruptor有一些相似之处。虽然LMAX Disruptor用于在线程之间传递消息，但对数据执行某些处理的事件被链接在一起(如树、菱形、三角形、简单序列)。同样，风暴的Spouts与多个对数据执行某些处理的Bolts链接在一起，数据从一个螺栓传递到另一个，直到没有更多的螺栓。这是不是类似于LMAX Disruptor，还是我看错了？除此之外，Apache Storm是否也可以像LMAX Disruptor
浏览 3提问于2015-03-19得票数 2
我刚开始在storm中使用python。我在本地模式下运行它时遇到问题
ERROR backtype.storm.util - Async loop died!
java.lang.RuntimeException: backtype.storm.multilang.NoOutputException: Pipe to subprocess seems to be broken! No output read.
Serializer Exception:
usage: simbolt.py [-h] --data DATAPATH --pre PRECOMPPATH --res RESULT
浏览 0提问于2017-05-14得票数 0
如果有人能解释一下Twitter和Apache之间的体系结构差异，那就太好了？我正在寻找一些内部材料以外的实时v/s批处理。由于这两种技术在编写Storm或map拓扑方面非常相似，在Hadoop上编写拓扑，Hadoop在任务跟踪器/作业跟踪器方面，在Hadoop分区和等效洗牌(随机、字段等)方面，这两种技术都是类似的。在Storm等方面(如果我说Storm在内部使用消息队列在喷口/螺栓之间传输数据，这不完全是Hadoop的情况，因为在Hadoop中创建了中间文件，因此涉及到I/O，对此我说对了吗？)
编辑：
我已经讨论了问题，但是被接受的答案使我想知道的不仅仅是用例，即实时v/s批处理。
浏览 5提问于2013-08-07得票数 5
将Kafka中的日期写入Cassandra的最佳方式是什么？我希望它是一个解决的问题，但似乎没有一个标准的适配器。许多人似乎使用Storm来读取Kafka，然后写入Cassandra，但storm似乎对简单的ETL操作有点杀伤力。
浏览 2提问于2015-04-15得票数 9
目前，我正在研究Storm的源代码，我加入了scheduler包的ExecutorDetails类。这个类很简单，我只想要startTask和endTask字段的用途，为什么hashcode()方法endTask被乘以13，这是任意的还是有特殊意义的？
package backtype.storm.scheduler;
public class ExecutorDetails {
int startTask;
int endTask;
public ExecutorDetails(int startTask, int endTask) {
this.
浏览 3提问于2015-08-11得票数 1
互联网上有一大堆hadoop生态系统的图片，所以我很难理解这些工具是如何协同工作的。
例如，在附图中，为什么猪和蜂巢基于map减少，而其他工具，如spark或storm在纱线上？
你能帮我解释一下这个吗？
谢谢!BR
浏览 0提问于2018-05-03得票数 0
6回答
我们在伪模式下执行Storm拓扑。
风暴拓扑执行良好，并能够连接Storm (8080)。
但是Storm没有显示正在运行的拓扑信息。
重新启动的暴风UI进程也没有用。
是否需要特殊的配置来显示storm中运行的拓扑？
浏览 3提问于2015-02-12得票数 2
回答已采纳
1回答
我使用storm拓扑将一些数据从Kafka队列写入Cassandra DB。该程序是一个多线程程序。为了方便cassandra数据库的插入，我将以下内容作为我的DBUtils：
public DBUtils() {
if(session == null) {
session = CassandraUtil.getInstance().getSession();
LOG.info("Started a new session for dbUtils-Monitoring.....");
}
synchronized(sess
浏览 1提问于2016-08-12得票数 0
5回答
我一直在寻找使用Storm，这是与Hortonworks 2.1安装，但为了避免安装除了Cloudera安装(其中有火花)，我试图找到一种方法使用Storm在Cloudera。
如果您可以在单个平台上同时使用Storm和Spark，那么它将节省机器上同时安装Cloudera和Hortonworks所需的额外资源。
浏览 10提问于2014-07-25得票数 7
回答已采纳
在apache storm中，如何在不使用睡眠命令的情况下限制spout传输元组的时间？例如，我不想使用下面的代码。谢谢
puplic Void Next Tuple(){
utils.sleep(time);
}
浏览 0提问于2016-10-08得票数 0
我尝试了几个配置参数，甚至没有运气地使用withLocalModeOverride。我在这里错过了什么？
这里有一个示例应用程序，在30岁以后，计数器被重置，一切都重新启动。如果我能提供更多的细节，请告诉我。
用法：
mvn package
java -jar target/Test-0.1.0.jar
src/main/java/Test.java
package storm.test;
import org.apache.storm.Config;
import org.apache.storm.LocalCluster;
import org.apache.storm.generate
浏览 8提问于2019-10-02得票数 0
回答已采纳
我目前正在评估Apache Storm以处理来自多个数据源的异构数据。虽然可能有一些所有数据共享的公共属性(即“类型”属性)，但我希望能够处理元组的许多不同的“类”，并且能够处理新的数据类型，而对拓扑的更改最少。举个例子，这些数据类型可能是什么样子：
{type=LogTransaction,timestamp=...,user=...,duration=...}
{type=LogEvent,timestamp=...,user=...,message=...}
Storm页面上的示例主要处理简单的元组，这是预先定义好的，这样spout/ bolts就可以静态地声明输出字段。
我最初的想法是
浏览 0提问于2015-11-13得票数 0
1回答
我在opensuse linux上使用hadoop 19，我不使用任何集群，而是在我的机器上运行hadoop代码。我遵循的标准技术是放入分布式缓存，但不是一次又一次地访问来自分布式缓存的文件，而是将文件的内容存储在一个数组中。从文件中提取的这一部分是在配置()函数中完成的。当我尝试使用fiel名称时，我得到了nullPointerException。这是守则的一部分：
.
..part of main()
..
DistributedCache.addCacheFile(new URI("/home/hmobile/hadoop-0.19.2/output/part-00000
浏览 0提问于2010-07-09得票数 0
1回答
一个动物园管理员的安装是否足够好，足以供Hadoop和Storm集群使用？我想在一个测试环境上部署所有的设备，并尝试使用这些技术，我可以使用一个动物园管理员安装吗？同样的znode可以专门用于服务的数量？
浏览 2提问于2014-06-21得票数 6
回答已采纳
我有一个加载在storm配置图中的配置参数，如何在不重新启动拓扑的情况下，在运行期间每隔一段时间更新/重新加载这些配置？
浏览 4提问于2018-07-24得票数 0
回答已采纳
我有一个运行在具有8个内核的WSO2机器上的Linux实例。我有30-40输入流和近200个执行计划。我的问题是，当我插入事件时，每次只有一个CPU会很忙。繁忙的核心更改，但我不能使这八个核心同时工作，严重影响性能和可伸缩性。
是否缺少任何配置项，还是需要使用Storm在集群模式下配置Siddhi？
浏览 5提问于2017-10-25得票数 1
回答已采纳
我想问问我对卡夫卡的理解是否正确。
对于非常大的数据流来说，传统的数据库是不够的，所以人们使用Hadoop或Storm之类的东西。卡夫卡坐在上面所说的数据库，并提供...directions的实时数据应该去哪里？
浏览 11提问于2016-05-17得票数 23
回答已采纳
我的应用程序连接到HBase，并进行大量通信(每秒读取/写入数百或数千次)。这会严重影响性能，这可能是由于HBase对每个请求执行的I/O操作。
Doo.dle是对我的代码的调用--蓝色和红色的区别在于HBase消耗的时间。
目前，我只在独立模式下进行测试，在这种模式下，HBase使用本地文件系统存储数据。我想知道，在分布式模式下使用一个实际的HDFS是否会显着地提高性能，还是只会产生相同的结果。我试图在失去太多的时间来建立和运行一个集群之前，得到一个线索。
我问自己的第二个问题是，是否可以将独立的HBase配置为只将数据持久化到内存(RAM)，而不是将其写入文件系统以进行性能评估。
浏览 2提问于2015-04-07得票数 5
下面是用c代码编写的bigrand函数的代码。
int bigrand (){
return RAND_MAX* rand()+rand();
}
请告诉我在java中等效的代码是什么？
浏览 2提问于2010-06-02得票数 0
回答已采纳
问题是我们有一系列的客户，他们中的一些人不需要HBase设计的那种规模。对于这些客户来说，不能选择几个节点。
对于它们，我们希望在RAID5上以伪分布式模式运行HBase。客户不需要为服务提供故障保险。他只需要数据在RAID5上是安全的。
官方指南明确指出，伪分布式模式不适用于生产环境。我可以想象，这句话是因为服务没有故障保险，性能并不是最好的。
但从技术上讲，如果客户不需要上述功能，我相信它可以长期运行在这种模式下。或者是其他一些问题？可能它在这个设置中没有得到很好的测试？
我们不想在我们的应用程序中引入另一个单节点数据库，仅仅为了满足几个客户的需求。我们需要为大客户提供HBase。
浏览 1提问于2014-04-12得票数 1
2回答
我一直在寻找用于流处理的Esper (和Storm)。Esper似乎做的正是我想要的..例如，轮询方法，中值，复杂查询，等等。但有一件事让我感到疑惑。
如何使用Esper向外扩展到多个实例？
据我所知，Storm处理分布式处理，但使用Esper，您可以自己处理。
在可预见的未来，我不需要这样做，但随着我们的增长，我们的数据量也将需要向外扩展。我们最有可能部署在亚马逊EC2上。
在将数据发送到我的Esper应用程序之前，我是否需要运行多个服务器和共享数据？
有没有更优雅的方式来处理它？
-Sajal
浏览 0提问于2012-02-07得票数 8
回答已采纳
如何有效地将大型本地数据帧转换为SparkR数据帧？在我的本地开发机器上，当我尝试将~ 650MB的本地数据帧转换为SparkR数据帧时，它很快就会超出可用的内存，而我的开发机器上有40 of的Ram。
library(reshape2)
years <- sample(1:10, 100, replace = T)
storms <- sample(1:10, 100, replace = T)
wind_speeds <- matrix(ncol = 316387, nrow = 100,
data = sample(0:25
浏览 0提问于2016-09-08得票数 3
两者都能在单节点hadoop设置中工作吗？我猜它可能在本地模式(独立模式)下不工作，但在伪分布式模式下工作？
浏览 2提问于2012-07-30得票数 0
回答已采纳
在hadoop中，伪模式和独立模式的确切区别是什么？
当我们在自己的笔记本/台式机上工作时，我们如何才能知道这一点呢？
浏览 5提问于2014-11-07得票数 0
回答已采纳
这可能是一个愚蠢的问题，但我需要知道。
例如:为什么我们需要hadoop fs -ls命令来列出文件？相反，为什么不能只使用ls？
如果在伪分布式模式下，文件系统的一部分被提供给hadoop文件系统，而该文件系统只能由hadoop namenode daemon...this访问，我猜是这样的。请解释一下。
浏览 22提问于2018-07-15得票数 0
我从一台Windows7计算机开始，设置了一个Ubuntu Linux虚拟机which I run using VirtualBox。已经执行了The Cloudera Manager Free Edition version 4，我一直在按照localhost:7180上的提示进行操作。
现在，当提示要求我“为您的CDH集群安装指定主机”时，我被卡住了。我可以单独在linux虚拟机中安装和运行所有Hadoop组件吗？
请帮助我指出正确的方向，我应该指定的主机。
浏览 1提问于2012-11-07得票数 5
我刚刚开始了解Apache Storm。我无法理解的一件事是，整个拓扑是否被复制到监控程序节点上的至少一个工作进程上。如果是这样的话，那么拓扑中的一个组件是否是一个潜在的瓶颈，它需要非常高的计算量(并且可能提供更好的(性能)在单个机器上执行)？如果不是，我假设Nimbus在集群中“分布”拓扑的部分。它如何知道如何优化“分布”拓扑？
浏览 0提问于2016-02-04得票数 0
回答已采纳
我使用hbase 0.94.1和动物园管理员3.3.6，几次尝试后，hbase的主人关闭，sw退出
这些是我从壳中得到的错误。
12/09/26 18:58:35 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=localhost:2181 sessionTimeout=180000 watcher=hconnection
12/09/26 18:58:35 INFO zookeeper.ClientCnxn: Opening socket connection to server /127.0.0.1
浏览 3提问于2012-09-26得票数 5
我想安装hadoop并研究它，但是现在我只安装了一台带有ubuntu13.10的pc。
但我了解到hadoop至少需要3个节点。
在一个节点上安装hadoop及其服务有什么好方法吗？
我想我需要蜂箱，hdfs，hbase，先生服务。
任何帮助都将不胜感激，谢谢。
浏览 7提问于2014-09-18得票数 0
回答已采纳
1回答
我用潜在的Dirichlet分配 (sklearn implementation)分析了大约500个科学文章摘要，得到了包含最重要单词(德语)的主题。我的问题是解释这些与最重要的词相关的价值观。我假设每个主题的所有单词加起来都有1的概率，但事实并非如此。
我如何解释这些价值观？例如，我想知道为什么主题#20比其他主题具有更高的值。它们的绝对高度与贝叶斯概率有关吗？这个话题在语料库中更常见吗？我还不能把这些值和LDA背后的数学结合起来。
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decompo
浏览 1提问于2016-02-01得票数 15
我在跟踪。我在我的VMWare上使用Ubuntu14.04LTS。
我可以顺利地在/home/user/storm/examples/storm-starter目录中运行java:java: storm.topology=storm.starter.RollingTopWords，没有问题。但是，我不能在Apache中运行它。
我的/home/user/storm/examples/storm-starter目录中有starter拓扑-0.9.3.jar。我还在我的_storm-starter-0.9.3-jar-with-dependencies.jar目录中包含了starter 0.9.3
浏览 3提问于2015-04-28得票数 1
回答已采纳
1回答
我们正在考虑在纱线上建立一个面向服务的体系结构。我们有不同的应用程序类型--有些在Storm中工作，比如流模式(在那里我们连接到正在运行的服务)，有些在批处理模式下(当应用程序在每个请求上启动时)。
此外，应用程序可能需要经常相互通信，这需要在纱线内部的不同应用程序之间进行大量的内部通信。我们也希望使用不同应用程序的缓存，因此，每当具有相同数据的请求转到同一个应用程序时，我们都可以返回缓存的响应。
作为SOA框架的基础，纱线是好的还是坏的解决方案？Yarn只是一个自动标度/部署类工具，还是适合SOA？用纱线做这件事够快吗？
浏览 8提问于2013-08-30得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
