2回答
将Kafka中的流数据“导入”到HBase中的最佳实践是什么？
使用案例如下:将车辆传感器数据流式传输到Kafka。然后，必须对这些传感器数据进行转换(即，将protobuf反序列化为人类可读的数据)，并将其存储在HBase中。1)您推荐哪个工具集(如Kafka --> Flume --> HBase、Kafka --> Storm -->
浏览 1提问于2015-08-18得票数 6
我有一个现有的storm拓扑，它使用KafkaSpout (这不是我写的)。当它启动时，尝试从/kafkaroot/topicname/partition_0读取卡夫卡主题状态。当我用kafka-topics.sh创建Kafka主题时，它会将它添加到/brokers/topics/topicname/partition/0中。我应该改变什么？(ZkCoordinator.java:103)
浏览 0提问于2015-08-28得票数 1
我想获得帮助的初始设置与apache storm和kafka设置。
我可以向storm集群提交拓扑，但在storm ui中出现以下错误。(KafkaOffsetLagUtil.java:387) at org.apache.storm.kafka.monitor.KafkaOffsetLagUtil.getOffsetLags(KafkaOffsetLagUtil.java:268) at org.apache.storm.k
浏览 34提问于2018-04-21得票数 0
回答已采纳
1回答
我正在尝试使用KafkaSpout从Kafka队列中读取消息。<init>(PartitionManager.java:57)
at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:80)at storm.kafka.ZkCoordinator.getMyManagedPartitions(ZkCoordinator.java</e
浏览 0提问于2015-01-24得票数 0
1回答
我试图把我的数据从卡夫卡主题发送到HBase，使用风暴喷口作为卡夫卡的消费者，并将数据发送到HBase，我面临着风暴拓扑中的异常.storm.kafka.DynamicBrokersReader.getBrokerInfo(DynamicBrokersReader.<e
浏览 1提问于2015-05-04得票数 1
回答已采纳
将Kafka中的日期写入Cassandra的最佳方式是什么？我希望它是一个解决的问题，但似乎没有一个标准的适配器。许多人似乎使用Storm来读取Kafka，然后写入Cassandra，但storm似乎对简单的ETL操作有点杀伤力。
浏览 2提问于2015-04-15得票数 9
我目前正在开发storm版up项目0.9.6->1.0.2我的spout没有从最新的偏移量开始读取，尽管在SpoutConfig构造函数中使用了相同的spout id。我更改了我的项目配置和源代码，如下所示:1.Storm-core和storm-kafka版本在pom.xml中将0.9.6更改为1.0.2，kafka_2.10更改为0.8.2.2。2.更改包路径- backtype -> org.apache -
浏览 0提问于2016-11-18得票数 1
在启动Storm拓扑之前，停止Kafka用户，以便Storm Spout能够处理kafka主题中的数据流源。使用Apache实时处理数据:随着Storm拓扑的创建，Storm将处理数据流源，这意味着Spout将从kafka主题中读取数据。在另一端，Spout将数据流传递给Storm，Storm
浏览 5提问于2015-05-20得票数 1
当我将现有的生产Kafka集群从Kafka0.8.2.1升级到Kafka0.11.0.1后，开始出现错误。Storm Version: 1.0.2Kafka-Version: 0.11.0.1<init>(Kafk
浏览 15提问于2017-11-24得票数 1
0回答
我写了一个生产者Kafka从MySQL读取数据，一个消费者Kafka Kafka从producer检索数据。import java.util.Properties;import kafka.javaapi.producer.Producer;
import kafka.jav
浏览 4提问于2016-07-10得票数 2
回答已采纳
目前还不清楚你是否可以像在Flume中那样在Kafka中进行扇出(复制)。
我想让Kafka将数据保存到HDFS或S3，并将该数据的副本发送到Storm进行实时处理。Storm聚合/分析的输出将存储在Cassandra中。我看到一些实现将所有数据从Kafka流向Storm，然后从Storm输出两个<e
浏览 2提问于2013-06-23得票数 3
回答已采纳
1回答
Hadoop可以做流媒体吗？
、、、、
有人建议Hadoop做流媒体，并引用了Flume和Kafka作为例子。
虽然我知道它们可能具有流媒体功能，但我想知道它们是否可以与Storm/Spark/Flink等流处理技术并驾齐驱。Kafka是一个“发布-订阅模型消息传递系统”，而Flume是一个数据摄取工具。即使它们与hadoop交互/集成，从技术上讲，它们是“hadoop”本身的一部分吗？
浏览 4提问于2018-04-07得票数 0
我决定从一个简单的拓扑开始，从一个Kafka队列中读取并写入一个不同的Kafka队列。我得到了这个错误，我有一个困难的时间找出什么是错的。拓扑yaml文件遵循错误。(FluxBuilder.java:561)at org.apache.storm.flux.FluxBuilder.b
浏览 4提问于2015-08-20得票数 0
回答已采纳
1回答
Kafka喷嘴错误
、、、、
请帮助我解决这个错误，我不理解任何我在hortonworks沙箱上使用storm和kafka进行实时处理的工作，当我部署拓扑并使用Kafka生产者发送数据时，我可以用Kafka控制台消费者读取它，但我在我的at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:98) ~[stormjar.jar:?]at storm.<em
浏览 0提问于2016-05-11得票数 0
2回答
我构建了一个风暴拓扑，它使用kafka的数据并写入hdfs。在使用风暴和卡夫卡时，如下所示，<kafka.version>0.8.2.1</kafka.version(DynamicPartitionConnections.java:60)
at storm.k
浏览 5提问于2016-09-17得票数 0
回答已采纳
“卡夫卡喷泉”和“卡夫卡消费者”都是从卡夫卡经纪人那里检索数据的，到目前为止，我所知道的是用来与暴风沟通的，而消费者是与其他任何东西交流的。
-but，技术上有什么不同？-or，如果我使用一个消费者提取数据，然后使用一个“setSpout”接收数据，那么如果我只是使用一个"Kafka“，然后将它添加到的setSpout()函数中，两者之间的区别是什么？
浏览 1提问于2016-07-01得票数 4
回答已采纳
1回答
在返回响应之前，某些http请求可能需要50+几分钟。在这段时间内，我不想阻延任何其他讯息。我知道Kafka的并行方法是创建分区。如果为我的主题生成1,001+消息，则将发出前1,000个请求，但之后的每条消息都将排队，直到该分区中的前一个请求完成为止。例如，在单个分区上，我可以让使用者读取第一条消息并发出异步请求。它提供了一个回调函数，它将该偏移量提交给Kafka。当该请求等待时，我的使用者将读取下一条消息并发出另一个异步请求。如果
浏览 3提问于2015-05-08得票数 1
回答已采纳
该算法使用KafkaSpout从卡夫卡队列中读取数据。at com.bridgera.iot.kafka.App.main(App.java:63) at com.br
浏览 0提问于2015-12-17得票数 1
我正在尝试使用storm - LocalCluster 1.0.2和kafka-spout 1.0.2来运行storm-Core1.0.2。}</mainClass> </plugin></build>
我使用以下命令在本地运行stormat org.apache.storm
浏览 5提问于2016-12-30得票数 1
1回答
我正在设置storm用于流处理，我的三叉树喷嘴正在从kafka主题中获取数据，但在从kafka中获取消息时，我不断地获取BufferUnderFlowException：
位于backtype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:99) ~storm-core-0.9.5.jar:0.9.5的java.lang.RuntimeExcep
浏览 2提问于2016-05-31得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
