我正在尝试使用spark-streaming- kafka -0.10从kafka主题(broker版本0.10)中提取消息。stream.asInstanceOf[CanCommitOffsets].commitAsync(offsetRanges) ssc.awaitTermination()
所有分区都显示了从0我希望它从分区的开头开始，但也会拾取正在向其生成的所有内容。
浏览 10提问于2017-07-28得票数 1
回答已采纳
1回答
LOGSTASH是否可以从某个位置读取PDF文件并提取其中的内容，然后将此内容发送到目的地(KAFKA)？据我所知，LOGSTASH可以读取.TXT或.LOG或.CSV文件，但我不确定它是否能够读取PDF中的内容。如果没有，kafka有这个能力吗？可以从APACHE KAFKA中读取PDF内容吗？
浏览 14提问于2017-02-07得票数 0
回答已采纳
1回答
我试着和Kafka合作来摄取数据，但是我对此还不熟悉，我有点困惑，我有多个爬虫，他们从web平台上为我提取数据。现在的问题是，我想摄取使用Kafka将数据提取到Hadoop而没有任何中间脚本/服务文件的内容。有可能吗？
浏览 0提问于2018-08-16得票数 1
回答已采纳
2回答
我有卡夫卡作为服务器生态系统中的消息代理，我能以某种方式使MySQL成为消费者吗？
我需要直接用卡夫卡的数据库来写数据。
浏览 7提问于2015-07-07得票数 1
回答已采纳
3回答
我有一个spark流作业，它每5秒从Kafka读取一次，对传入的数据进行一些转换，然后写入文件系统。这是针对Python上的Spark 1.6的感谢@marios，解决方案是这样的：ssc.awaitTermination(10vehicle-data-importer", kafkaParams)
stre
浏览 2提问于2016-01-30得票数 18
回答已采纳
我试着在库伯奈特的环境中运行融合的卡夫卡形象&面对kafka.common.KafkaException: Found directory /var/lib/Kafka's log directories (and children) should onl
浏览 5提问于2018-04-16得票数 1
回答已采纳
我看到了许多关于如何将日志发送到 Stackdriver的文档和帖子，但几乎没有关于如何进行相反操作的信息--将日志从发送到。在我的例子中，我们的操作程序希望使用Google的堆栈驱动程序代理从我们的web服务器收集日志，并将它们推到堆栈驱动程序中.但是，为了满足我的流处理需求，我想将日志输入Kafka，以便使用它无可比拟的能力来保留和重新处理任意数量的用户的数据在这里，我注意到在Google的Fluentd版本中添加了一个插件( stackdriver收集代理所基于的
浏览 4提问于2021-05-05得票数 1
2回答
我刚刚开始学习Kafka，我正在尝试构建一个原型，让一个生产者，这是一个REST，并将数据发送给卡夫卡消费者。为了找出一些特殊的程序，我查阅了大量的文档。我很困惑该从哪里开始。我特别想找一些结构化的文档或者如何完成这个任务的想法。
浏览 2提问于2020-03-10得票数 0
回答已采纳
1回答
我使用的是Apache (没有汇合)，并且有一个简单的Kafka生产者，它从rest中提取数据，将数据发送到Kafka并关闭。当我开发一个消费者的时候，我有这个测试。在消费者中，我可以跟踪偏移量，但我似乎无法在我的制片人中设置自定义偏移量。
在我的rest电话中，我需要跟踪一个日期，这样我就不会一直提取相同的数据。
浏览 0提问于2017-08-30得票数 2
回答已采纳
我对kafka技术很陌生，我需要从DB中获取所有实时数据，并将其传递给springboot微服务进行处理。在我的分析中发现，带有kafka源连接的apache可以将所有实时数据从数据库中提取到kafka主题。有人能告诉我们，有没有办法从kafka主题中选择这些数据并通过触发kafka服务的tell调用来共享到微服务？这个想法是，每当在数据库表中添加一个新条目时，kafka就可以通过
浏览 3提问于2020-09-18得票数 0
1回答
我目前正在使用VoltDB kafka importer从多个kafka主题导入数据。我正面临着装载机的性能问题。我阅读了VoltDB文档，但无法找到如何微调进口商。6 nodes of VoltDB cluster and Kafka importers on the nodes with custom procedure for insert.Kafka导入程序配置Topic: mytopic_1,mytopic_2,
浏览 1提问于2018-09-07得票数 1
我试图在Windows上安装消息队列，以测试的用途(而不是为了生产)。这是一篇好文章，但不幸的是，它已经过时了。
浏览 10提问于2014-04-16得票数 42
回答已采纳
1回答
我下载了卡夫卡在我的本地个人电脑开发窗口，它与动物园管理员在其中。当我尝试使用下面的命令启动动物园管理员时，我得到了下面的错误。它给了我错误信息
error missing 'server' jvm at 'C:\Program Files <x86>\Java\jre1.8.0_65\bin\server\jvm.dll' please install or use the JRE or JDK that contains t
浏览 2提问于2018-08-17得票数 0
嗨:我是卡夫卡的新手，我遵循以下步骤在我的mac上安装和初始化kafka：我可以看到配置文件如下：开始卡夫卡
kafka-server-start /usr/local/etc&
浏览 1提问于2018-11-06得票数 0
回答已采纳
和卡夫卡版本火花-sql-卡夫卡-0-10_2.11_2.4.3和卡夫卡-客户_0.10.0.0。我理解，需要使用变更数据捕获(CDC)。如何在我的场景中实现变更数据捕获(CDC)？
浏览 4提问于2019-11-27得票数 0
--broker-list localhost:9092 --topic topic-test[2018-10-25 10:03:17,919] INFO [Kafka Server 0], started (kafka.server.KafkaServer)
[2018-10</
浏览 0提问于2018-10-25得票数 2
回答已采纳
我想在Apache Kafka中创建实时数据管道。我有一个数据库，它位于远程位置，该数据库不断更新。我应该使用哪个Kafka连接API从数据库中提取数据并实时摄取到Kafka broker中？稍后，我将使用kafka stream和KSQL运行即席查询来执行指标。
任何帮助都将不胜感激！
浏览 2提问于2018-08-28得票数 1
如何在couchbase上运行检查以擦除/验证数据库中的所有数据，并确保它没有错误？
在MSSQL里我们有checkdb，在ZFS上我们有scrub --沙发上有这样的东西吗？
浏览 0提问于2015-11-10得票数 0
我正在尝试为没有ssl的Kafka集群启用SASL用户名和密码。问题是在kafka上创建和删除主题。例如，当我尝试使用以下命令时： ~/kafka/bin/kafka-topics.sh --list --zookeeper 10.x.y.z:2181 我能够列出kafka集群中的所有主题，并创建或删除任何主题，而无需任何身份验证。在这件事上的任何帮助都是非常感谢的。
浏览 45提问于2019-02-28得票数 0
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
