腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
3
回答
如何
从
kafka
主题
直接
查询
?
、
、
我已经研究了Interactive queries和KSQL,但我似乎无法确定是否可以基于键
查询
特定的记录。假设我在一个
主题
中有一条记录,如下所示: { value: id: "1", } } 可以在
主题
中搜索关键字另外,KSQL和交互式
查询
会占用整个
主题
来执行
查询
吗?
浏览 30
提问于2020-01-02
得票数 0
回答已采纳
1
回答
从
mysql到mongo数据库的数据调度问题
、
、
、
、
我们已经使用了Mongo DB,我们已经在其中存储了准备好的JSON,我们需要显示一段时间(与MySQL的所有连接),它工作得很好 我们用java编写了一个调度程序,它每2分钟运行一次,并将修改后的记录
从
MySQL最初,它工作得很好,但随着时间的推移,数据和它的速率增加,它失败了很多次,所以我们决定寻找任何可以
从
MySQL binlog读取的替代方案,我们可以在途中根据需要合并MySQL表,并将其存储在Mongo
浏览 14
提问于2020-02-04
得票数 0
2
回答
将
Kafka
Connect JDBC源连接器输出转换为自定义格式
、
、
我已经实现了一个
Kafka
Connect JDBC Source连接器,它连接到Oracle-Database,并将数据写入
Kafka
-Topic。目前,我已经在设置value.converter.schemas.enable=false的情况下设置了选项value.converter=org.apache.
kafka
.connect.json.JsonConverter该选项允许将JSON数据写入
Kafka
主题
(顺便说一句,它工作得很好),但不包括在将数据发送到
Kafka
代理之前修改
浏览 3
提问于2021-02-18
得票数 0
1
回答
未从ksql
查询
中获取结果
、
我有一个在本地运行的
kafka
集群和一个名为"my- topic“的
主题
,在这个
主题
中我正在推送数据。我还运行了ksql服务器,并且
查询
: SELECT*FROM "my-topic“给出了"my-topic I not exist”。我知道这个
查询
是不正确的,我想知道是否有其他方法来
查询
主题
。
浏览 4
提问于2018-06-05
得票数 1
1
回答
每小时或每天都有一个卡夫卡
主题
是典型的吗?
、
我将页面访问和搜索
查询
(某种点击流分析)记录到
kafka
。我打算定期批处理它们,比如每小时或每天,然后将聚合结果写入elasticsearch。如果不是写入
kafka
,而是写入文件系统,则可以很容易地配置记录器写入文件名中有时间戳的文件,自动按照小时/天间隔划分日志。但对于
kafka
,我搜索了足够多的时间,还没有找到任何每小时/每天创建一个新
主题
的例子。如果不是每小时/每天创建一个新
主题
,我只能想象通过logstash/flume将日志
从<
浏览 8
提问于2017-07-20
得票数 1
回答已采纳
1
回答
记忆图
如何
与卡夫卡流一起工作?
Memgraph是否充当
Kafka
的流源的接收器,然后一旦接收到消息,将它们组织到一个图形数据库中?如果是,这些消息是
如何
组织的。我不明白
如何
将消息
从
它们在特定
主题
中的格式转换为图形数据库可以理解的内容,比如Memgraph。
浏览 1
提问于2022-09-28
得票数 0
回答已采纳
2
回答
使用HiveStorageHandler的
Kafka
生产者
、
、
、
现在,我正在尝试编写一个自定义的HiveStorageHandler实现,用于使用Hive Table
查询
和推送消息到
Kafka
。我看到了HiveStorageHandler的其他实现,它允许我们使用hive表在NoSQL数据库上
查询
和写入。有人
浏览 5
提问于2018-11-25
得票数 0
1
回答
Kafka
stream应用程序可以
从
Kinesis Stream中读取吗?
、
、
、
我需要写一个java应用程序,
从
Kinesis流读取和存储数据到
Kafka
主题
。我不能使用连接器,我必须使用
Kafka
Streams,因为其中涉及到很多逻辑。
Kafka
Stream是否可以
直接
从
Kinesis流读取,或者我必须先将数据存储到
Kafka
topic才能被
Kafka
Stream读取?我读了很多关于
Kafka
Streams的文章,除了
Kafka
主题
之外,我从来没有
浏览 18
提问于2019-07-29
得票数 1
1
回答
有没有一个Telegraf插件可以接受
从
Influxdb读取数据的
查询
,然后使用
kafka
输出插件将它们发布到
Kafka
主题
上?
、
、
、
使用Telegraf插件,有一种方法可以
从
InfluxDb读取数据并将其发布到
Kafka
主题
。 但有没有一种方法可以按需读取数据并将其放在
Kafka
主题
上?就像基于
查询
的需求。我可以通过REST API (curl GET)执行基于
查询
的读取。 有HTTP侦听器插件,但这些插件仅用于POST方法。GET方法没有,我可以
从
InfluxDb
查询
数据的子集,并将它们放在
Kafka
主题
上。在这种情况下,<e
浏览 28
提问于2019-06-14
得票数 1
1
回答
从事件驱动架构中的微服务获取信息
、
、
、
我有一些做REST微服务架构的经验,但现在我想开始在我的事件驱动架构中使用
kafka
作为消息提供者。 我有一个问题,就是理解微服务之间的通信是
如何
工作的。可以创建用户,然后用户可以向另一个用户发送消息,我计划用
主题
来做这些事情,然后将它们存储在MongoDB中。
如何
在事件驱动的体系结构中检索此消息?编辑:这个示例非常简单,只是为了教育目的和使用Apache-
Kafka
进行练习。
浏览 7
提问于2019-12-29
得票数 0
2
回答
Kafka
流交互
查询
--在
查询
状态存储之前,
如何
等待流处理输入
主题
中的所有当前记录
、
我正在尝试编写一个
kafka
streams应用程序,它执行一些转换并将数据放入物化的键值存储中,然后
从
存储区读取它(我需要
查询
压缩的数据)。我面临的问题是,在启动KafkaStreams (运行状态上的侦听器)之后,我看不到有办法等待
从
输入
主题
到存储区处理数据。如果我在KafkaStreams状态运行后
直接
开始
查询
存储(并且在单独的线程中这样做),我将读取空存储,在实际读取任何数据之前应用程序退出。总括而言: ,在
查询
输入
主题
之前,
浏览 1
提问于2021-04-06
得票数 0
2
回答
实时事件处理
、
、
我把flume和
kafka
搞混了。我不想将事件存储在某个地方,因为我已经用最新的值更新了数据库。我真的需要spark,(flume/
kafka
) + spark,来满足处理端吗? 我们可以在没有水槽的情况下使用flume进行任何类型的处理吗?
浏览 13
提问于2017-06-29
得票数 1
2
回答
使用camel
kafka
连接器
从
远程文件读取文件记录
、
、
哪个camel
kafka
连接器组件可以
从
远程服务器读取文件并将记录发布到
kafka
主题
?我尝试了camel-sftp-
kafka
-connector,但它将整个文件移到了
主题
。有没有连接器可以
直接
读取远程服务器上的文件?
浏览 27
提问于2020-12-31
得票数 0
2
回答
Kafka
Streams - java版本依赖关系
我正在使用Java1.6运行我的应用程序,并计划将一些方面与
Kafka
集成。 我正在探索是否应该使用
Kafka
Consumer (使用poll())或使用KafkaStreams API。
浏览 3
提问于2018-12-20
得票数 0
2
回答
使用
Kafka
Connect构建数据转换服务
、
相反,
Kafka
提供了它的API接口,它对于处理配置以及任务、工作人员等都非常有用。
如何
将信息
从
SinkConnector发送到卡夫卡
主题</em
浏览 11
提问于2021-04-26
得票数 0
1
回答
如何
在
kafka
源连接器属性中配置多个
查询
和
查询
特定
主题
?
、
、
、
我希望使用Source连接器将SQL中的数据导入
kafka
主题
,因此,为了配置源代码属性文件,我将从SQL表中获取整个数据到
Kafka
主题
中,但我不希望
从
SQL表中获得全部数据,我希望
从
表中获得特定的列,表可能是多个,主要是我不知道
如何
配置每个
查询
的多个
主题
。
浏览 1
提问于2019-10-03
得票数 0
回答已采纳
1
回答
火花流+
Kafka
:
如何
从
kafka
消息中检查
主题
名称
、
、
我正在使用星火流
从
卡夫卡
主题
列表中阅读。我正在遵循这个的官方API。KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](我想知道执行者将
如何
从
主题
列表中读取信息他们会阅读一个
主题
,然后当他们完成消息传递给其他
主题
吗? 最重要的是,在调用此方法之后,我
如何
检查RDD中的消息<em
浏览 3
提问于2017-04-05
得票数 3
1
回答
从
古典建筑到卡夫卡,你是
如何
实现以下几点的?
、
我们正试图
从
传统的架构J2EE应用服务器/关系数据库迁移到
Kafka
。我有一个用例,我不确定该
如何
处理……或者在调度触发点创建KafkaStream以
从
Kafka
流中收集此信息? 你认为
浏览 4
提问于2018-09-11
得票数 0
1
回答
如何
通过消费
kafka
主题
消息而不是Rest API来创建命令
),它在SpringBoot主类中使用在我们的用例中,命令端微服务需要从
kafka
主题
中挑选消息,而不是将其公开为Rest api。它会将事件存储在事件存储中,然后将其移动到另一个
kafka
主题
,供
查询
端微服务消费。 由于KafkaAutoCOnfiguration被禁用,我不能使用spring-
kafka
配置来编写消费者。
如何
在Axon中使用
浏览 18
提问于2019-07-12
得票数 0
1
回答
Kafka
生产者将从XML文件发布消息到
Kafka
主题
、
、
、
我有一个用例"XML文件==>
Kafka
主题
==>构建REST来
查询
“来自卡夫卡
主题
的数据。我熟悉把数据转换成Avro格式,并写到
kafka
主题
。我还尝试用
kafka
-控制台生成器发布,但是对于每一行xml文件,键都被填充为
浏览 1
提问于2018-05-16
得票数 0
点击加载更多
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券