1回答
屏蔽来自Kafka流的数据
、、、、
我使用spark Structured来流式传输来自kafka的数据，它为我提供了以下模式的数据帧 Column Typevalue binarytopic stringoffset longtimestampType int 值Colum是以二进制格式出现的，但它实际上是一个具有struct类型的json字符
浏览 23提问于2020-10-16得票数 0
我正在读取来自Kafka源的流数据，但所有来自kafka的数据都是在单个微批次中读取的。spark.readStream.format("kafka").option("kafka.bootstrap.servers",bootstrap_servers).option("subscribe", topics).optio
浏览 2提问于2020-06-01得票数 1
在spring运行时，可以让kafka源模块作为处理器模块工作吗？有代码样本吗？我正试图实现这样的目标: http (xd源)、xd源(xd处理器)、xd使用者(xd接收器)stream create kafkaSourceTest --definition "http --outputType=application/json | kafka
浏览 3提问于2015-05-12得票数 0
回答已采纳
我正在用Java/Python构建一个使用kafka和Kafka流的产品。
该产品将处理来自几个不同外部数据源的数据，这些数据源包括实时事件和每小时批处理事件。可能会有很长的差距，几个小时在一起，没有任何事件将来自外部来源。其中一些来自不同来源的事件需要进行关联和聚合，为此我计划使用Kafka流。鉴于Kafka
浏览 1提问于2019-05-16得票数 1
我使用kafka作为流数据层。nodejs应用程序将使用来自kafka的数据，而C++应用程序则生成流数据并写入kafka。它可以正常工作，但我想知道是否可以使用kafka缓存流数据并让nodejs查询。
我需要支持其他客户端的基本request - response请求。我将不得不在我的nodejs应用程序中保存Redis上<
浏览 0提问于2019-12-10得票数 0
回答已采纳
在Snowflake kafka连接器中，我可以使用预定义的数据类型，因为在内部它使用雪花管道来加载数据。 我在这里试图实现的是，在将数据加载到阶段表时，从我的json msg中删除外部数组。
浏览 31提问于2020-08-11得票数 0
1回答
我曾经在上工作过，并开发了一个使用本地文本文件作为输入源的basic程序。但现在我必须处理来自外部系统的连续流数据。为此，Kafka是最好的选择。问题是如何让我的Spout从Kafka获取流媒体数据。或者如何将Storm与Kafka集成。我怎么做才能处理来自Kafka的数据呢？
浏览 2提问于2013-11-05得票数 2
1回答
对阿帕奇骆驼非常熟悉，我是卡夫卡溪流中的一只新蜜蜂。我正在学习Kafka流，但没有找到任何相关的答案，以下查询，
这两者之间的区别，因为我觉得骆驼库比卡夫卡流更通用，而卡夫卡流并不适用于没有卡夫卡代理的系统(不确定这
浏览 8提问于2021-12-15得票数 -1
回答已采纳
给定来自Kafka的数据流，是否有内置的方法，或者执行SQL查找的最有效方法是什么。 例如，将流对象连接到sql表，并将其与Kafka数据流连接。给定可以在自组织基础上更新的sql表，
浏览 16提问于2020-04-15得票数 0
回答已采纳
我正在使用Druid 从Kafka加载流。我在德鲁伊研究关于的博士学位。但是关于Hadoop批量摄入的所有信息，。换句话说，我需要使用Kafka索引服务(来自卡夫卡的流)用新值重写旧
浏览 2提问于2018-03-17得票数 2
1回答
我做了一个poc，在其中我使用火花流读取来自Kafka的数据。但是我们的组织要么使用Apache或者Kafka使用者来读取Apache中的数据作为一个标准过程。在我的应用程序用例中，我需要从kafka读取数据，过滤json数据，并在cassandra中放置字段，因此建议使用Kafka使用者，而不是flink/其他流，因
浏览 4提问于2017-03-26得票数 0
这个windowedBy KTable的想法是拥有一个状态，该状态为一件“事物”保存一天的所有事件。假设产生了一个新的警报，我想将一天内“事物”的所有事件都附加到警报中。然后，我会执行从KStream警报到KTable历史记录的leftJoin。这是将历史数据添加到Kafka事件的最佳方式吗？有没有一种方法可以只“查找”KStream事件的最后x天？我检查了KStream Alert-KStream Event leftJoin，但它
浏览 67提问于2021-03-14得票数 0
我有一个来自Kafka的JSON记录流，并对它们进行过滤，一切都很好。 现在，我想用一个数据库表中的查找值来丰富Kafka中的数据。 这是否只是创建两个流，加载第二个流中的表，然后连接数据的情况？数据库表确实会更新，但并不频繁，我希望避免在通过流的每条记录上查找DB。
浏览 24提问于2019-04-16得票数 5
回答已采纳
我有一个流收集和处理的Flink应用程序。该应用程序由Kafka作为事件源、协同映射函数和Kafka接收器组成，如下图所示：我想用CSV文件中的一些字段丰富Kafka输入的流。我还希望定期刷新配置磁盘位置的csv文件。此外，在配置的<
浏览 1提问于2022-02-19得票数 0
我正在尝试构建一个Spring应用程序，它使用来自一个Kafka主题的事件，对其进行一些处理(可能涉及对反应性db查找的操作)，并将它们发送到另一个kafka主题。目前，该应用程序为kafka使用了webflux和spring云数据流。这里的</e
浏览 7提问于2022-12-02得票数 0
Memgraph是否充当Kafka的流源的接收器，然后一旦接收到消息，将它们组织到一个图形数据库中？如果是，这些消息是如何组织的。我不明白如何将消息从它们在特定主题中的格式转换为图形数据库可以理解的内容，比如Memgraph。
浏览 1提问于2022-09-28得票数 0
回答已采纳
2回答
我需要一种从node-red发送数据的机制，以存储在HDFS (Hadoop)中。我更喜欢数据是流式传输的。我正在考虑使用“websocket out”节点将数据写入其中，并使用Flume代理进行读取。你能让我知道我的方向是否正确，如果我不是，请澄清一些细节？任何替代方法都应该是可以的。
最新消息: node-red提供了'bluemixhdfs‘节点，它与IBM bluemix绑定在一起，而我使用的<
浏览 53提问于2017-01-09得票数 2
我是PySpark的新手，我在我的Ubuntu14.04上安装了Kafka单节点和单代理。安装完成后，我测试了使用kafka-console-producer和kafka-console-consume发送和接收数据的Kafka。Good morning this is test message
下面来自
浏览 24提问于2016-09-27得票数 1
1回答
我想知道是否有可能提供输入来激发来自StreamSets的流。我注意到在StreamSets连接器目的地中不支持火花流。
我将探讨是否有其他方法将它们连接到一个示例POC。
浏览 3提问于2016-07-06得票数 3
回答已采纳
2回答
存储流事件的建议
、、、
我们正在评估持久化流事件的可能方法(用户单击来自多个不同用户的web浏览器中的事件)，以便我们能够构建定制的用户仪表板，以便稍后分析这些单击事件。我们计划使用Kafka作为中间层，吸收来自不同用户浏览器的大量流数据。然而，我很想知道Kafka是否也可以作为一个持久的数据库来存储这些事件，以便我们以后可以构建仪表板应用程序，并让它通过我们设计<em
浏览 18提问于2022-03-30得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
