1回答
我有一个主流，它必须通过另一个流的数据来丰富。这个主流有属性为"site“和"timestamp”的元素。另一个流(我们称它为country stream )具有"site“和"country”属性。假设一个元组("klm.com"，100)到达主流。现在应该将其丰富到("klm.com", 100, "france")。如果在乡间小溪中找不到某些站点，
浏览 0提问于2016-07-29得票数 0
我希望在不改变预期负载的情况下重用现有的流链，并从新的流调用它。但是，我不确定如何在不丢失新流的有效负载的情况下调用现有流。所有这些都必须在一个事务中完成。|在持久化流程A成功之后，我想继续从验证流B
浏览 0提问于2016-06-08得票数 1
1回答
我有以下用例:卡夫卡主题的记录流。我有另一组独特的ID。对于流中的每条记录，我需要检查该流的ID是否存在于我拥有的唯一ID集中。基本上，这应该作为我的卡夫卡流应用程序的过滤器。也就是说，只编写与唯一ID集匹配的Kafka主题的记录到另一个主题。
我们目前的应用程序是基于Kafka流的。我看了KStreams和KTables。看上去他们很适合丰富生活。现在，我不需要任何丰富的数据。至于使用状态存储，我不确定它们作为一个
浏览 4提问于2020-04-03得票数 2
回答已采纳
2回答
我已经设置了火花流，以便它从套接字中读取，在将数据发布到兔子队列之前对数据进行一些充实。通过读取常规文本文件(Source.fromFile.)，丰富程序从地图中查找信息。在设置流上下文之前。另一方面，在使用StreamingContext时，我只能从流中读取，而不能像使用SparkContext那样从静态文件中读取。
我可以尝试允许多个上下文，但我也不确定这是否是正确的方法。
浏览 1提问于2015-03-22得票数 4
回答已采纳
现在，我尝试使用MergeContent处理器，但它附加了两个流文件。未添加为具有唯一id的新列。
这里的问题非常相似，，但它没有太多细节。
浏览 6提问于2019-12-03得票数 0
1回答
我有一个用例，在这个用例中，我想在两个Flink运算符之间共享状态：
流B只是一个丰富数据集。它很大(几个GBs)，因此不适合作为广播流。流B有一个与它相关联的操作符(FlatMap，但可能是任何东西)，它充当状态加载器，并以列表状态将丰富数据加载到RocksDB中。只是从软件工程的角度来看，将职责划分为一个“状态加载器”类和
浏览 0提问于2019-02-04得票数 3
1回答
CREATE TABLE AS SELECT只能通过分组来完成，但是如何在Base中组织一个表(您需要一个没有聚合/分组的简单表)，以便为另一个流补充数据？举个例子:有一个带有字段(product，city_id)的流A。我们需要一个包含字段(city_id、city_name)的表(或其他东西)，该表由另一个线程补充。并且有一个流将补码流A与表中的名称连接起来。 如何使用外部目录组织数据
浏览 19提问于2021-06-17得票数 1
回答已采纳
我试图用一个额外的属性来丰富我的输入流，这个属性是通过"http- response“响应接收器填充的。我尝试使用"join“with window属性和”with“关键字来合并两个流，并将合并后的流插入到另一个流中以丰富它。e1.variable2 as variable2, e2.variable3 as variable3
insert into EventOutputStream; ** 有没有更好的方法来合并这两个
浏览 6提问于2019-10-01得票数 2
回答已采纳
1回答
我有两个流。一个是事件流，另一个是数据库更新流。我想用从DB更新流构建的信息来丰富事件流。
事件流非常庞大，并使用5个字段进行划分。这给了我很好的分布。DB流要少得多，并且使用两个字段进行分区。我目前正在使用两个公共字段连接这两个流，并使用flapMap来丰富第一个流。flatMap操作符使用ValueState来维护状态，该状态由两个公共字段自
浏览 2提问于2016-06-09得票数 0
实现这一目标的标准方法是什么：
给定一个ConnectedStreams，例如CoFlatMap UDF，如何在控制流“准备好”之前阻止对数据流的任何处理。我的特殊用例如下:我有一个CoFlatMap函数。数据流包含需要使用其他信息丰富的元素(它们附带的一些字段为空)。缺少的信息是从控制流中提取的，控制流的元素来自卡夫卡源。
浏览 5提问于2021-02-17得票数 0
回答已采纳
1回答
获得火花的流窗口时间戳
、、、、
我使用星火流在特定的时间间隔内接收来自零MQ队列的数据，丰富它并将其保存为parquet文件。我想比较一下从一个流窗口到另一个流窗口的数据。(稍后使用拼花文件)JavaDStream<myPojoFormat> enrichedData = inputStream.map(new
浏览 4提问于2016-06-01得票数 2
回答已采纳
10回答
试着理解什么时候在Mule中使用Message Enricher？有人能用真正的用法来解释吗？我已经看过了骡子文档的例子
浏览 9提问于2016-08-14得票数 1
回答已采纳
如何将上下文从异步方法调用传递到另一个方法调用--而不使用方法参数？
我需要这个特性来用一种流ID丰富日志消息，这样我就可以轻松地跟踪特定调用方法流的所有日志消息。
浏览 5提问于2016-07-13得票数 3
回答已采纳
1回答
有一个卡夫卡集群，我从其中消费两个主题，并加入它。由于联接的结果，我对数据库做了一些操作。对DB的所有操作都是异步的，因此它们返回给我一个未来(scala.concurrent.Future，但无论如何它与java.util.concurrent.CompletableFuture相同)。secondSource, joinFunc) .foreach(saveResultToStorage)
我可以使用流中的未来值来管理
浏览 3提问于2017-02-15得票数 5
1回答
在项目中，我目前正在使用来自Akka的参与者消息和流。我明白了，v5也有流。根据它看起来像Spring在引擎盖下使用Akka流(加上其他东西)。
问题是:从Akka流切换到Spring流</em
浏览 2提问于2017-02-25得票数 0
回答已采纳
1回答
我有一个事件的源头看起来像这样 String userName;}class EventStats { Map<String,Integer> webPageCounters; 如何确保在开始处理事件流之前，我将为我准备好丰富的数据？我不想在流中执行DB调用。
浏览 0提问于2021-05-11得票数 0
这是一个假设的场景，但与我试图使用Kafka Streams实现的场景类似。如何确保用户/项目数据中的更新也会触发对过去销售数据的丰富，而不仅仅是流中摄取的新数据。我相信这可能是一个常见的用例，至少我可能不是第一个有
浏览 0提问于2020-08-21得票数 0
KafkaStreams streams;streams.start();
流版本: 2.7.0
浏览 4提问于2021-04-09得票数 0
1回答
为了丰富数据流，我们计划将MySQL (MemSQL)服务器连接到现有的flink流应用程序此外，我还发现了另一个名为Flink-CDC https://ververi
浏览 19提问于2022-02-07得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
