2回答
我们正在努力并行我们的Kafka消费者，以处理更多数量的记录来处理峰值负载。我们已经在做的一种方式是通过在同一消费者组中旋转尽可能多的消费者和分区。我们的消费者负责进行API调用，到目前为止，它是同步的。我们觉得让这个API调用异步会让我们的消费者处理更多的负载。因此，我们尝试使API调用异步，并在其响应中增加偏移量。然而，我们看到了一个问题：
通过将API调用设置为异步，我们可以首先获得最后一条记录</em
浏览 2提问于2019-06-19得票数 2
我正在尝试使用第三方api并将其存储在数据库中。然后，我想将我自己的api暴露给一些私有应用程序(web、移动等)。
消费和存储第三方API内容的原因是因为api对每天和每秒的调用次数有严格的限制。在我的项目中，我应该把消费和调度api消费的代码放在哪里？我使用httparty获取api内容，并计划将该数据映射到活动记录。
浏览 1提问于2013-03-10得票数 0
回答已采纳
我想在一个API调用中从Kafka发送和取回数据(见下图)。这个是可能的吗？我已经知道如何使数据朝一个方向发展(例如，使用Kafka消费API来读取数据)。我还知道如何通过两种单向方法来“伪造”(例如，网络应用程序既是生产者又是消费者)。然而，当web应用程序调用API时，我只想让它处理自己的记录，而不是主题中的所有记录，因此这似乎是错误的方法。每次我打电话给卡夫卡制作人时，都要创造出短暂的/临时的消费者。临时用户将过滤掉所有的<
浏览 3提问于2015-06-17得票数 4
我有一个消费者API线程运行在我的应用程序中(运行在不同的节点上)，我的目标是消费来自Kafka的传入记录，它将具有唯一的id作为键。寻找一个选项来存储由Kafka消费者API处理的记录，以便我的订单可以使用它来显示。
计划在Kafka broker上使用Stream API处理并创建Ktable。如果是这样的话，是不是就像是临时的，记录一处理就会释放内存？尝试避免应用程序中的任何内存问题，并查看哪个状态存储选项最适合我的用例。非常感
浏览 3提问于2020-07-20得票数 0
1回答
我们正在为应用程序中的产品使用后端服务，并为动态内容(添加在后端并同步到应用程序中)使用应用内消耗品映射方案，这样添加到后端的新内容可以与应用程序购买中的固定价格相匹配，这样我们就不必在后端添加新项目时添加带有itunes连接的新对象。但是，如何才能对产品进行修复(因为苹果公司要求这样做)？是否有可能将事务的接收发送到后端并使用它进行还原？这里有谁有类似解决方案的经验吗？
浏览 2提问于2017-02-22得票数 3
回答已采纳
当通过kafka consumer API检索消费者指标时，即使使用kafka- consumer -groups.sh工具描述消费者组，记录-滞后-最大值偶尔也会返回0。metrics.num.samples如何影响记录-滞后-最大值的计算？
浏览 29提问于2019-10-25得票数 0
回答已采纳
1回答
我有一些用户和一些由用户创建的API。例如，用户之一登上了提供天气信息的免费API之一。另一个用户从商店订阅了它，并开始消费它。在一天结束的时候，大约有20次来自用户的点击来消费天气API。但是，在这20次命中中，有2次命中没有从天气API URL (我们在生产中配置的URL和发布者的沙盒URL)获取任何结果，因为连接断开了，但由于APIM正在运行并允许用户消费，日志记录继续并为用户生成了如何克服这种情况，在这种情况下，API是外部的
浏览 13提问于2019-03-15得票数 0
2回答
通过设置set enable.idempotence=true，我可以强制Kafka producer对每条生产记录只写一次。然而，在消费方面，我需要保证消费者只读取每条记录一次(我对将消费的记录存储到外部系统或另一个正在处理的Kafka主题中不感兴趣)。要实现这一点，我必须确保处理轮询记录，并将它们的偏移量以原子/事务方式提交给__consumer_offsets主题(两者都成功/失败)。在这种情况下，我是否需要求助于Kafka事务API<
浏览 0提问于2020-10-10得票数 1
在API内部(API负责生成和编写信息)
在API中，只向调用方公开信息，并让调用应用程序处理记录它并对其执行操作？
浏览 4提问于2014-06-06得票数 0
回答已采纳
1回答
我正在使用Kafka 0.10.2，为了接收Kafka的记录，我有一个消费者投票循环，如下所示： ConsumerRecords<Long, String> recordsrecords == null || records.isEmpty()) break; // dont wait for records在轮询循环之前，我们试图通过使用"offsetsForTimes“API我们得到的记录，直到我们到达最后的时间戳。
记录</
浏览 2提问于2017-10-08得票数 0
我正在学习apache spark与kafka的集成，这样当新消息到达Kafka的主题时，我的代码就可以自动运行。 我也读过官方文档 https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html 但我仍然对它的工作原理感到困惑。我有我的字数统计写的程序在java火花和另一边卡夫卡正在运行。 结构化流媒体是kafka和spark java代码之间的桥梁吗？它是否一直在监听kafka，并且每当消息到达时，它都会从kafka中提取消息，并将其传递给java代码？这是对的吗？ 如果没有，有没有人可以和
浏览 15提问于2019-12-10得票数 1
2回答
我正在寻找一个“低成本”的方法，以保持一个消费者的生存，当我不积极投票。也就是说，仍在处理上一次投票的记录，我不希望消费者连接超时。一些看起来很有希望的功能：
重新:设置更高的连接超时-我希望消费者超时，如果它被插入。我的问题涉及一个部分，在这个部分，我已经获取了一个记录块，并且独立的线程正在它们中工作。
浏览 2提问于2017-05-01得票数 5
回答已采纳
我正在与NodeJs MS合作，到目前为止，他们通过Kafka消费者/制片人进行通信。现在我需要安装一个Loggger MS，它必须记录所有消息并进行一些处理(解析并保存到db)，但我不确定是否可以使用Kafka Stream改进当前的方法，或者是否应该继续使用使用者
浏览 4提问于2020-02-11得票数 0
回答已采纳
1回答
kafka生产者读取每个CSV记录，并发送到具有2个分区和每个分区中的2个消费者的kafka主题。每个CSV文件可以有100 - 100,000条记录。每个消费者阅读同一主题，平均30秒可处理1000条记录。
因此，4个消费者可以在( 100,000 /4)*30/1000/60 = 12.5分钟内处理一个100,000条记录的文件。我对生产者和消费者都使用Java Spring Kafka连接器。
浏览 22提问于2020-11-12得票数 0
我有要求，我想要收到我的购买，已经消费。因此，getPurchases方法的使用被排除在外，因为它只提供了购买的信息，而这些信息都是自己拥有的，而不是消费的。我可以看到getPurchaseHistory的文档，它可以给出中所有采购记录
但是它的api不存在于IInAppBillingService.aidl中。
浏览 4提问于2017-01-06得票数 3
回答已采纳
我正在使用confluent 产品来消费某个主题中的记录。我的目的是只使用topic中的前100条记录。我正在使用以下REST API来获取记录如何做到这一点？有什么想法吗？
浏览 0提问于2018-12-03得票数 2
1回答
假设我的公司从主服务器捕获了50个日志，并分发到许多容器，这些容器有自己的配置文件与之关联，我的问题是，我们如何一起使用Kubernetes Master & worker节点来维护所有这些容器，如果有新的日志到来并创建新的容器，这些容器应该可以扩展，同时所有的worker节点应该只运行其中的特定容器，并且不应该在其中一个节点关闭时复制自己。
浏览 13提问于2019-04-23得票数 0
我正在尝试写一个卡夫卡消费者应用程序春季-卡夫卡。作为消费者，我必须确保我没有丢失任何记录，所有的记录都应该被处理。from topic --> dump it into a table A in oracle database --> pick records from a table A --> call rest apito update records in system table B --> update response of API in tabl
浏览 0提问于2020-09-22得票数 0
1回答
是否有可能创建一个Kafka出版商而不订阅它，那么，从另一个应用程序，创建一个消费者，订阅主题，并触发记录的发射？在消费者方面(另一种应用程序)，我所做的是：
目前，除非我在发布服务器上做了一个then().subscribe()，否则消费者什么也得不到，这使得它立即发出。
浏览 1提问于2017-12-02得票数 1
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
