kafka连接异常，复制因子:比可用brokers大3:1
Kafka连接异常是指在使用Kafka消息队列时，出现了无法正常连接到Kafka集群的情况。复制因子是指Kafka中用于数据冗余和高可用性的机制，它决定了每个分区的副本数量。
具体答案如下：
- Kafka连接异常：
- 概念：Kafka连接异常是指在使用Kafka消息队列时，由于网络故障、配置错误或其他原因，无法正常连接到Kafka集群的情况。
- 优势：Kafka连接异常的解决可以提高系统的可用性和稳定性，确保消息的可靠传输和处理。
- 应用场景：Kafka连接异常的处理适用于任何使用Kafka作为消息传递系统的应用程序，特别是对于需要高可用性和可靠性的分布式系统。
- 复制因子：
- 概念：复制因子是指Kafka中用于数据冗余和高可用性的机制，它决定了每个分区的副本数量。
- 优势：通过设置适当的复制因子，可以提供数据的冗余备份，保证数据的可靠性和高可用性。
- 应用场景：复制因子的设置适用于任何使用Kafka的应用程序，特别是对于需要保证数据不丢失和系统高可用性的场景。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云消息队列 CKafka：https://cloud.tencent.com/product/ckafka
- 产品介绍：腾讯云消息队列 CKafka 是一种高吞吐量、低延迟的分布式消息队列服务，基于 Apache Kafka 架构，提供可靠的消息发布和订阅功能，适用于大规模数据流处理、日志收集、实时计算等场景。
- 腾讯云云服务器 CVM：https://cloud.tencent.com/product/cvm
- 产品介绍：腾讯云云服务器 CVM 是一种可弹性伸缩的云计算基础设施，提供高性能、可靠稳定的云服务器实例，适用于各种计算场景，包括前端开发、后端开发、数据库、服务器运维等。
请注意，由于要求不提及特定的云计算品牌商，以上推荐的腾讯云产品仅作为示例，实际使用时可以根据具体需求选择适合的云计算服务提供商。
相关·内容
1回答
我们有3个kafka代理和topic，有40个分区，复制因子设置为1。在一些分区不受控制的kafka broker关闭后，我们看到不可能选举新的领导者(参见下面的日志)。最终，我们不能从主题中阅读。如果可以在不将复制因子更改为大于1的情况下在这种崩溃中幸存下来，请告知。
我们希望目标数据库有一个一致的状态(基于kafka主题中的事件创建)，因此我们还将参数unclean.leader.election.enable设置为false。
崩溃后的分区信息：
extenr-topic:1:882091242
extenr-topic:19:882091615
extenr-topic:28:8820
浏览 0提问于2017-10-11得票数 2
卡夫卡开始用错误淹没日志。
Broker 2上的configs=CreateableTopicConfig(name='compression.type'，信息管理器:错误处理创建主题请求CreatableTopic(名称=‘_ _偏移’，numPartitions=50，replicationFactor=3，assignments=[]，值=‘producer’)，CreateableTopicConfig(名称=‘清除’策略，值=‘紧凑’)，CreateableTopicConfig(名称=‘分段.字节’，值=‘104857600’) (kafka.server.ZkA
浏览 5提问于2022-09-07得票数 0
在Kafka启动时，多条消息记录到kafka/logs/kafkaServer.out并包含：
Broker 0上的信息管理器:错误处理创建主题请求CreatableTopic(名称=‘_confluent-CreatableTopic’，numPartitions=1，replicationFactor=3，assignments=[]，replicationFactor=3值=‘紧凑’，CreateableTopicConfig(name='min.insync.replicas'，值=‘2’)) (kafka.server.AdminManager)
大约15分钟
浏览 5提问于2020-12-08得票数 5
回答已采纳
1回答
我正试图在Kafka服务器上创建一个新的主题。但是越来越少的错误。请不要在只有一个经纪人的情况下建立独立的制度.它之前运行得很好，我更改的只是要创建的新主题名称。突然出什么事了？那它之前是怎么工作的？
/usr/kafka_2.11-0.9.0.0# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test00
Error while executing topic command : replication factor: 1 large
浏览 1提问于2016-01-25得票数 1
回答已采纳
1回答
我有一个由3个节点组成的Kafka集群，每个节点有1个ZK和1个代理。
Kafka version 0.10.1.1.
每个主题都有replication-factor=3和min.insync.replicas=2。在此之后，我们通过发出--describe检查主题是否成功地用正确的replication-factor和ISR创建。
我可以看到，过了一段时间，几乎没有几个主题将ISR缩小为一个单一的领导者。
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper zk1:2181,zk2:2181,zk3:2181 --topic topi
浏览 2提问于2018-07-17得票数 1
回答已采纳
2回答
我试着用卡夫卡来创造这个话题。
我遵循指南，但失败了。
此错误为
Error while executing topic command replication factor: 1 larger than available brokers: 0
kafka.admin.AdminOperationException: replication factor: 1 larger than available brokers: 0
at kafka.admin.AdminUtils$.assignReplicasToBrokers(AdminUtils.scala:70)
at k
浏览 4提问于2016-05-05得票数 0
回答已采纳
无法使用Ksqldb创建Kafka -> Cassandra Sink连接器：
使用“'io.confluent.connect.cassandra.CassandraSinkConnector'，”= "tasks.max“= '1‘、”主题“= 'tst’、"cassandra.contact.points”= ' cassandra‘、"cassandra.keyspace“= 'test’、"cassandra.write.mode”= 'Update‘、"confluent.topi
浏览 6提问于2020-05-19得票数 1
我在节点中创建了一个小的kafka代码，创建了一个主题。我总是得到没有错误的响应，但是在数据中有一个错误：
收到了主题的错误代码38。
我用卡夫卡码头连接卡夫卡。图片：
wurstmeister/zookeeper
以下是代码：
const kafka = require('kafka-node')
consumerOptions = {groupId: 'auditGroup'}
const topic = 'Audit-test3'
const {
Producer, Consumer, KeyedMessage, Consumer
浏览 3提问于2020-03-26得票数 0
回答已采纳
3回答
我正在尝试使用下面的代码通过AdminCommand创建一个kafka主题
ZkClient zkClient = new ZkClient(kafkaHost, 10000, 10000, ZKStringSerializer$.MODULE$);
AdminUtils.createTopic(zkClient, "pa_reliancepoc_telecom_usageevent", 10, 2, new Properties());
但是得到下面的异常
Exception in thread "main" kafka.admin.AdminOpe
浏览 0提问于2015-01-23得票数 10
回答已采纳
我去年在我的mac上安装了一个kafka，它在系统中有很多主题。现在我将zookeeper和kafka升级到最新版本。
通过运行zookeeper，它是成功的
zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties
然后是经纪人：
kafka-server-start /usr/local/etc/kafka/server.properties
但是，它会出现以下错误
INFO [Admin Manager on Broker 0]: Error processing create topic request Creat
浏览 1248提问于2020-08-02得票数 2
我正面临着一些与kafka相关的问题。我创建了一个带有2个分区和1个副本的主题来测试kafka行为。
kafka_2.10-0.9.0.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 2 --topic t1
检索与主题相关的数据时，我得到了以下信息：
kafka_2.10-0.9.0.0/bin/kafka-topics.sh --describe --topic t1 --zookeeper localhost:2181
Topic:t1
浏览 16提问于2018-01-19得票数 1
从Kafka文档和我读到的其他一些博客中，我得出结论，一个kafka-broker由一个主题分区组成。说，一个卡夫卡经纪人只持有一个分区。我的系统中只有一个代理，但是我可以用3个分区和1个复制因子创建一个主题。我还尝试用一个代理创建一个具有3个分区和3个复制因子的主题。它抛到错误下面
Error while executing topic command : replication factor: 3 larger than available brokers: 1 [2017-10-21 15:35:25,928] ERROR org.apache.kafka.common.errors.I
浏览 5提问于2017-10-21得票数 1
1回答
我正试图结束对卡夫卡的改变，但我已经不知所措，很难调试这个问题。
我有多个服务器将他们的Rails日志传送到一个Kafka broker，使用Filebeat，从那里这些日志转到我们的Logstash服务器，然后存储在Elasticsearch中。我没有设置原始系统，但我尝试把我们从3卡夫卡服务器下降到1，因为他们是不需要的。我在设置中更新了这些文件中的IP地址，以删除2台旧的Kafka服务器，并重新启动适当的服务。
# main (filebeat)
sudo vi /etc/filebeat/filebeat.yml
sudo service filebeat restart
# ka
浏览 0提问于2018-04-23得票数 1
1回答
卡夫卡主题不是创造
、、、
我使用下面的在Quickstart Cloudera中安装了kafka
但当我在命令下奔跑时
kafka-topics --zookeeper quickstart.cloudera:2181 --create --topic test --partitions 1 --replication-factor 1
我收到了跟随错误
19/09/21 11:28:36 INFO zookeeper.ClientCnxn: Session establishment complete on server quickstart.cloudera/10.0.2.15:2181, sessionid =
浏览 1提问于2019-09-21得票数 0
1回答
我们使用3个kafka节点在环境中测试scalein，每个节点在replica.factor=2中都有一个代理和动物园管理员服务，服务在2个节点上运行后，分区的领导者保留原来的一个，没有移动到唯一的向上节点。
然后发送一个错误消息。
错误:分区0没有领导者。跳过获取偏移错误:分区2没有领导者。跳过获取偏移错误:分区3没有领导者。跳过补偿
为什么会发生这种事？
浏览 1提问于2019-11-05得票数 0
回答已采纳
卡夫卡主题创作在以下场景中失败：
节点是kafka集群:4
复制因数:4
集群中启动和运行的节点数:3
以下是错误：
./kafka-topics.sh --zookeeper :2181 --create --topic test_1 --partitions 1 --replication-factor 4
WARNING: Due to limitations in metric names, topics with a period ('.') or underscore ('_') could collide. To avoid issues it i
浏览 1提问于2018-10-31得票数 3
回答已采纳
多亏了confluent_kafka.admin.AdminClient，我才得以检查我的集群中副本的配置 # meta is kafka's ClusterMetadata
for partition_id, partition in meta.topics[topic].partitions.items():
for repl in partition.replicas:
if repl not in meta.brokers:
print("replica not in broker") 我看到一些副本在分区中，但不属于“代理”。 什么意
浏览 25提问于2021-10-01得票数 0
回答已采纳
我想在Apache中运行一个多节点集群。我制作了三个server.properties文件--服务器、server1和server2。我还提供了不同的代理I和不同的端口号。在运行具有复制因子(如果为3的话)的脚本kafka-topics.sh时，它会抛出一个错误，说明复制因子:3大于代理数:0。
我使用了这个命令：
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replica-topic
显示的错误是
执行主题命令复制因子时出错:
浏览 1提问于2015-11-06得票数 3
回答已采纳
3回答
我试过以下方法-
./confluent start给-
此CLI仅用于开发，而不是用于生产。
使用CONFLUENT_CURRENT: /tmp/confluent.w1S9B10m启动动物园管理员
动物园管理员要开始卡夫卡了
卡夫卡起来了
启动模式-注册表模式-注册表已启动
开始卡夫卡休息
卡夫卡-休息起来了
起动连接
连接已启动ksql-server。
ksql server启动
之后，./kafka-topics --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic u
浏览 0提问于2018-10-02得票数 0
回答已采纳
1回答
我们一直试图在AWS机器上建立一个生产级Kafka集群，但到目前为止，我们一直没有成功。
Kafka版本: 2.1.0
机器：
5 r5.xlarge machines for 5 Kafka brokers.
3 t2.medium zookeeper nodes
1 t2.medium node for schema-registry and related tools. (a Single instance of each)
1 m5.xlarge machine for Debezium.
默认代理配置：
num.partitions=15
min.insync.replicas=1
浏览 0提问于2018-12-13得票数 5
我正在尝试从命令行创建一个新的Kafka主题
$ kafka-topics --create --zookeeper localhost:2181 --topic def-test
我得到了错误
Missing required argument "[partitions]"
从文档中，我看到设置num.partitions应该已经完成了这项工作。我的server.properties中有以下内容
# The default number of log partitions per topic. More partitions allow greater
# parallel
浏览 0提问于2018-02-26得票数 17
回答已采纳
1回答
卡夫卡主题的理想分区数
、、、
我目前正在进行一个有6 kafka-brokers的设置，数据正以每秒大约4000条消息的速度从两个producers推入我的topic，我有5个Consumers作为一个组来处理这个主题。我的kafka topic的理想分区数应该是多少？
如果需要在brokers/consumers/producers中进行任何更改，请随时告诉我。
浏览 8提问于2021-04-21得票数 3
回答已采纳
1回答
我有由马拉松/梅索斯管理的卡夫卡集群，其中有3个经纪人版本0.10.2.1。docker镜像基于。在启动和引导时自动顺序分配的broker.id=-1是自动重新平衡的auto.leader.rebalance.enable=true。客户端是0.8.2.1版本。
Zookeeper配置：
➜ zkCli -server zookeeper.example.com:2181 ls /brokers/ids
[1106, 1105, 1104]
➜ zkCli -server zookeeper.example.com:2181 get /brokers/ids/1104
{"liste
浏览 9提问于2017-07-26得票数 1
1回答
我有一个kafka集群(3台机器上有1台动物园管理员和1台代理运行在每台机器上)，我正在使用kafka_exporter来监控消费者的滞后度量，它在正常情况下工作得很好。但是，当我杀死一个代理时，Prometheus无法从 (kafka_exporter度量端点)获取度量，因为获取数据(150万)需要很长时间，因此它将是超时。现在，如果我重新启动kafka_exporter，我将看到一些错误：
Cannot get leader of topic __consumer_offsets partition 20: kafka server: In the middle of a leadersh
浏览 0提问于2019-06-07得票数 2
回答已采纳
1回答
我尝试在一组物理节点上部署一个Hyperledger Fabric集群，其中包含2个peers、2个orderers、4个kafkas和3个zookeepers。我的部署基于给定的docker 。
我下载了kafka_2.11-1.0.0.tgz，并使用以下命令在4个节点中启动了该过程(3个zookeeper节点也是属性设置)。
kafka-server-start.sh kafka-config/server-0.properties
kafka-server-start.sh kafka-config/server-1.properties
kafka-server-start.sh k
浏览 10提问于2018-08-17得票数 3
回答已采纳
我有一个3节点的卡夫卡集群。一个副本的数据被删除了。有没有办法通过引用其他两个kafka节点来恢复数据。
浏览 8提问于2022-09-20得票数 0
我正在尝试通过命令行按照Apache Kafka网站上的指南创建Kafka主题。运行该命令时：
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
我得到的错误如下：
Error while executing topic command replication factor: 1 larger than available
brokers: 0
kafka.admin.AdminOperationException: replica
浏览 2提问于2015-10-13得票数 58
我尝试使用汇流平台，并以为例，向REST端点发出高级别的Kafka请求。
我使用以下Kafka参数：
val kafkaParams = Map(
"bootstrap.servers" -> "localhost:9092",
"schema.registry.url" -> "http://localhost:8081",
"group.id" -> "EventConsumer",
"auto.offset.reset" -> "
浏览 3提问于2016-09-05得票数 0
我有卡夫卡连接(版本2.1.1-cp1)与卡夫卡(2.0.1-cp4)和运行大约70个连接器相当繁重的工作量。有时(每2-3周)，突然间，一些节点开始获得以下日志并停止工作：
INFO [Worker clientId=connect-1, groupId=dwh-prod] (Re-)joining group (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
INFO [Worker clientId=connect-1, groupId=dwh-prod] Successfully joined group
浏览 3提问于2020-08-25得票数 0
我在windows上使用的是Confluent 3.0.1平台。我遵循安装指南和开发人员指南来完成所有的安装和开发我的拓扑。
我启动了Zookeeper，然后启动了Kafka服务器，并尝试运行我的拓扑。但是在Kafka服务器上出现以下错误。即使我手动创建主题并运行拓扑，我也会看到相同的错误。
INFO Topic creation {"version":1,"partitions":{"0":[0]}} (kafka.admin.AdminUtils$)
[2016-09-21 17:20:08,807] INFO [KafkaApi-0] Au
浏览 16提问于2016-09-21得票数 0
我创建了一个示例应用程序来检查我的生产者的代码。当我没有分区键发送数据时，我的应用程序运行良好。但是，在指定数据分区的键时，我会得到以下错误：
[kafka-producer-network-thread | producer-1] WARN org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Error while fetching metadata with correlation id 37 : {myTest=UNKNOWN_TOPIC_OR_PARTITION}
[kafka-producer
浏览 0提问于2020-04-14得票数 3
1回答
我使用spring-cloud-sleuth-stream和spring-cloud-starter-stream-kafka发送span给kafka，连接时出现异常。spring cloud版本Edgware.SR1
spring
cloud:
stream:
kafka:
binder:
brokers: 192.168.1.177:9092
zkNodes: 192.168.1.177:2181
192.168.1.177是我的本地主机
我不明白为什么Updated
浏览 10提问于2018-02-05得票数 0
回答已采纳
2回答
我们有一个由5个经纪人和3个动物园管理员组成的Apache集群。饲养员的版本是3.14.3，经纪人是2.0.0。很长一段时间以来，我一直在试图理解为什么代理会与集群断开连接--我得到了几十个“从x，y到x的收缩ISR”，以及在每个主题的每个分区“从x扩展到x，y”之后的几秒钟。例如,
Nov 17 10:06:06 HOSTNAME kafka-server-start.sh[17252]: [2019-11-17 10:06:06,188] INFO [Partition topicname-14 broker=1] Expanding ISR from 1 to 1,3 (kafka.cl
浏览 2提问于2019-11-17得票数 1
回答已采纳
我有一个Kafka集群(版本: 0.10.1.0)，有9个代理和10个分区。 我尝试使用camel kafka 2.14.3从java应用程序中消费消息。这是我的pom.xml <dependency>
<groupId>org.apache.camel</groupId>
<artifactId>camel-kafka</artifactId>
<version>2.14.3</version>
</dependency> 这是我使用的唯一与camel Kafka相关的依
浏览 23提问于2020-06-16得票数 0
在为broker到Zookeper身份验证实现SASL_SSL GSSAPI机制时，我在Broker 2和Broker 3节点上出现了以下异常 在SSL设置中，群集配置了SASL_SSL身份验证 Broker 1运行成功，但在broker 2和3上，/brokers/ids的org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth出现异常 您能帮助一下吗?代理关闭的原因可能是以下异常 例外： ERROR Fatal error during KafkaServer startup. Prepa
浏览 299提问于2021-04-13得票数 0
我正在尝试连接到上的Bluemix Message Hub实例。这个简单的脚本
#!/usr/bin/env python
from kafka import KafkaProducer
from kafka.errors import KafkaError
kafka_brokers_sasl = [
"kafka01-prod01.messagehub.services.us-south.bluemix.net:9093",
"kafka02-prod01.messagehub.services.us-south.bluemix.net:9093&
浏览 1提问于2016-09-09得票数 3
虽然我们还没有任何性能问题，并且节点几乎处于空闲状态，但是为了提高集群的高可用性，立即将kafka代理(和zookeepers)的数量从3个增加到5个是否明智？当然，这样做的目的是将复制因子从3增加到5，作为关键主题的默认配置。
浏览 23提问于2019-11-16得票数 0
我使用服务从Kafka加载自己的流。
我使用来实现它。
卡夫卡默认拥有所有设置(仅从tgz中提取)。
当我使用空数据(在var删除文件夹之后)启动-2.2.3 Druid时，所有操作都正常。
但是，当我停止卡夫卡2.11-0.10.2.0并再次启动它时，就会发生错误，并且Druid摄入不再起作用，直到我停止暗示(Druid)并删除所有数据(即删除var文件夹)。
有时候德鲁伊只是不吃卡夫卡的数据，甚至没有卡夫卡的错误。当我移除德鲁伊中的var文件夹时，所有的内容都将恢复到下一个相同的错误。
错误：
kafka.common.NoReplicaOnlineException: No replic
浏览 0提问于2017-08-03得票数 0
我有使用spring.cloud.stream.kafka.binder.brokers=KAFKA_URL spring.cloud.stream.kafka.binder.zkNodes=ZKNODE_URL的消费者
如果我尝试运行spring boot消费者应用程序，但bean未启动，则整个spring boot应用程序无法启动: rg.springframework.context.ApplicationContextException:无法启动bean 'inputBindingLifecycle'；嵌套异常是启动消费者时抛出的org.springframework.
浏览 4提问于2017-03-21得票数 0
1回答
内存服务器中的Spring是以随机端口启动的。因此，application.yml条目是一个变量：
bootstrap-servers: ${spring.embedded.kafka.brokers}
但是，只有当嵌入式Kafka服务器实际运行时，才会设置此属性。在没有嵌入式Kafka异常的单元测试中，会抛出异常(因为实际上没有设置变量)：
java.lang.IllegalStateException: Failed to load ApplicationContext
Caused by: org.springframework.beans.factory.BeanCreationExc
浏览 2提问于2019-03-18得票数 0
回答已采纳
我如何测试/产生一个飞机例外代码14？
我有一个简单的带有Aerospike的节点环境和一个K8s上的java应用程序。
应用程序有3个荚，它们都是使用Kafka主题的消息，有3个分区，都在同一个消费者组中。
使用Kafka生产者驱动程序，我们立即注入200条消息，没有Kafka消息键(这样kafka将在3个主题分区上循环运行)。
所有消息都与相同的Aerospike键相关，因此3个应用程序荚应该并行更新相同的记录，从而导致Aerospike热键异常(KEY_BUSY，错误代码14)。但这并没有发生，所有200条消息都被成功地处理了。
在aerospike.conf中，配置参数“事务-挂起-限
浏览 2提问于2022-03-10得票数 1
我在测量卡夫卡制作人的表演。目前，我遇到了两个不同配置和使用的客户端：
共同：
def buildKafkaConfig(hosts: String, port: Int): Properties = {
val props = new Properties()
props.put("metadata.broker.list", brokers)
props.put("serializer.class", "kafka.serializer.StringEncoder")
props.put("producer.t
浏览 5提问于2016-03-14得票数 4
回答已采纳
我使用的是一个单节点Kafka V 0.10.2 (16 GB RAM，8核)和一个单节点动物园管理员V 3.4.9 (4 GB RAM，1核)。我有64个消费者组和500个主题，每个主题都有250个分区。我能够执行的命令，只需要卡夫卡经纪人和它运行良好的前。
./kafka-使用者-groups.sh-引导-服务器本地主机:9092-描述--组
但是，当我像create一样执行admin命令时，例如，更改主题
./kafka-topics.sh --创建--动物园管理员:2181 -复制-因子1-分区1-主题
正在显示以下异常：
执行主题命令时出错:复制因子:1大于可用代理
浏览 4提问于2017-11-16得票数 0
回答已采纳
4回答
我的集群默认开启kafka机架感知吗？如果我用broker.rack配置一些brokers，让其他没有broker.rack的brokers，kafka机架感知会影响我的集群吗？
浏览 1提问于2020-01-05得票数 2
我开始在docker上使用Spring Boot Kafka和kafka集群。当我开始检查容错时，我就遇到了这个问题。通常，我通过Spring Boot中的Kafka Admin创建一个主题(复制因子= 2)。我能够存储一些消息，并从Kafka消费它们。但是在停止了其中一个kafka容器(我有两个kafka实例和一个zookeeper)之后，我的消费者无法与剩下的那个进行通信。
我已经向bootstrap.servers属性提供了：
SPRING_KAFKA_BOOTSTRAP_SERVERS: kafka:9092,kafka2:9093
我创建主题的kafka admin bean看起来像
浏览 2提问于2019-07-19得票数 1
想知道如何从zookeeper似乎具有主题(T_60036)元数据的独特情况中恢复，但broker没有相应的日志文件，导致生产者失败并出现异常
kafka.common.FailedToSendMessageException
下面是我们注意到的：
在zookeeper中，/brokers/topics/T_60036和/config/topics/T_60036路径都存在。
kafka@kafka-3:~$ /opt/kafka/kafka_2.10-0.8.1.1/bin/zookeeper-shell.sh
localhost:2181 get /brokers/topics/T_600
浏览 50提问于2018-06-07得票数 0
回答已采纳
我在Kafka中配置了3个代理，运行在不同的端口上，.I正在使用spring cloud stream kafka
brokers: localhost:9092,localhost:9093,localhost:9094.
我正在创建一个数据管道，以获得连续的数据流.I正在与运行.Till的3个代理在kafka主题中存储数据流现在没有问题.My问题假设假设3个代理停机了5分钟，那么到那时我无法获取有关kafka的数据主题.There将丢失数据5分钟.From spring启动我将收到警告
2020-10-06 11:44:20.840 WARN 2906 --- [ad | produc
浏览 0提问于2020-10-06得票数 1
1回答
注:自我回答的问题，因为谷歌没有说明任何问题。
我已经为AWS数据迁移服务的Kafka目标配置了一个托管流，但是迁移任务失败了。看看这些日志，我看到了这个：
2021-11-17T18:45:21 kafka_send_record (kafka_records.c:88)
2021-11-17T18:50:21 Message delivery failed with Error:[Local: Message timed out] [1026800] (kafka_records.c:16)
我已经核实了以下情况：
DMS复制实例和MSK群集都使用相同的安全组，具有允许所有通信量的
浏览 2提问于2021-11-18得票数 0
1回答
我使用和成功地将Kafka部署到本地码头的Kubernetes (gcp & minikube)。
并使用这个python脚本成功地测试了集群中的主题生成：
#!/usr/bin/env python
from kafka import KafkaConsumer, KafkaProducer
KAFKA_TOPIC = 'demo'
# KAFKA_BROKERS = 'localhost:32400' # see step 1
# from inside the cluster in a different namespace
# KAFKA_
浏览 2提问于2018-09-04得票数 2
我试图使用SASL (通过Kerberos)身份验证运行一个由3台计算机组成的Kafka集群。第一个节点很好地启动，并创建所有相关的节点(/brokers、/consumers等)。
但是，由于这些znodes上的身份验证问题，其他代理都无法成功启动。具体来说，我看到以下异常导致其他代理在启动时失败：
[2016-06-15 22:27:04,365] DEBUG Reading reply sessionid:0x355561ae10f0008, packet:: clientPath:null serverPath:null finished:false header:: 13,5 re
浏览 0提问于2016-06-15得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
