通过遵循kafka producer的基本文档，我已经使用kafka producer实现了一个日志附加器。我的配置如下所示，我使用KafkaProducer并使用send()将每个日志发送到kafka。在我的例子中，我不能使用KafkaAppender，因为我们不支持slf4j或log4j。如何批量处理这些日志，以及如何优化以下配置以处理大量日志。linger.
浏览 4提问于2016-08-11得票数 0
回答已采纳
根据文档( )，我可以在我的应用程序中使用Apache Kafka作为日志附加器，但是当我尝试使用管理UI创建一个新的日志附加器时，Kafka类型不会出现。我使用的是v0.10 Sandbox，部署在虚拟机中
浏览 1提问于2017-01-02得票数 0
2回答
我设置了所有的东西，现在我尝试在已经存在的Java应用程序中引入Kafka通过日志附加器发送日志。此应用程序使用Logback作为记录器库。所以，我猜，这让我不可能使用kafka.producer.KafkaLog4jAppender？有没有不兼容的？我去叫IncompatibleClassException。有没有其他的解决方案？
浏览 0提问于2016-04-30得票数 4
我在我的log4j.properties中添加了一个log4j kafka附加器，但它并没有像我预期的那样工作。这是我的log4j.propertieslog4j.appender.Kafka.topic：
[main] DEBUG org.apache.kafka.clients.producer.KafkaProducer
浏览 8提问于2016-02-25得票数 5
从参考资料中，我了解到KAA支持使用各种插件将历史/日志数据存储/保存到服务器的数据收集功能。-How它在内部工作？？-If我使用KAFKA作为日志附加器，KAA可以在收到的同时在KAFKA上发布数百万条日志。(没有延迟)？
浏览 2提问于2016-10-29得票数 0
我有一个使用log4j2进行日志记录的spring引导应用程序，并且希望使用Kafka。在log4j2.xml中提到了所有正确格式的属性，在application.properties中提到了Kafka主题、服务器和物流的属性，但是每次我启动应用程序时都会遇到控制台日志中的一个错误，如下所示生成器-1警告从org.apache.Kafka.clients.networkclient递归日志记录的appender。
浏览 11提问于2022-07-05得票数 0
通过置于两者之间的HTTP接口将应用程序日志从服务器端呈现的应用程序传送到Kafka是一种常见的做法吗？日志量可以很大，延迟应该是最小的。丢失消息并不是一个大问题，除非我们丢失了很多消息。
浏览 23提问于2019-10-14得票数 1
我对大数据完全陌生，从最近几周开始，我一直在尝试构建日志分析应用程序。谁能建议几件事，如1)我如何实时读取服务器日志并将其传递给kafka broker。2)有没有从日志推送数据到Kafka的框架? 3)还有其他建议吗？？
谢谢，Chowdary
浏览 1提问于2016-05-30得票数 0
1回答
我们正在运行一个Java项目，该项目使用log4j生成大量日志消息，这些消息当前存储在文件系统上的普通文件中。由于该项目在多个服务器上运行，因此我们倾向于使用单个实例来发送日志，直到进一步处理。因为我们已经在服务器上运行了JVM，所以我们考虑使用。
作为log4j和kestrel的新手，我们想知道是否有一种方法可以配置log4j，使其直接写入安装在同一服务器上的kestrel？
浏览 1提问于2012-06-21得票数 1
我对使用Kafka流非常陌生。在一个特殊的需求中，我必须将我的log4j日志直接推送到Kafka主题。我在centos上运行了一个独立的kafka安装，并且我已经与kafka发布者和消费者客户端进行了验证。我还使用了捆绑的zookeeper实例。现在，我还创建了一个独立的java应用程序，启用了log4j日志记录。现在，当我运行应用程序时，所有日志都会写入本地日志文件中，但是使用者仍然没有显示任何条
浏览 1提问于2015-05-11得票数 1
1回答
我还读过关于Kafka架构的文章，并且知道Kafka内部是一个提交日志。我想知道Kafka内部是使用LSM数据结构作为只附加存储，还是使用其他数据结构来存储数据？
浏览 0提问于2021-03-01得票数 2
文档说，为了避免递归日志记录，不要让写org.apache.kafka日志处于调试级别 ...<Loggers> <AppenderRef ref="Kafka"/> <Logger n
浏览 127提问于2020-05-13得票数 1
1回答
但是，例如，我如何从一个网络应用程序中发送跟踪数据，并将其应用到kafka中。我是否应该使用nginx日志文件作为能够直接将其写入kafka的生成器或服务器(例如，龙卷风和kafka的python )？如何创建一个非常简单的分析工具，从get请求中获取数据，并将其放入kafka进行进一步处理？
任何评论或评论，也只是一些小小的暗示，都会帮助我理解这件事。
浏览 12提问于2014-12-11得票数 0
回答已采纳
我正在运行一个使用log4j进行日志记录的Storm集群。除了标准的基于文件的日志记录之外，我还想添加一个kafka附加器。=kafka.producer.KafkaLog4jAppenderlog4j.appender.KAFKA.Port=9092=%d{yyyy-MM-dd HH:mm:ss} %c{1} [%p] %m%n
浏览 0提问于2012-12-20得票数 0
回答已采纳
1回答
我正在尝试使用log4j2的Apache Kafka附加器。我能够成功地在Kafka上发布我的日志。我的问题是，我是否可以通过TLS/SSL发布。我找不到关于如何为log4j2 kafka附加器配置安全传输的文档，或者我很懒。任何帮助都是非常感谢的。
浏览 0提问于2016-03-17得票数 2
2回答
目前，我们使用的是事务型Kafka生产者。我们注意到的是，Kafka的跟踪方面丢失了，这意味着我们看不到Kafka生产者的工具，从而丢失了b3头。浏览完代码后，我们发现事务生成器没有调用后处理器，这意味着TraceProducerPostProcessor永远不会创建TracingProducer。这有什么原因吗？似乎没有一个地方可以轻松创建跟踪生成器(DefaultKafkaProducerFactory #doCreateTxProducer是私有的)
附加
浏览 6提问于2021-04-21得票数 1
如何在同一服务器或集群上运行两个多个Kafka Mirror Maker实例？
卡夫卡镜片制造者作为同步。但我必须在同一台服务器上运行多个镜像生成器实例。
浏览 0提问于2016-08-24得票数 2
我正在尝试从log4j2到Kafka的主题的流日志。我的zookeeper和kafka服务器正在运行，我已经为此创建了一个主题。Unable to write to Kafka in appender [Kafka] java.util.concurrent.TimeoutException: Timeout after waitingat org.apache.kafka.clients.producer.internals.FutureRecordMetadata.
浏览 2提问于2018-07-03得票数 0
从自定义kafka连接接收器连接器，有没有一种方法可以将所有日志推送到一个端口，或者我们需要编写一个自定义日志附加器来处理相同的日志？我想将任务分成两个步骤(以防无法直接完成)：那么，有没有办法写下所有的kafka连接日志(启动和连接建立消息)以及应用程序&
浏览 0提问于2017-09-21得票数 1
1回答
在日志中运行awk
、、、
我没有能力做很多事情，但从卡夫卡那里接收到非结构化的系统日志，卡夫卡是用logstash制作的。
当我作为消费者附加logstash时，这些系统日志到处都是，并且包含了非常广泛的六种或更多的模式。这是一个更适合使用awk过滤器以某种方式运行的方法，因为传递传入消息的编程方法实际上是相当严格的。有没有人对如何将用户附加到Kafka主题并获取传入日志并以智能方式将这些日志发送给elasticsearch剪贴器有任何意见吗
浏览 3提问于2022-09-02得票数 0
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
