我在Kubernetes上运行了Elasticsearch和Kibana。两者都是由ECK创建的。现在，我尝试将Filebeat添加到其中，并将其配置为索引来自Kafka主题的数据。这是我当前的配置： apiVersion: beat.k8s.elastic.co/v1beta1metadata: namespacekibanaRef:
name: my-k
浏览 107提问于2021-02-04得票数 0
作为工具，我将使用Elk而不是Splunk，由于一些文章，他们极力推荐使用Kafka和logstash，但直到现在我还不知道这样做的目的，事实上，我的主要目的是为应用程序设置基本模块，以便我必须得到响应
浏览 8提问于2018-08-28得票数 0
回答已采纳
1回答
我在文件中有一个事件(JSON消息)，需要通过filebeat发送给Kafka。像这样的filebeat.yml： output.kafka: hosts: ["{KAFKA1}:9092"使用此配置，默认消息“默认”总是报告为键。如何配置filebeat.yml以提取自定义应用程序字段并将此信息用作Kafka</e
浏览 0提问于2020-02-20得票数 0
1回答
文件节拍复制事件
、、、
我在版本5.2上使用Filebeat > logstash > elasticsearch > kibana - all运行了一个基本的elk堆栈设置
当我删除Filebeat并将logstash配置为直接查看文件时如果我删除数据并使用Filebeat重新摄取文件，以将相同的日志文件内容传递给logstash，我将获得超过10%的事件创建。我已经检查了其中的一些，以确认文件节拍正在创建副本。
浏览 3提问于2017-02-02得票数 2
目前，我的日志和日志存储在同一台机器上运行，因此我使用此配置(使用拉模型)读取放在本地计算机上的日志。=> "/home/Desktop/Logstash-Input/**/*_log" }现在，我们在另一台机器上运行有办法在配置文件的文件输入中设置ip吗？
浏览 8提问于2015-07-01得票数 4
回答已采纳
我试着在Windows 10机器上运行一个文件。在我的配置中，我有一些环境变量，如：- type: log paths:当我用：filebeat.exe -e -v开始执行命令行的文件时，一切都很好。但是，当我以：Start-Service filebeat作为服务开始时，我的日志中有以下错误：
2018-07-
浏览 0提问于2018-07-16得票数 0
回答已采纳
如果消息没有发送，我们如何在磁盘中保存它们？当Kafka生产者抛出异常时，我们如何控制？
浏览 0提问于2020-03-05得票数 0
我已经配置了一个具有两个管道的日志存储服务，给出了两个管道单独的端口。假设Pipeline1 (端口5044)，Pipeline2 (端口5045)
现在，我想使用filebeat将数据发送到logstash。所以我有两种类型的日志文件，比方说log1，log2。
浏览 0提问于2019-04-03得票数 2
回答已采纳
在我的办公室基础设施中有3台服务器，即feature_server、develop_server和log_server。两台服务器目前都在运行nginx服务。我想做的事情是如何尽可能地使用ELk堆栈(logstash和filebeats)从它们中收集nginx日志。它已经在为一台服务器工作了。任何类型的想法都将非常受欢迎。
浏览 41提问于2020-03-20得票数 0
我想在elk堆栈中使用kafka，其中filebeat从文件中读取日志，并将数据发送到kafka，然后由kafka将其发送到logstash。我正在运行卡夫卡使用坞-撰写文件。我通过使用端口9092 (这是kafka的默认设置)来运行它，但问题是我的组织已经在端口9092上运行了其他服务。因此，我已经使用9095在我的对接-组成主机和9092在容器内。当我试图在kafka中使用filebeat和logstash时，数据并没有到达logstash。这是我
浏览 2提问于2021-08-11得票数 0
回答已采纳
我的logstash配置中有两个(kafka)输入插件。每个输入插件都被配置为侦听不同的kafka代理。我想在消息中包括一些字段，表示哪个输入插件生成了消息。我希望能够在我的输入定义中包含一个硬编码的字段，如"input=kafka1“、"input=kafka2”等。我不认为我可以使用变异过滤器，因为到那时，我不知道消息来自哪里？
浏览 13提问于2020-10-15得票数 0
回答已采纳
我已经在我的Windows上为Logstash配置了central.conf文件 port => 5044}
hosts => ["http://localhost:9200"] }
并将Unix (CentOS - 7)上的Filebeat配置为
filebeat
浏览 1提问于2016-05-08得票数 1
回答已采纳
1回答
Hadoop可以做流媒体吗？
、、、、
有人建议Hadoop做流媒体，并引用了Flume和Kafka作为例子。
虽然我知道它们可能具有流媒体功能，但我想知道它们是否可以与Storm/Spark/Flink等流处理技术并驾齐驱。Kafka是一个“发布-订阅模型消息传递系统”，而Flume是一个数据摄取工具。即使它们与hadoop交互/集成，从技术上讲，它们是“hadoop”本身的一部分吗？
浏览 4提问于2018-04-07得票数 0
安装了sidecar收集器，并将其配置为文件节拍后端。它已经成功运行了。做了一个输出，并附加了一些输入与一般日志文件。仪表板上还没有日志。configurations tagged by: [syslog linux] INFO[0000] [filebeat] Starting
INFO[0010] [filebeat]
浏览 3提问于2016-10-06得票数 1
回答已采纳
我已经配置了如下(ii).Application服务器( apache服务器)-安装在apache服务器上cat /etc/logstash/con.d/02-拍-输入 beats { }我也配置了过滤器部分。当我试图从apache服务器上运行"filebeat“命令时，我得
浏览 0提问于2020-05-27得票数 0
回答已采纳
我在我的应用服务器上安装了FileB打5.0，并且有3个FileB打探矿器，每个探矿器都指向不同的日志路径，输出到一个名为myapp_applog的kafka主题，一切都很好。我的文件输出配置为一个主题-工作 # initial brokers for reading cluster metadata
hosts: ["broker这是我的kafka输出多个主题的配置。配置文件。#####
浏览 2提问于2016-12-03得票数 5
回答已采纳
1回答
卡夫卡对库伯奈特连接问题的影响
、、、、
我在连接Fluentd到Kafka以获得我正在处理的集中式日志记录PoC时遇到了问题。我目前正在使用以下配置：
配置:我在yaml中设置了FLUENT_KAFKA2_BROKERS=<INTERNAL KAFKA BOOTSTRAP IP>:9092和FLUENT_KAFKA2_DEF
浏览 3提问于2022-02-10得票数 1
我想了解apache如何处理具有AVRO模式的Kafka主题(模式包括嵌套对象、对象数组等)因为我没有找到任何资源或例子，说明我们如何使用带有avro模式的Kafka注入数据。根据我的理解，apache必须为嵌套的Json对象提供平面模式或其他选项，我们可以使用transform函数。有什么卡夫卡连接的皮诺做数据注入吗？] }} } ]Kafka
浏览 1提问于2021-05-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
