Logstash :过滤日志中的列值
Logstash是一个开源的数据收集引擎，用于处理和转发各种类型的日志数据。它可以从多个来源收集数据，包括文件、网络、消息队列等，并将数据过滤、转换和发送到各种目的地，如Elasticsearch、Kafka、Amazon S3等。
Logstash的主要功能是过滤日志中的列值。它提供了丰富的过滤器插件，可以根据需求对日志数据进行处理和转换。通过配置过滤器，可以选择性地提取、修改或删除日志中的特定列值。这对于日志分析和监控非常有用，可以帮助用户快速定位和解决问题。
以下是Logstash的一些常用过滤器插件：
- grok插件：用于解析结构化的日志数据，根据预定义的模式提取关键字段。 推荐的腾讯云产品：腾讯云日志服务（CLS） 产品介绍链接地址：https://cloud.tencent.com/product/cls
- mutate插件：用于修改和重命名字段，添加或删除字段。 推荐的腾讯云产品：腾讯云日志服务（CLS） 产品介绍链接地址：https://cloud.tencent.com/product/cls
- drop插件：用于丢弃不符合条件的日志事件。 推荐的腾讯云产品：腾讯云日志服务（CLS） 产品介绍链接地址：https://cloud.tencent.com/product/cls
- geoip插件：用于根据IP地址获取地理位置信息。 推荐的腾讯云产品：腾讯云IP地理位置查询（IPLocation） 产品介绍链接地址：https://cloud.tencent.com/product/iplocation
- date插件：用于解析和格式化日期字段。 推荐的腾讯云产品：腾讯云日志服务（CLS） 产品介绍链接地址：https://cloud.tencent.com/product/cls
通过使用Logstash的过滤器插件，可以灵活地处理和转换日志数据，提取有用的信息并将其发送到适当的目的地，以满足不同的业务需求。
相关·内容
我试图查询弹性搜索日志，其中有一个字段具有一些值，另一个字段具有另一个值，我的日志在Kibana中如下所示：
{
"_index": "logstash-2016.08.01",
"_type": "logstash",
"_id": "6345634653456",
"_score": null,
"_source": {
"@timestamp": "2016-08-01T09:03:50.372Z
浏览 1提问于2016-08-01得票数 0
回答已采纳
1回答
我使用的ELK设置为7.2.0，文件节拍为7.2.0。现在我已经在filebeata和im to中启用了系统模块，以便在Logstash中使用一个简单的grok， input {
beats {
port => 5044
ssl => false
}
}
filter {
if [fileset][module] == "system" {
grok {
match => { "message" => "%{SYSLOGLINE}"}
}
}
output
浏览 13提问于2019-12-04得票数 0
我使用的是日志寄件人-> redis -> logstash indexer -> elastricsearch -> kibana
据我所知，redis和elastricsearch都是设计成可伸缩的。关于logstash索引器，我只看到logstash主站点上显示了一个只使用单一logstash索引器的例子。
这足以处理所有的日志吗？那么，对于有许多logstash索引器实例，您有什么建议呢？
浏览 2提问于2014-02-06得票数 3
回答已采纳
1回答
我用麋鹿堆栈来分析日志。因此，按照默认配置，由ES创建"logsatash-YYYY-MM-DD"的新索引。因此，如果我已经将logstash配置为如下所示：
/var/log/rsyslog/**/2014-12-0[1-7]/auditd.log
因此，它正在读取旧日志，创建的索引名将是"logstash-2015-03-20"，因此该索引将包含以前日期的文档(日志)。
当我必须删除索引时，我的问题就会发生。如果我只需要保存一个星期的数据并清除旧的指数。除最后7天外，当我要删除索引名时，我无法跟踪在哪个索引名称中保存日志的天数。2014-12-07年的日期日
浏览 3提问于2015-03-20得票数 1
回答已采纳
1回答
我有1-一个单一的CSV文件和2-一个直播的KAFKA流。KAFKA stream引入了直播流日志，CSV文件包含元数据记录，我需要在将它们发送到Elastic Search之前将它们与流日志连接起来。 Kafka流日志和CSV记录示例： KAFKA log: MachineID: 2424, MachineType: 1, MessageType: 9
CSV record: MachineID: 2424, MachineOwner: JohnDuo 在发送到ES之前，我需要在logstash中构建记录： MachineID: 2424
MachineOwner: JohnDuo
Mac
浏览 24提问于2020-11-01得票数 0
回答已采纳
我想知道是否可以通过logstash向elasticsearch发送特定的日志消息？例如，假设我在日志文件中包含了这些消息：
2015-08-14 12:21:03 [31946] PASS 10.249.10.70 http://google.com
2015-08-14 12:25:00 [2492] domainlist \"/etc/ufdbguard/blacklists\
2015-08-14 12:21:03 [31946] PASS 10.249.10.41 http://yahoo.com
当logstash/log转发器处理这个日志时，我想跳过第二行，是否可以
浏览 2提问于2015-09-03得票数 0
回答已采纳
我有一个配置，其中filebeat从一些文件(使用自定义格式)获取日志，并将这些日志发送到logstash实例。 在logstash中，我应用gork过滤器来分割一些字段，然后将输出发送到我的elasticsearch实例。 管道工作正常，并在elasticsearch上正确加载，但不存在事件数据(如event.dataset或event.module)。因此，我正在寻找将这些信息添加到我的事件中的代码片段。 下面是我的文件节拍配置： filebeat.config:
modules:
path: ${path.config}/modules.d/*.yml
reload
浏览 55提问于2020-11-03得票数 0
回答已采纳
我正在尝试从记录中查找一个键，并将其用作流畅位中的logstash前缀。但这并没有发生，即使指定的键存在于来自kubernetes过滤器的丰富日志中，Logstash_Prefix也不会被Logstash_Prefix_Key替换。
kubernetes filter的理想行为是通过input插件使用kubernetes数据(如pod名称、pod id、命名空间名称等)来丰富从输入路径读取的日志，并通过es输出插件将应用过滤器后的日志推送到输出源。我使用Logstash_Prefix_Key获取密钥kubernetes.pod_name，并将Logstash_Prefix作为pod_name。
浏览 3提问于2020-09-21得票数 3
我使用logstash2.4和kafka输入5.1.6。在我的配置中，我创建了一个名为input_lag的字段，以监视日志处理所需的日志存储时间：
ruby {
code => "event['lag_seconds'] = (Time.now.to_f - event['@timestamp'].to_f)"
}
我从一个logstash实例中听了几个kafka主题，对于定期生成日志的主题，一切正常，延迟很小(几秒钟)。但是，对于不定期生成少量日志的主题，我会遇到很大的滞后。有时是几万秒。我对Kafka输入的配置如下：
inp
浏览 3提问于2017-08-09得票数 1
我在不同的应用程序上运行了多个filebeat服务，这些服务将日志发送到中央logstash服务器进行解析。有时，一些应用程序日志的格式不正确，因此在“logstash-plain.log”文件中会出现“parse error”。我遇到的问题是，我不能从logstash-Pla.log文件中识别出日志来自哪里(因为有大量的应用程序正在运行filebeat )
有没有办法从logstash日志中追踪filebeat源？
浏览 24提问于2021-06-14得票数 0
我有rsyslog通过TCP将日志转发到logstash。如果logstash不可用，rsyslog将建立队列。
如果logstash可用，但elasticsearch已死亡，或由于某种原因无法写入文件系统。
是否有一种方式使logstash拒绝进一步的TCP消息。
谢谢
浏览 5提问于2014-04-25得票数 1
我目前正在测试1 Ubuntu14.04盒上的麋鹿堆栈。它有6GB的RAM和1TB的存储器。这是相当适度的，但就我所获得的数据量而言，这应该是足够的，对吧？我遵循了这个指南。总之，我的Kibana4、Logstash1.5和ElasticSearch1.4.4都运行在一个盒子上，nginx服务器充当反向代理，这样我就可以从外部访问Kibana。与指南的主要区别是，与syslog不同的是，我从日志转发器接收json输入，发送大约300个事件/分钟。
一旦开始，一切都很好--日志显示在基巴纳，没有错误。大约3个小时后，elasticsearch崩溃了。我得到了一个
Discover: Cannot
浏览 6提问于2015-05-08得票数 0
回答已采纳
我正在研究从我们的CentOS6.x服务器上进行集中日志文件聚合的解决方案。在安装Elasticsearch/ Logstash /Kibana (ELK)堆栈后，我遇到了一个Rsyslog om弹性搜索插件，它可以以logstash格式将消息从Rsyslog发送到Elasticsearch，并开始问自己为什么需要Logstash。
Logstash有许多不同的输入插件，包括接受Rsyslog消息的插件。在我需要从多个服务器收集日志文件内容的用例中，是否有理由使用Logstash？另外，将消息从Rsyslog发送到Logstash而不是直接发送到Elasticsearch有好处吗？
浏览 3提问于2015-08-20得票数 12
回答已采纳
1回答
我正在将我的ELK+Redis从一个非常旧的版本升级到最新的版本。 ES 1.6 to 7.4
LS 1.4 to 7.4
Redis 2.8 to 5.0 我刚在一台新机器上安装了所有东西。一切都很顺利，除了一件事: logstash-filter-redis插件 这是我的logstash conf文件 input
{
redis {
host
port => 6380
data_type
key
}
}
filter {
grok {
match => [ "message",
浏览 37提问于2019-10-14得票数 0
回答已采纳
我已经安装并运行了ELK堆栈(Elasticsearch/Logstash/Kibana)。
我使用一台服务器作为ELK服务器来收集和存储来自其他服务器的所有日志。logstash-forwarder用于向ELK发送日志。问题是：
Logstash正在接收大量日志(正如我用tailf logstash.stdout检查的那样)，但在一段时间后，当我再次tailf logstash.stdout时，在重新启动Logstash守护进程后，它开始再次接收日志，没有任何东西(除了接收日志)。
浏览 1提问于2015-03-16得票数 4
我正在摄取许多日志，包括/var/log/syslog、/var/log/messages，但也包括一些通用事件格式(，CEF)的专有日志，以及其他各种格式的专有日志。这些日志的条目是从运行在不同节点上的File节拍中发送到Logstash的，例如：
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/messages
- /var/log/syslog
- /var/log/acme/audit.log
- /var/log/acme/debug.log
浏览 0提问于2018-12-06得票数 1
回答已采纳
由于Kibana需要字段键中的前缀下划线- (此问题似乎未解决)，我无法在Kiabana中处理默认起始下划线的字段键值(例如docker的日志日志)。我目前正在使用logstash将日志推送到elasticsearch。我读到了这个使用拼音过滤器删除所有下划线的，但我猜这种方法会让我的消费者变得非常慢。
有没有一种方法可以使用logstash中的regex功能从所有字段名中删除前缀下划线？
例如：
_HELO: World
现在应该更改为：
HELLO: World
可能是通过使用与ruby不同的插件
浏览 126提问于2018-05-31得票数 2
考虑到建议，我设置了logstash编码器+ logstash转发程序，以将所有内容推送到logstash，并最终在ElasticSearch中索引所有内容。
这是我的配置：
logstash.xml
<included>
<include resource="org/springframework/boot/logging/logback/base.xml"/>
<property name="FILE_LOGSTASH" value="${LOG_FILE:-${LOG_PATH:-${LOG_TEMP
浏览 4提问于2015-08-31得票数 2
回答已采纳
2回答
获取对数转发器的IP地址
、、、、
我已经在我的系统上安装了Elasticsearch，Logstash，Kibana日志查看工具。现在我的配置中有2台计算机(Amazon实例)：
54.251.120.171 -Logstash-安装ELK的服务器
54.249.59.224 -Logstash-转发器-将“/var/ log /messages”日志发送到Logstash-server
在logstash-server上，我所信任的(在不同文件中)的内容如下:-
input {
lumberjack {
port => 5000
type => "logs"
浏览 0提问于2014-11-17得票数 7
回答已采纳
我正在审查我的日志策略(来自OS和登录到syslog的应用程序的日志，以及我自己的应用程序中的日志，我可以自由地决定日志的内容和位置)。我对Logstash没有太多的经验，我想知道通过它记录JSON数据是否有附加价值(而不是直接将它们发送到Elasticsearch)。
我能想到的唯一优势是日志可以一致地发送到stdout (然后由syslog获取)，然后一致地发送到Logstash (作为syslog)进行分析(例如，Logstash知道来自应用程序myapp.py的数据发送原始JSON )。
还有其他优势可以使用Logstash作为中间层吗？(安全性方面在这个上下文中并不重要)。
浏览 0提问于2019-03-10得票数 0
1回答
日志存储时区配置
、、、
我使用logstash很长一段时间，但是现在我遇到了时区的问题。Logstash正在读取一个日志文件，该日志文件有UTC的时间。所以在夏天，我是UTC+2。
如果我将Kibana配置为使用UTC，它会将日志文件显示为当前时间之前的几个小时。
Example timezone = "user"
Log.txt 2013-06-22 08:29:10 TestLog
Kibana 2013-06-22 08:29:10 TestLog
Current Time: 10:29
Example timezone = "UTC"
Log.txt 2013-06-22 0
浏览 4提问于2013-06-25得票数 4
我想使用filebeat向logstash和kafak发送一个日志，然后logstash将日志发送到es，我可以在es中搜索它，kafak使用它来分析数据。
filebeat.yml
output.logstash:
hosts: ["172.31.29.xxx:5044"]
output.kafka:
enabled: true
hosts: ["xxx"]
topic: "test-log"
它不起作用，有什么办法可以做到吗？
浏览 5提问于2020-05-26得票数 0
1回答
我正在创建logstash管道，我将日志文件作为输入并在elasticsearch上读取这些日志。我想在我的日志存储管道配置中添加geoip过滤器，但是当我添加它时，它会失败并关闭。
以下是一个错误：
[2022-03-17T12:41:05,243][WARN ][logstash.outputs.elasticsearch][main]
Elasticsearch Output configured with `ecs_compatibility => v8`, which
resolved to an UNRELEASED preview of version 8.0
浏览 9提问于2022-03-17得票数 0
回答已采纳
1回答
我正在使用Logstash8.5.1的最后一个版本。我正在尝试根据logstash输入中的源IP输出登录文件。
我确实认识那些不速之客。我试图在logstash管道配置文件的filter部分中过滤掉它们。
这就是我一直在尝试的，无论我改变了什么，它总是在我的其他条件下。
input {
beats {
port => 5555
ssl => true
ssl_certificate => "/etc/logstash/certs/logstashcert.pem"
ssl_key => "/etc/logsta
浏览 4提问于2022-11-18得票数 0
我是ELK新手，我想建立一个用ES索引Microsoft和应用.NET日志的解决方案。
我知道不同的方法：
1) 应用服务器:日志文件➔Logstash➔收集服务器: Redis➔Logstash➔ES集群: ES➔Kibana
此方法的缺点是必须在每个生成日志的Windows服务器上安装、配置和维护一个logstash实例
2) 应用服务器:日志文件➔文件➔收集服务器: Logstash➔Redis➔Logstash➔ES集群: ES➔Kibana
这种方法的缺点是，当前文件拍不支持多行日志条目，而且我的.NET应用程序会产生多行异常。我不知道如何配置中间logstash+redis+log
浏览 0提问于2015-12-20得票数 0
回答已采纳
1回答
有人能帮我弄一下米制过滤器吗。我想设置日志存储以检查日志级别=每5s的错误，如果日志级别=错误超过1，应该发送电子邮件。我正在使用logstash 2.2.4
input {
file {
path => "/var/log/logstash/example"
start_position => beginning
}
}
filter {
grok{
match => { "message" => "\[%{TIMESTAMP_ISO8601:timest
浏览 3提问于2017-03-28得票数 1
回答已采纳
我有一个日志文件，如下所示：
2019-04-19 08:30:06,477 DEBUG [org.mobicents.smsc.library.CdrGenerator] 2019-04-19 08:30:01.960,466,2,1,01706488575,1,1,success,SMPP,message,3rdPartyName,10614279,null,null,01702993001,412012102179043,null,null,0170260020,0,0,null,0,0,,,,2393,"*466#
nxxxxxxxxxxxxxxx",""
浏览 0提问于2019-04-20得票数 0
回答已采纳
是否有人在日志中遇到下面的例外情况？这是我的配置&我正在得到的错误：
input
{
udp { type => "firewalls" port => "50006" codec => plain }
}
filter
{
grok { match => [ "host", "%{IPORHOST:ipaddr}(:%{NUMBER})?" ] }
mutate { replace => [ "fqdn", "%{ipaddr}" ] }
dns
浏览 3提问于2014-01-02得票数 0
我试图设置日志库，弹性搜索和Kibana，以可视化日志。日志应该通过TCP发送到logstash，过滤，输出到ES-index，而不是在kibana中显示。
我要发送给logstash的信息：
msg_to_tcp="id=1324 type=error name=system_name"
logstash.conf：
input{
tcp {
host => localhost
port => 55555
}
}
filter {
kv {}
mutate {
convert => [
浏览 1提问于2015-03-12得票数 1
2回答
我如何配置filebeat只将一定百分比的日志(如果愿意的话是一个示例)发送到logstash？
在我的应用程序的日志文件夹中，日志分块到大约20 megs。我希望文件只运送大约1/300的原木体积到日志储存。
在将日志卷通过线路发送到logstash之前，我需要压缩日志卷，这样我就不能从logstash进行这种过滤，它需要发生在端点离开服务器之前。
我在ES论坛上问了这个问题，有人说不可能用filebeat：
我真的没有办法延长文件传输时间来完成这个任务吗？nxlog或其他产品能做到这一点吗？
浏览 6提问于2017-03-10得票数 1
回答已采纳
我已经在Logstash中配置了一台tcp服务器，以便多台服务器可以将日志数据推送到Logstash。但是，我想将消息所来自的服务器的IP地址作为属性添加到消息中。
在Logstash中使用TCP服务器时，有没有可以找到客户端IP的变量或插件？
浏览 1提问于2016-02-29得票数 0
4回答
我希望使用多个工作线程来处理带有logstash的多行日志，但多行筛选器不能工作：- -
目前的解决办法：
使用多个日志转发器，并将它们发送到不同的伐木机端口(规模非常小:对于每一个具有多行的日志文件，新的日志转发器)
使用带有redis输出的额外logstash接收器和从redis读取并使用一个辅助线程()的额外logstash索引器。
作为一种hack，我尝试在logstash输出部分中放置一个类型检查，它可以在logstash输出部分中包含多行，并将它们重发到同一个logstash实例的不同的lumberjack输入(不同的端口)中，后者有编解码多行，但它不处理它们。
浏览 7提问于2015-03-16得票数 2
回答已采纳
2回答
我想用logstash和elasticsearch索引我的日志。
我的问题是：
我有两个环境：
生产(prod)
用户接受(uat)
我想使用一个elasticsearch集群存储我的日志。如何将这两组日志分开？
例如，如果我在端口9092上打开logstash (例如)，我希望能够从prod环境中查找日志，如果我在端口9093上打开logstash (例如)，我希望能够从uat环境中查找日志。
请你给我建议，我如何实施这一点？
浏览 0提问于2012-12-02得票数 2
回答已采纳
我正在尝试通过logstash对ElasticSearch中的文档进行索引。下面是我试图索引的文件中的一个示例
GET firstname=john&lastname=smith 400
我的目标是创建一个如下所示的索引
HTTPMethod: GET
firstname : john
lastname: smith
query_time : 400
到目前为止，我做了以下工作
filter {
grok{
match => {"message" => "%{WORD:HttpMethod}
浏览 2提问于2017-09-10得票数 0
我在日志中的时间戳格式如下
2016-04-07 18:11:38.169 which is yyyy-MM-dd HH:mm:ss.SSS
此日志文件不是活动日志文件(已存储/旧日志文件)，我正在尝试将此timpestamp替换为logstash @timestamp值，以改善Kibana可视化。
我在logstash中的过滤器如下所示
grok {
match => {
"message" => [ "(?<timestamp>(\d){4}-(\d){2}-(\d){2} (\d){2}:
浏览 4提问于2017-02-09得票数 4
3回答
从一个简单的java应用程序向我的logstash实例发送日志数据时，我遇到了一些问题。对于我的用例，我尽量避免使用tcp，而是通过一个原始的log4j套接字在单独的行上批处理json事件。原因是我希望通过aws lambda函数将数据发送到logstash，这意味着将日志存储到磁盘可能无法工作。
我的logstash配置文件如下所示：
input {
tcp {
port => 5400
codec => json
}
}
filter{
json{
source => "message"
}
}
ou
浏览 0提问于2016-02-02得票数 10
回答已采纳
1回答
我正在使用ELK坞堆栈来聚合和分析来自不同来源的日志，但是我的logstash配置有问题。
File节拍将流重定向到logstash，而我对Elasticsearch没有任何了解，所以我认为logstash配置存在问题。
我有两种与我的码头日志不同的日志：
HTTP请求日志
2019-01-29T18:35:15.423ZHTTP INFO "POST /myroute/?param1 1=test“201 41 - 44.014 ms
APP日志
2019-01-29T18:48:19.657Z应用程序错误：{“代码”：201，“消息”：“ok”}
当我检测到日志是&
浏览 0提问于2019-01-30得票数 0
1回答
在通过logstash进行自定义日志解析方面需要您的帮助
下面是我试图通过logstash解析的日志格式
2015-11-01 07:55:18,952 [abc.xyz.com] - /Enter, G, _null, 2702, 2, 2, 2, 2, PageTotal_1449647718950_1449647718952_2_App_e9c00521-eeec-4d47-bf5b-b842ec14a4ff_178.255.153.2___, , , NEW,
我的logstash conf文件如下所示
input {
file {
path => [ "/
浏览 0提问于2015-12-10得票数 0
目前，logstash从azure事件集线器中提取JSON数组，需要将其拆分为多个事件。
我从事件中心获得的日志如下所示：
{"records": [{JSON LOG},{JSON LOG},{JSON LOG},...,{JSON LOG}]}
我试过使用split和json过滤器，但我似乎无法让它发挥作用。基本上，我希望将数组拆分，以便logstash将记录中的每个json日志作为单独的事件发送给弹性日志，并被解析为JSON。
我还需要将单个JSON日志重命名/解析到ECS中，因此目前认为我需要将记录解析为json，然后在发送到弹性之前将输出解析为json，然后执行一些变
浏览 30提问于2022-01-11得票数 0
回答已采纳
我需要使用: logstash Logback Encoder从多个微服务将应用程序日志直接发送到Logstash。问题是，当我发送日志时，logstash收到的日志如下： {
"_index": "logstash-2021.01.21-000001",
"_type": "_doc",
"_id": "id",
"_version": 1,
"_score": 1.6928859,
"_source": {
浏览 45提问于2021-01-21得票数 0
1回答
我在AWS上为我的ELB启用了访问日志，我们将它们发送到logstash + elasticsearch + kibana的设置中。我使用logstash的grok过滤器将日志解析为可以在kibana中查看和排序的单独字段，并且在解析amazon在这些日志中给出的最后一个字段(即“请求”字段)时遇到了困难。它实际上包含三个部分。HTTP方法、URL本身和HTTP版本。
我如何将这3块分割成我可以使用的独立字段？
谢谢本雅明
浏览 2提问于2014-06-11得票数 1
回答已采纳
我已经将syslog设置为将日志发送到logstash，并使用以下过滤器：
output {
elasticsearch
{ hosts => ["localhost:9200"]
document_id => "%{job_id}"
}
}
filter {
grok {
overwrite => ["message"]
}
json {
source => "message"
}
}
我的一个应用程序的典型消息将具有一个初始
浏览 1提问于2016-02-04得票数 6
回答已采纳
我使用logstash将数据加载到ES。
我有一个csv文件，两列，使用logstash基本文件加载，如下所示。
input {
file {
path => "/Users/gibbs/Documents/search/mini_system_data_new.csv"
start_position => beginning
}
}
filter {
csv {
columns => [
"secure_flag",
浏览 2提问于2020-05-10得票数 0
回答已采纳
2回答
我需要从logstash的microsoft事件日志中过滤错误消息。ELK在ubunu 14.04机器上运行
logstash配置
input {
tcp {
port => 5045
type => 'eventlog'
}
}
filter{
if [type] == 'eventlog' {
if [Severity] == "ERROR" {
mutate {
add_tag => "error"
}
}
}
}
output
浏览 4提问于2016-05-31得票数 0
全
我正在使用logstash从远程服务器发送日志。我得到的消息是像这样的散列类型：
[2014-12-06 23:59:57] 112.254.70.37 <AUDIO> {"type":"Stat", "eid":4800316, "mid":"87192133091532", "ccid":3228662, "ver":102, "ip":"114.113.200.227", "port":9081, "jit
浏览 0提问于2014-12-12得票数 1
回答已采纳
1回答
对数管道中止
、、、
我一直在犯这个错误。我正试图解析一个csv。文件。我想知道我是不是错过了图书馆什么的。
我在windows命令行中使用logstash.bat -f logstash.conf命令来运行这个命令并获得这个输出。
我正在尝试使用codec调试编解码器进行输出。
21:19:03.781 [main] INFO logstash.setting.writabledirectory - Creating directory {:setting=>"path.queue", :path=>"C:/Users/Public/logstash-5.2.1/data/q
浏览 8提问于2017-02-18得票数 0
回答已采纳
嗨，作为一个弹性新手，我对为什么我们需要fileBeat将日志发送到ElasticSearch(ES)或Logstatsh有疑问。
据我所知，我们可以直接从文件中读取日志，然后发送到logstash，然后从那里发送到ES。如果允许前者，那么为什么我们需要FileBeat作为日志和日志存储之间的中间层。
我所知道的：xyzlogfile--->logstash-file--->ES--->kibana
为什么我们需要FileBeat中间：xyzlogfile--->fileBeat--->logstash-file--->ES--->kibana
浏览 0提问于2017-09-19得票数 4
1回答
我目前正在进行两个日志存储项目，一个是监视IIS日志，另一个是防火墙。
现在IIS日志来自高使用率的服务器，每个月生成大约25 of的日志，其中有几个。这里的问题是，我们不希望启用反向查找，不是在服务器上，也不是在Logstash中，而是通过外部服务，因为我们可以在logstash中缓存DNS查找函数之外的内容。
与防火墙项目有关的另一个问题是标准端口和非标准端口的查找。我们的防火墙只生成一个我们想要转换的最大的端口号，以使我们的Kibana仪表板更具可读性。防火墙的流量约为10 of /s，产生了大量的syslog流量。
我们目前在日志存储服务器上运行8-16个工作人员。有没有容易的(?)从
浏览 4提问于2015-07-11得票数 0
回答已采纳
我目前正在研究使用logstash (或graylog2)从多个服务器合并日志的可能性。
我仍然对不同的逻辑存储和灰色日志感到有点困惑。到目前为止，我很欣赏logstash的易用性，但我很想听听其他人的经验。
此外，logstash似乎可以获得Windows事件日志。是否有任何动机使用nxLog或圈套替代？许多人使用nxlog将事件转发到远程logstash实例。这是推荐的方法吗？
就目前而言，我们希望从多个盒子中合并：
windows事件日志
第三方csv文件
谢谢您的反馈。
浏览 0提问于2013-10-23得票数 12
回答已采纳
我有一个日志文件，它实际上有INFOs‘和ERRORs，所以我试着通过使用grok筛选器来匹配需要的INFO。因此，是我的日志行的样子。档案里没几个。
在我的logstash中，我的grok是这样的：
grok {
patterns_dir => ["D:/elk_stack_for_ideabiz/elk_from_chamith/ELK_stack/logstash-5.1.1/bin/patterns"]
match => {
"message" => [
浏览 7提问于2017-02-02得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
