Logstash从grok筛选器添加字段
Logstash是一个开源的数据收集引擎，用于将不同来源的数据进行收集、转换和传输。它是Elastic Stack（Elasticsearch、Logstash、Kibana）中的一部分，常用于处理和分析大量的日志数据。
Grok筛选器是Logstash中的一种插件，用于解析和结构化非结构化的日志数据。它通过使用正则表达式模式匹配来提取日志中的字段，并将其添加到事件中。通过将字段添加到事件中，可以更好地理解和分析日志数据。
Grok筛选器的工作原理如下：
- 定义模式：使用Grok模式定义语法，将日志中的字段与特定的模式进行匹配。
- 匹配日志：Grok筛选器将日志事件与定义的模式进行匹配，提取出符合模式的字段。
- 添加字段：将提取的字段添加到事件中，以便后续处理和分析。
使用Grok筛选器添加字段的优势：
- 结构化日志数据：Grok筛选器可以将非结构化的日志数据转换为结构化的数据，使其更易于理解和分析。
- 灵活性：Grok筛选器支持自定义模式，可以根据不同的日志格式进行灵活配置和解析。
- 提高可搜索性：通过将字段添加到事件中，可以在后续的数据分析和搜索中更方便地使用这些字段。
应用场景：
- 日志分析：Grok筛选器常用于处理和分析大量的日志数据，帮助用户理解和监控系统的运行情况。
- 安全分析：通过解析日志中的关键字段，可以帮助检测和分析安全事件，提高系统的安全性。
- 业务监控：结构化的日志数据可以用于监控业务指标和性能指标，帮助用户及时发现和解决问题。
腾讯云相关产品推荐： 腾讯云提供了一系列与日志处理和分析相关的产品，可以与Logstash搭配使用，如下所示：
- 云原生日志服务CLS（Cloud Log Service）：提供了日志的采集、存储、检索和分析功能，支持海量日志数据的处理和查询。详情请参考：CLS产品介绍
- 云原生分布式关系型数据库TDSQL（TencentDB for TDSQL）：支持高性能的分布式关系型数据库，适用于存储和查询结构化的日志数据。详情请参考：TDSQL产品介绍
- 云原生数据仓库CDW（Cloud Data Warehouse）：提供了大规模数据存储和分析的能力，适用于处理和分析海量的日志数据。详情请参考：CDW产品介绍
通过使用Logstash的Grok筛选器，可以将非结构化的日志数据转换为结构化的数据，并将提取的字段添加到事件中，以便后续的处理和分析。腾讯云提供了一系列与日志处理和分析相关的产品，可以与Logstash搭配使用，如CLS、TDSQL和CDW，帮助用户更好地处理和分析日志数据。
相关·内容
我正在研究logstash，以及如何使用它的过滤器和grok模式。我有一个疑问，我需要澄清。
假设我们的日志包含一个时间戳字段，如下所示：
[01/Sep/2015:06:22:11 -0400]
使用grok，我可以定义一个模式来将其捕获为HTTPDATE，如下所示：
\[%{HTTPDATE:timestamp}\]
在grok调试器中，我可以看到它能够从以下内容中识别日期、时间等：
{
"timestamp": [
[
"01/Sep/2015:06:22:11 -0400"
]
],
"MONTHDAY&#
浏览 2提问于2015-09-01得票数 2
回答已采纳
1回答
使用regex与json进行过滤
、、、、
在过滤日志时，Logstash可能会使用grok来解析接收到的日志文件(假设是Nginx日志)。使用grok进行解析需要您正确设置字段类型-例如，%{HTTPDATE:timestamp}。 然而，如果Nginx开始以JSON格式记录日志，那么Logstash只做很少的处理。它只是创建索引，并输出到Elasticseach。这让我相信，只有Elasticsearch才能从它接收索引的“方式”中受益。 与JSON相比，使用Regex处理索引数据对Elasticseatch有什么优势吗？例如，它是否会影响查询时间？
浏览 24提问于2020-04-17得票数 0
回答已采纳
我正在尝试简化我的logstash配置。我想将程序字段分割成单独的字段(如下所示)，但是我更喜欢使用一条grok语句(如果可能的话！)
在下面的两个示例中，我得到了第二个示例的_grokparsefailure，但不是第一个。由于grok具有add_field和remove_field选项，因此我假设我可以将所有这些都组合到一条grok语句中。为何不是这样呢？我是不是错过了某些排序/语法？
示例日志：
2016-02-16T16:42:06Z ubuntu docker/THISTESTNAME[892]: 172.16.229.1 - - [16/Feb/2016:16:42:06 +000
浏览 6提问于2016-02-17得票数 1
回答已采纳
您好，我正在尝试使用Filebeat和Logstash设置日志分析。下面是我在
filebeat.inputs:
- type: log
enabled: true
paths:
- D:\elasticsearch-5.4.3\elasticsearch-5.4.3\logs\elasticsearch.log
output.logstash:
# The Logstash hosts
hosts: ["localhost:5044"]
这是我的logstash配置文件。
input {
beats {
port => 5044
浏览 320提问于2019-10-22得票数 0
我是Grok新手，虽然我已经成功地创建了自定义正则表达式，并在logstash配置文件中编写了GROK过滤器。我的问题如下：
源字段--我正在解析一个日志文件，其中，每个事件都包含一个“源”字段，该字段是日志文件的名称，例如：
test.YYYYMMDD_HHMMSS.log
我想要做的是：对于每个事件，其中“source”包含这个文件名，在Grok过滤器中的一个新字段中提取日期和时间，格式如下：
DD/MM/YYYY HH:MM:SS
我知道如何用GROK编写自定义正则表达式(REs)，但我不能编写一个RE，它将匹配数据并在将其存储到变量之前对其进行格式化。所以这就是我的问题。
有人能帮忙吗
浏览 7提问于2017-09-20得票数 0
1回答
我的原木行是这样的：
11:05:44,924 DEBUG DataFeed:? - Data received: data=TextMessage={ Header={ JMSMessageID={ID:someId} JMSDestination={Topic[someTopic]} JMSReplyTo={null} JMSDeliveryMode={NON_PERSISTENT} JMSRedelivered={false} JMSCorrelationID={null} JMSType={null} JMSTimestamp={Tue Aug 30 11:05:44 BST 2016
浏览 2提问于2016-08-30得票数 0
回答已采纳
我已经设置了squid代理，可以通过Logstash将JSON格式化的日志发送到Elastic。我试图使用GROK过滤来解析日志。过滤器在Kiabana Grok调试器中工作，但是当我重新启动Logstash时会出现以下错误
Failed to execute action {:action=>LogStash::PipelineAction::Create/pipeline_id:squid_logs,
:exception=>"LogStash::ConfigurationError", :message=>"Expected one of [
浏览 2提问于2021-05-13得票数 0
回答已采纳
1回答
尝试使用grok从msgbody字段中提取一些字段，但只提取了grok中的第一个字段。 感兴趣的字段- corId、controller、httpStatusText和uri (这些字段可能不会出现在每个日志事件中) 示例数据- 2020-01-03 10:44:17,025 [93] ERROR MedServFileLogger corId=cf25b00d-1e37-4eb7-ab75-82ceeec7fdab - Exception controller= Loan action= Getmethod= GET uri= http://xxxxxxxxxx/v2/media/inst
浏览 215提问于2020-01-07得票数 1
回答已采纳
1回答
我有以下logstash文件
input {
tcp {
port => 12345
codec => json
}
}
filter {
grok {
break_on_match => true
match => [
"message", "%{TIMESTAMP_ISO8601:timestamp} (verbose|info|debug) (hostd|vpxa)",
]
mutate {
add_tag => "esxi_ve
浏览 1提问于2019-03-04得票数 0
回答已采纳
1回答
我有来自使用jdbc输入插件的数据库查询的数据，查询的结果包含url字段，我想从其中提取一些属性。
示例urls：
/incident.do?sys_id=0dc18b246faa17007a64cbe64f3ee4e1&sysparm_view
/navpage_form_default.do
/u_pm_prov_project_list.do?sysparm_userpref_module=fa547ce26f661
工作:电子邮件阅读事件处理
工作:系统-减少资源
我在grok模式文件中添加了regex模式：
webpage_category
浏览 0提问于2018-05-17得票数 3
1回答
我使用file节拍将日志文件提取到logstash中，然后过滤不必要的字段。一切都很好，我将它们输出到elasticsearch中，但是有一个字段用于elasticsearch索引名，我在grok匹配中定义了这个变量，但是我无法找到一种方法来删除该变量，一旦它达到了目的。我将在下面分享我的logstash配置
input {
beats {
port => "5044"
}
}
filter {
grok {
match => { "[log][file][path]" =&g
浏览 2提问于2022-04-01得票数 0
回答已采纳
我使用logstash从sql数据库获取数据。有一个称为“代码”的字段，其中的内容具有这样的结构：
PO0000001209
ST0000000909
我想要做的是移除字母后面的6个零，得到以下结果：
PO1209
ST0909
我将把结果放在另一个名为"code_short“的字段中，并将其用于elasticsearch中的查询。我已经在logstash中配置了输入和输出，但我不知道如何使用grok或可能修改筛选器来实现。
我读过一些例子，但我在这方面还是很新的，我有点卡住了。
任何帮助都将不胜感激。谢谢。
浏览 0提问于2017-01-31得票数 1
回答已采纳
我已经设置了logstash，并且正在使用“默认”syslog筛选器，如下所示：
filter {
if [type] == "syslog" {
grok {
match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
浏览 2提问于2016-06-02得票数 1
回答已采纳
我正在尝试从logstash中的request_uri字段中提取一个子字符串。Grok将我的空间访问日志行拆分成几个字段(已经在运行)，因此我在自己的字段中获取request_uri。现在，我想要获取uri的根上下文。
/en/some/stuff
/ApplicationName/some/path
/fr/some/french/stuff
但我don#t知道如何在它自己的字段中存储en，ApplicationName，fr (除了其他字段)。我在想像这样的东西可能行得通。
grok {
pattern => "\"%{GREEDYDATA:d
浏览 0提问于2015-01-16得票数 1
回答已采纳
我需要使用logstash生成新字段(loglevel)，最后在kibana中显示。
如何提取此日志并使用此日志的grok筛选器生成模式。
如何使用logstash配置创建日志级字段。
浏览 2提问于2015-07-08得票数 1
1回答
是否有一种方法可以从已经定义的字段中保存字段？
我有以下过滤器：
grok {
match => [ "message", "\[%{TIMESTAMP_ISO8601:timestamp}\]\s+\[%{DATA:homebridge_app}\]\s+%{GREEDYDATA:log_message}" ]
}
这将导致"log_message“填充如下所示：
Current temperature for Entryway Thermostat is: 20.5 C
Current humidity for Entryway Therm
浏览 5提问于2017-10-27得票数 1
回答已采纳
我有下面的logstash配置
input {
file {
path => "/path/to/log"
type => "tomcat"
start_position => "beginning"
codec => multiline {
pattern => "^P50\s+:\s+[0-9]{4}-[0-9]{2}-[0-9]{1,2}\s+[0-9]{1,2}:[0-9]{2}:[0-9]{2}"
negate =>
浏览 11提问于2022-07-05得票数 0
我有syslog文件。我正在使用logstash syslog插件过滤器来处理这些日志。我在syslog_message字段中得到消息，如下所示：
syslog_message:[cdp/interface.ERR] - {- -} Error writing CDP frame on system. Link is down
但是我想要一个新的字段，它应该只包含.ERR之前的部分，即“cdp/接口”。这个部分是不同的，我不知道会发生多少个类型。因此，我想要一个新的字段，并希望将这部分存储在该字段上，这样我就可以在基巴纳绘制这些术语的计数图。
当前日志存储配置：
filter {
if [
浏览 2提问于2016-09-21得票数 1
回答已采纳
我们有一台单独的服务器用于logstash，日志位于远程机器上。我们使用lumberjack的logstash插件将这些相同的日志从远程机器发送到logstash服务器。
我试过这个：
客户端配置(存在日志的位置)：
input {
file{
path => "/home/Desktop/Logstash-Input/**/*_log"
}
}
output {
lumberjack {
hosts => ["xx.xx.xx.xx"
浏览 0提问于2014-07-11得票数 0
我有以下logstash配置：
input { stdin { } }
output {
elasticsearch { hosts => ["localhost:9200"] }
stdout { codec => rubydebug }
}
filter {
ruby {
code => "
@@exists_pattern = ['foo', 'bar'].any?{ |pattern| event.get('message').include?(patter
浏览 29提问于2017-06-29得票数 2
回答已采纳
我在做麋鹿堆栈的配置。日志存储转发器用作日志托运人，每种类型的日志都有一个类型标记：
{
"network": {
"servers": [ "___:___" ],
"ssl ca": "___",
"timeout": 15
},
"files": [
{
"paths": [
"/var/log/secure"
],
"fields":
浏览 3提问于2014-11-14得票数 0
回答已采纳
我在logstash.config中尝试使用以下正则表达式从字段中提取一个部分字符串，
{
"_index": "logstash-2016.08.09",
"_type": "log",
"_id": "AVZvz2ix",
"_score": null,
"_source": {
"message": "function_name~execute||line_no~128||debug_message~id wa
浏览 3提问于2016-08-16得票数 0
回答已采纳
我想知道是否可以使用Logstash消息中的字段作为to Grok模式的输入。假设我有一个条目看起来是：
{
"message":"10.1.1.1",
"grok_filter":"%{IP:client}"
}
我想做这样的事：
filter {
grok {
match => ["message", ["%{grok_filter}"]]
}
}
问题是，这会使Logstash崩溃，因为它似乎将"%{ grok_filter }“视为Grok过滤器
浏览 2提问于2014-10-23得票数 1
回答已采纳
我有一个日志文件，看起来像这样(简化)
Logline样例
MyLine data={"firstname":"bob","lastname":"the builder"}
我想提取包含在data中的json，并创建两个字段，一个用于名字，一个用于最后一个。然而，我得到的结果是：
{"message":"Line data={\"firstname\":\"bob\",\"lastname\":\"the builder\"}\r",&
浏览 3提问于2015-11-26得票数 12
回答已采纳
我的logstash过滤器配置如下：
filter {
grok {
patterns_dir => ["/usr/share/logstash/pipeline/patterns/"]
match => {
"[message]" => "%{TIMESTAMP_ISO8601:timestamp} %{THREAD:thread} %{LOGLEVEL:level} %{LOGGER:logger} %{CONTEXT:context} - %{GREEDYDATA:message}"
浏览 2提问于2020-10-28得票数 0
我有各种各样的shell脚本，我从这些脚本中运行了syslog的记录器行，并带有json格式的消息：
printf '{"task_id": "%s", "seconds": %f, "success": %s}' ${task_id} ${num_seconds} ${success_bool}
这将在/var/log/syslog中获得以下输出：
Feb 1 15:12:16 my-machine logger: {"task_id": "231232xyz", "se
浏览 1提问于2016-02-01得票数 0
回答已采纳
需要一点帮助来找出管道没有启动的原因。
[ERROR][logstash.agent] Cannot create pipeline {:reason=>"Expected one of #, => at line 39, column 52 (byte 563) after filter {\n grok {\n patterns_dir => \"/etc/logstash/patterns.d\" \n match => {\n \"%{SYSLOGBASE} %{POSTFIXSMTPDCONNECTS}\""}
浏览 4提问于2018-02-15得票数 0
回答已采纳
我正在使用logstash-1.4.0与elasticsearch 1.3.4和kibana 3.1.1 (我知道我已经过时了，这是我现在所能做的最好的)。
日志示例：
2016-05-31 16:05:33 RequestManager信息手动标志LOLROFLin TRALALA 123456Was改为true
我的grok过滤器：
filter {
grok {
match => { "message" => "%{DATESTAMP:timestamp} %{WORD:clazz} %{NOTSPACE:level}
浏览 5提问于2016-05-31得票数 0
1回答
有人能帮我弄一下米制过滤器吗。我想设置日志存储以检查日志级别=每5s的错误，如果日志级别=错误超过1，应该发送电子邮件。我正在使用logstash 2.2.4
input {
file {
path => "/var/log/logstash/example"
start_position => beginning
}
}
filter {
grok{
match => { "message" => "\[%{TIMESTAMP_ISO8601:timest
浏览 3提问于2017-03-28得票数 1
回答已采纳
1回答
我开始使用logstash来管理syslog。为了测试它，我从远程机器发送简单的混乱，并尝试用logstash解析它们。
唯一的Logstash配置，通过命令行使用：
input {
syslog {
type => syslog
port => 5514
}
}
filter {
grok {
match => { "message" => "hello %{WORD:who}" }
浏览 0提问于2015-01-29得票数 0
回答已采纳
我正在尝试解析日志并将其放入使用logstash的elastic search中。
我的日志文件格式如下
[18-Aug-2016 02:28:46,537][ERROR][thread1][package.name] there is error in line 52
\[%{GREEDYDATA:date} %{GREEDYDATA:time}\]\[%{LOGLEVEL:log_type}\]\[%{GREEDYDATA:thread_name}\]\[%{GREEDYDATA:package}\](%{GREEDYDATA:log_msg})?
当我运行这个grok过滤器时，我得到了
浏览 0提问于2016-08-17得票数 2
回答已采纳
我是第一次接触logstash和grok，我正在尝试以以下格式解析S3存储桶中的AWS ECS日志- 文件名- my-logs-s3-bucket/3d265ee3-d2ee-4029-a3d9-fd2255d69b92/ecs-fargate-container-8ff0e472-c76f-4f61-a363-64c2b80aa842/000000.gz 样本行- 2019-05-09T16:16:16.983Z JBoss Bootstrap Environment
2019-05-09T16:16:16.983Z JBOSS_HOME: /app/jboss
2019-05-0
浏览 32提问于2019-06-25得票数 0
回答已采纳
我正在尝试将我们的字段中的一个字符串转换为Integer。我尝试了所有的方法来转换，但是所有的方法都失败了。
我尝试在Kibana使用无痛，Logstash使用变异过滤器和Elasticsearch使用重新索引API。
这是我们的日志：
9月13日10:37:01 SYSTROMEGGN APP_TRAFFIC: SerialNum=H000D-8D31U-2000P-H0H5Q-E028T GenTime="2019-09-13 :37:01“StartTime=2019-09- 13 10:36”EndTime="2019-09-13 10:37:00“Category=
浏览 0提问于2019-09-16得票数 0
1回答
我试图在Grok自定义模式中使用查找和前瞻性，并在Grok调试器中获取我无法解决的模式匹配错误。
这是用于归档系统日志的。我目前正试图解析后灰色应用程序。
给定的数据，如：
2019-04-09T11:41:31-05:00 67.157.192.7 postgrey: action=pass, reason=triplet found, delay=388, client_name=unknown, client_address=103.255.78.9, sender=members@domain.com, recipient=person@domain.com
我试图使用以下方法将
浏览 2提问于2019-04-10得票数 1
回答已采纳
1回答
Basic是一个浮动字段。上述索引在elasticsearch中不存在。在使用logstash -f运行配置文件时，我也不例外。然而，在elasticsearch中反映和输入的数据显示Basic的映射为string。我该怎么纠正呢？如何对多个字段执行此操作？
input {
file {
path => "/home/sagnik/work/logstash-1.4.2/bin/promosms_dec15.csv"
type => "promosms_dec15"
star
浏览 4提问于2014-12-18得票数 0
回答已采纳
我使用logstash、filebeat和grok将数据从日志发送到弹性搜索实例。这是管道中的grok配置。
filter {
grok {
match => {
"message" => "%{SYSLOGTIMESTAMP:messageDate} %{GREEDYDATA:messagge}"
}
}
}
这很好，问题是messageDate是这种格式的Jan 15 11:18:25，它没有一年的条目。
现在，我知道这些文件是在哪一年创建的，我想知道是否有可能在这个过程中为
浏览 0提问于2018-01-24得票数 0
回答已采纳
我正在使用Logstash和Kv插件来解析和识别由Fortigate UTM设备生成的日志文件的字段，但是我无法让它工作。
编辑-我已经得到了配置工作，下面的代码工作的Fortigate操作系统日志
#Begin Input
input {
udp {
type => "syslogrrr"
port => 514
}
}
#End Input
#Begin Filter
filter {
#Begin If Statement
if [type] == "syslogrrr" {
#Begin Grok
grok {
浏览 30提问于2020-03-04得票数 0
回答已采纳
1回答
嗨，我对logstash和grok过滤很陌生，我有一个这样的样例日志：
1/11/2017 12:00:17 AM :引发的错误是:无错误
发送的请求是: webMethod:GetOSSUpdatedOrderHeader|appCode:OSS|regionCode:EMEA|orderKeyList:|lastModifedDateTime:1/10/2017 11:59:13下午1:13
当我希望能够在一个字段中捕获包括":“在内的整行时，我希望筛选出行分隔符，这是一条包含** (最后一行)的行。例如，在上面的日志中，必须在我的grok模式的一个字段中捕获webMethod
浏览 3提问于2017-01-23得票数 0
1回答
我们想为我们公司的几个不同的项目设置一台服务器。现在我尝试在Kibana中启用它们。我的问题是:如果我有不同模式的日志文件，我如何为它们构建过滤器？示例: logstash.conf：
input {
file {
type => "A"
path => "/home/logstash/A/*"
start_position => "beginning"
}
file {
type => "B"
path => "/home/logstash/
浏览 5提问于2014-02-12得票数 9
我正在尝试使用redis和elasticsearch配置logstash。
我对@timestamp字段有一个问题。
@timestamp的值始终是实际事件的时间戳-2小时。
我有一个这样配置的发货人：
input{ file {...}}
filter{
if [type]=="apachelogs"{
grok{
match => [ "message", "%{COMBINEDAPACHELOG}"]
}
date {
locale =&g
浏览 0提问于2014-05-21得票数 4
回答已采纳
我使用rsyslog将纯文本日志发送到logstash。但我不能通过grok将数据分配给host.name或host.ip字段。系统通过以下错误：
无法将事件索引到Elasticsearch。{:status=>400，:action=>"index"，{:_id=>nil，:_index=>"logstash-syslog-2020.09.03"，:routing=>nil，:_type=>"_doc"}，#LogStash::Event:0x3273b8c，：action=> "_type&#
浏览 3提问于2020-09-03得票数 0
回答已采纳
1回答
在迁移到生产环境之前，我有一个测试环境来测试一些logstash插件。 现在，我使用kiwi syslog生成器来生成一些syslog进行测试。 我拥有的字段如下： @timestamp
message
+ elastic medatadata 从这个基本字段开始，我开始过滤我的数据。第一件事是根据timestamp and message添加一个新字段，如下所示： input {
syslog {
port => 514
}
}
filter {
prune {
whitelist_names =>["timestamp","m
浏览 32提问于2021-07-26得票数 0
回答已采纳
1回答
我上下搜索，想知道这是否是Grok中的一个选项。所以我的日志文件被过滤得很好。除了，%{QS:message}是包含我的错误、警告、帖子、GET等的内容。我希望能够查询那些在Kibana，但没有他们作为一个选项。我能做些什么使这些关键字从logstash返回到kibana
浏览 0提问于2015-03-18得票数 0
回答已采纳
在我更改配置以添加地理位置字段后，我的整个系统崩溃。
当我的配置如下所示时，我的系统可以正常运行：
input {
syslog
{
host => "localhost4"
port => 5140
type => "system"
}
}
filter {
grok { match => { message => [ ".*ipaddr: %{IP:ipaddr}.*" ] }}
grok { match => { message => [ ".*dnsname: %{
浏览 2提问于2016-04-20得票数 0
1回答
我在试着解析
[7/1/05 13:41:00:516 PDT]
这是我为相同的配置编写的grok：
\[%{DD/MM/YY HH:MM:SS:S Z}\]
使用日期过滤器：
input {
file {
path => "logstash-5.0.0/bin/sta.log"
start_position => "beginning"
}
}
filter {
grok {
match =>" \[%{DATA:timestamp}\] "
}
date {
match => ["timestamp",
浏览 4提问于2017-01-31得票数 0
我用ELK和logstash-Logback-编码器将日志推送到Logstash。现在，我想使用相同的堆栈，也就是带有logstash编码器的ELK进行分析。
流动：
API(Create User)----> Commit data to RDBMS ----->
Callback Listener(on post persist and post update) --->
Logger.info("IndexName: {} . DocId: {} .User json: {}", "Customer", user.getID(), u
浏览 1提问于2017-10-16得票数 2
我想用logstash解析日志文件，它包含单行和多行。例如，前2行具有1行日志条目，而第3行具有多行条目
ERROR - 2015-12-05 20:48:53 --> Could not find page
ERROR - 2015-12-05 20:48:53 --> Could not find VAR
ERROR - 2015-12-05 20:48:59 --> Array
(
[id] => 12344
[studentid] => 33
[fname] =>
[lname] =>
[address
浏览 2提问于2015-12-06得票数 0
我正在使用grok模式从文件路径中提取一些数据，但它似乎不能正常工作
path: /home/shard/logstash/test/12/23/abc_132.log
pattern: %{GREEDYDATA}/%{INT:group}/%{INT:id}/%{DATA:job_type}(_%{UUID:uuid})*\.log
我想提取132作为uuid字段，它在grok调试器http://grokdebug.herokuapp.com/中测试时工作正常，但在logstash索引器中应用时，它会获取job_type字段下的所有abc_132。
这里可能存在什么问题，以及如何提取uuid
浏览 0提问于2013-12-09得票数 1
1回答
日志字符串示例：
2014-06-01 00:00:48 192.168.1.1 968 http://yandex.ru
Logstash配置：
input {
file {
path => "/home/michael/logs/squid.log"
start_position => "beginning"
}
}
filter {
grok {
match => [ "message", "%{YEAR:year}-%{MONTHNUM:month}-%{MO
浏览 1提问于2014-07-26得票数 2
回答已采纳
我最近接管了一个运行在debian 9上的Logstash系统，之前的所有者安装了一个旧版本的Logstash，并留下了不完整的项目文档。我已经成功地在windows10上本地配置了Logstash 7.2，并尝试将其转移到Debian系统，替换必要的路径等。我遇到了以下错误，尽管我花了几个小时寻找线索，但我还是抓狂了。如有任何建议，我们将不胜感激！ WARNING: An illegal reflective access operation has occurred
WARNING: Illegal reflective access by com.headius.backport9.m
浏览 37提问于2020-07-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
