grep tomcat访问日志的logstash模式

在Logstash中，你可以使用grok过滤器插件来解析和提取Tomcat访问日志中的信息。grok过滤器允许你定义模式来匹配日志行，并将匹配的部分提取到单独的字段中。

以下是一个示例Logstash配置，展示了如何使用grok过滤器来解析Tomcat访问日志：

input {
  file {
    path => "/path/to/tomcat/logs/*.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} \[%{DATA:thread}\] %{JAVACLASS:class} %{GREEDYDATA:message}" }
  }
  date {
    match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "tomcat-access-%{+YYYY.MM.dd}"
  }
  stdout { codec => rubydebug }
}

解释

1. Input:
   • file输入插件用于读取Tomcat访问日志文件。
   • path指定日志文件的路径。
   • start_position设置为beginning，表示从文件的开头开始读取。
2. Filter:
   • grok过滤器用于解析日志行。
   • match参数定义了一个模式来匹配日志行。这个模式是基于常见的Tomcat访问日志格式：
     • %{TIMESTAMP_ISO8601:timestamp}: 匹配ISO8601格式的时间戳。
     • %{LOGLEVEL:loglevel}: 匹配日志级别（如INFO, ERROR等）。
     • \[%{DATA:thread}\]: 匹配线程信息。
     • %{JAVACLASS:class}: 匹配Java类名。
     • %{GREEDYDATA:message}: 匹配剩余的日志消息。
   • date过滤器用于将提取的时间戳字段转换为Logstash的@timestamp字段，以便于后续处理和索引。
3. Output:
   • elasticsearch输出插件将解析后的日志数据发送到Elasticsearch。
   • hosts指定Elasticsearch的地址。
   • index定义了存储日志数据的索引名称，使用日期格式化字符串来按天分割索引。
   • stdout输出插件用于在控制台打印解析后的日志数据，便于调试。

注意事项

• 确保你已经安装了Logstash和相关的插件（如grok和date）。
• 根据你的具体日志格式调整grok模式。上述示例是一个常见的Tomcat访问日志格式，但你的日志可能有不同的字段和格式。
• 如果日志文件较大，考虑使用filebeat等工具作为Logstash的前端，以提高性能和可靠性。

通过这种方式，你可以有效地解析和提取Tomcat访问日志中的有用信息，并将其存储到Elasticsearch中进行进一步分析和可视化。