Apache日志的logstash自定义日志筛选器
Apache日志的logstash自定义日志筛选器
提问于 2017-08-31 09:37:04
我是麋鹿堆的新手。我有一个文件节拍服务将日志发送到logstash，在使用grok过滤器的logstash中，数据被推送到elasticsearch索引中。
我使用gork过滤器和match => { "message" => "%{COMBINEDAPACHELOG}"}来解析数据。
我的问题是，我希望将字段的名称及其值存储在elasticsearch索引中。日志的不同版本如下：
27.60.18.21 - - [27/Aug/2017:10:28:49 +0530] "GET /api/v1.2/places/search/json?username=pradeep.pgu&location=28.5359586,77.3677936&query=atm&explain=true&bridge=true HTTP/1.1" 200 3284
27.60.18.21 - - [27/Aug/2017:10:28:49 +0530] "GET /api/v1.2/places/search/json?username=pradeep.pgu&location=28.5359586,77.3677936&query=atms&explain=true&bridge=true HTTP/1.1" 200 1452
27.60.18.21 - - [27/Aug/2017:10:28:52 +0530] "GET /api/v1.2/places/nearby/json?&refLocation=28.5359586,77.3677936&keyword=FINATM HTTP/1.1" 200 3283
27.60.18.21 - - [27/Aug/2017:10:29:06 +0530] "GET /api/v1.2/places/search/json?username=pradeep.pgu&location=28.5359586,77.3677936&query=co&explain=true&bridge=true HTTP/1.1" 200 3415
27.60.18.21 - - [27/Aug/2017:10:29:06 +0530] "GET /api/v1.2/places/search/json?username=pradeep.pgu&location=28.5359586,77.3677936&query=cof&explain=true&bridge HTTP/1.1" 200 2476在弹性指数中我想要的字段如下：
- client_ip =>类型必须与kibana用于IP映射的内容兼容。
- 时间戳=>日期时间格式。=>日志的时间
- 方法=>文本=>被调用的方法，例如GET，POST
- 版本=>十进制数=>，例如1.2 / 1.0 (在示例日志中为v1.2)
- 用户名=>文本=>它是
username=之后的文本(在示例日志中为pradeep.pgu) - location =>geo_point类型=>值具有纬度和经度，因此基巴纳可以在地图上绘制这些图。
- search_query => text =>搜索的内容(在示例中从"keyword=“或”query=“两个字段之一)。这两个字段中的任何一个都是存在的，而存在的字段必须使用它的值。
- response_code => number =>响应的代码。(样本为200)
- data_transfered => number =>传输的数据量(示例中的最后一个数字)。
这样的事情有可能吗？哥克过滤器有这方面的规定吗？问题是，参数并不是特定于顺序的。
回答 1
Stack Overflow用户
回答已采纳
发布于 2017-08-31 10:05:44
从HTTPD_COMMONLOG开始，您可以使用这种模式(可以在grok试验器上进行测试)：
grok {
match => {
"message" => "%{IPORHOST:client_ip} %{HTTPDUSER:ident} %{HTTPDUSER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:method} /api/v%{NUMBER:version}/places/search/json\?%{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response_code} (?:%{NUMBER:data_transfered}|-)"
}
}一旦grok过滤器提取了请求，您就可以在其上使用kv过滤器，这将提取参数(并忽略参数不是顺序特定的问题)。您必须将field_split选项设置为&：
kv {
source => "request"
field_split => "&"
}对于search_query，根据存在的字段，我们使用mutate过滤器和add_field选项来创建字段。
filter {
grok {
match => {
"message" => "%{IPORHOST:client_ip} %{HTTPDUSER:ident} %{HTTPDUSER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:method} /api/v%{NUMBER:version}/.*/json\?%{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response_code} (?:%{NUMBER:data_transfered}|-)"
}
}
kv {
source => "request"
field_split => "&"
}
if [query] {
mutate {
add_field => { "search_query" => "%{query}" }
}
} else if [keyword] {
mutate {
add_field => { "search_query" => "%{keyword}" }
}
}
if [refLocation] {
mutate {
rename => { "refLocation" => "location" }
}
}
}页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/45978156
复制相关文章
相似问题
腾讯云开发者
