Logstash是否重命名特定字段？
Logstash是一个开源的数据收集引擎，用于将不同来源的数据进行收集、转换和传输。它可以从各种来源（如日志文件、数据库、消息队列等）收集数据，并将其发送到各种目的地（如Elasticsearch、Kafka等）。
在Logstash中，可以使用filter插件来对数据进行处理和转换。其中，有一个filter插件叫做mutate，可以用于重命名特定字段。通过mutate插件的rename选项，可以指定要重命名的字段和新的字段名。
重命名字段的优势在于可以更好地描述字段的含义，使数据更易于理解和分析。例如，如果原始字段名是"old_field"，但实际上它表示的是某个事件的时间戳，那么可以使用重命名功能将其改为"timestamp"，以便更清晰地表达其含义。
Logstash的应用场景非常广泛，可以用于日志收集和分析、数据清洗和转换、实时数据处理等。它在大数据领域、运维监控、安全分析等方面都有广泛的应用。
腾讯云提供了一个类似的产品叫做CLB（负载均衡），它可以帮助用户实现流量分发和负载均衡。CLB可以根据用户的需求，自动将流量分发到多个后端服务器上，提高系统的可用性和性能。您可以在腾讯云的官方网站上了解更多关于CLB的信息：https://cloud.tencent.com/product/clb
请注意，以上答案仅供参考，具体的产品选择和推荐应根据实际需求和情况进行评估。
相关·内容
1回答
在ElasticSearch 14.04LTS上使用Logstash 1.4.2和Ubuntu1.3(我知道它不是可用的最新ES版本)。
我们有一个事件流，它在一个名为"message“的字段中包含JSON。
如果找到事件字段，我们希望用该字段的JSON替换该字段。
如果找到并解析了原始的"message“字段(包含JSON字符串的字段)，我们还希望将其删除。
问题是，字段文本中的JSON对象可能会定义一个新的"message“字段，我们必须保留该字段。
下面的代码总是在解析"message“字段后将其删除：
json {
source => "
浏览 4提问于2015-01-14得票数 0
2回答
ELK最合适的时间戳名称_或@
、、、、
当使用Logstash将日志解析到Elasticsearch，然后使用Kibana可视化时，时间戳最合适的名称是什么？
我在过滤器中使用日期定义时间戳：
date {
match => [ "logtime", "yy-MM-dd HH:mm:ss" ]
}
Logstash自动将其放入@timestamp字段。Kibana可以配置为使用任何格式正确的字段作为时间戳，但在Elasticsearch中使用_timestamp似乎是正确的。要做到这一点，您必须对datestamp字段进行变异和重命名。
mutate {
rename =&g
浏览 5提问于2016-08-09得票数 2
回答已采纳
我正在使用logstash解析文件并将其存储在mongodb中。如果文件刚刚被重命名，我不希望logstash对该文件进行重新分析。我怎样才能做到这一点？我包含了sincedp_path字段，我的命令如下所示。
input {
file {
path => "/file.log"
sincedb_path => "/logstash"
}
}
output {
mongodb {
collection ="collect" database => "
浏览 1提问于2015-08-13得票数 0
1回答
我们目前正在使用logstash和elasticsearch来记录一些out应用程序事件。有些事件包含动态命名的字段。
我们希望应用一个过滤器，在进入elasticsearch之前删除或合并它们。
例如：
{
"Root": {
"EventType": "Info",
"Timestamp": 20150713153757.758
},
"Event": {
"Message": "itemsViews Created in 1
浏览 1提问于2015-07-13得票数 0
回答已采纳
1回答
我试着把我以前的进口品换成logstash。所有操作都很好，但是logstash将始终使用小写属性名称推送新数据。
是否有办法通过带有大写属性名称的logstash将数据推入我的弹性搜索中？
...otherwise我必须重写一些应用程序。:(
样本
My indexed document.
{
"ID": 1,
"NAME": "DEMO"
}
Logstash index document
{
"id": 1,
"name": "DEMO"
}
非常感谢！
浏览 1提问于2016-04-13得票数 0
回答已采纳
由于Kibana需要字段键中的前缀下划线- (此问题似乎未解决)，我无法在Kiabana中处理默认起始下划线的字段键值(例如docker的日志日志)。我目前正在使用logstash将日志推送到elasticsearch。我读到了这个使用拼音过滤器删除所有下划线的，但我猜这种方法会让我的消费者变得非常慢。
有没有一种方法可以使用logstash中的regex功能从所有字段名中删除前缀下划线？
例如：
_HELO: World
现在应该更改为：
HELLO: World
可能是通过使用与ruby不同的插件
浏览 126提问于2018-05-31得票数 2
我正在使用Logstash版本2.4.0。
我有一个带有ip类型的索引ip，其中有一个单独的字段作为ip。
在logstash配置中，我将使用下面的配置部分来检查索引中是否存在ip，并将其复制到新字段。
elasticsearch {
hosts => ["1.2.3.4:9200"]
query => "ip:0.1.2.7"
fields => {"ip" => "ip_found_on_e
浏览 1提问于2017-12-01得票数 0
回答已采纳
我使用rsyslog将纯文本日志发送到logstash。但我不能通过grok将数据分配给host.name或host.ip字段。系统通过以下错误：
无法将事件索引到Elasticsearch。{:status=>400，:action=>"index"，{:_id=>nil，:_index=>"logstash-syslog-2020.09.03"，:routing=>nil，:_type=>"_doc"}，#LogStash::Event:0x3273b8c，：action=> "_type&#
浏览 3提问于2020-09-03得票数 0
回答已采纳
我已经在一个服务器上设置了一个ELK堆栈，并在另外两个服务器上设置了文件，以便直接将数据发送到logstash。
安装程序运行良好，根据需要我得到了日志结果，但是当我看到Kibana上的字段部分(左侧)时，我看到了"host.hostname“字段，它有两个服务器fqdns (即"ip-113-331-116-35.us-east-1.compute.internal"，"ip-122-231-123-35.us-east-1.compute.internal”)。
我希望将别名或重命名为Production 1和Production 2，以便在kibana上显
浏览 0提问于2019-08-05得票数 0
回答已采纳
我有一个带有嵌套cars字段的用户索引。如何将mysql结果添加到该用户的嵌套字段中。
经过对互联网的深入研究，我发现了这个代码。
POST /users/1/_update
{
"script": {
"source": "ctx._source.cats.add(params.cat)",
"params": {
"cat": {
"colors": 4,
"name": "Leon",
浏览 7提问于2022-07-01得票数 0
我试图比较日志中的字段值(requestTime)和过滤器的平均值
"requestTime"从我的日志中“摸索”了：%{INT:requestTime}
过滤部分：
metrics {
timer => [ "requestPage", "%{requestTime}" ]
add_tag => "metric"
}
产出科：
if "metric" in [tags] {
if [requestTime] > "[requestPage.mean]"
浏览 2提问于2015-11-07得票数 0
我将json日志消息发送到logstash，如下所示：
{"@timestamp":"2017-08-10 11:32:14.619","level":"DEBUG","logger_name":"application","message":"Request processed in 1 ms"}
和logstash配置为：
json {
source => "message"
}
date {
match => ["
浏览 5提问于2017-08-10得票数 0
回答已采纳
我有一个logback.groovy，它通过一些自定义字段将数据发送到网络上的logstash：
appender("LOGSTASH", LogstashTcpSocketAppender) {
encoder(LogstashEncoder) {
customFields = """{ "token": "xxxxx", "environment":"dev", "some_property":"foobar" }"""
浏览 9提问于2016-04-15得票数 8
如果不将@timestamp转换为字符串，然后对该列执行日期筛选，那么如何在Logstash管道中替换DateTime字段？
mutate {
convert => ["datetime", "string"]
}
date {
match => ["datetime", "ISO8601"]
}
浏览 1提问于2018-03-12得票数 2
回答已采纳
在这里，当我尝试使用logstash将MySQL值转换为嵌套的elasticsearch字段时，会得到以下错误。
{"exception"=>"expecting List or Map, found class org.logstash.bivalues.StringBiValue", "backtrace"=>["org.logstash.Accessors.newCollectionException(Accessors.java:195)"
使用以下配置文件：
input {
jdbc {
浏览 0提问于2017-08-08得票数 3
回答已采纳
1回答
我使用HTTP插件将JSON数据推送到logstash中。我正在使用JSON插件解析它，它工作得很好。我还为该数据创建了一个JSON模式。
问题是:是否有可能直接在Logstash中使用JSON模式验证数据？我希望确保所有类型都与我的模式匹配，在某些情况下，某些字段中的值与JSON模式中的一个"enum“数组匹配。
浏览 1提问于2016-06-01得票数 2
在将消息发送到logz之前，是否有一种方法可以在logstash中清除消息中的x-forwarded-for字段。
字段: date time s-ip cs-method cs-uri-stem uri-query s-port cs-username c-ip cs(User-Agent) cs(Referer) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken -Forwarded-For
浏览 11提问于2021-05-17得票数 0
我的logstash模板看起来像这样-
有两个字段，zone和username，我已经设置为not_analyzed，但当我查看索引映射时，它们仍在继续被分析并显示为已分析。我已经多次删除了索引，希望它能找到新的模板，但始终会分析字段。
索引是每天动态创建的，所以我不能在索引本身中设置映射。
我的模板有问题吗？
编辑:我也尝试了这个配置- ，但也不起作用。
浏览 5提问于2014-05-28得票数 0
2回答
我是ELK堆栈的新手，我想使用ELK堆栈将我的日志推送到elastic，这样我就可以在elastic上使用Kibana。下面是我的自定义日志的格式：
Date Time INFO - searchinfo#username#searchQuery#latitude#longitude#client_ip#responseTime
下面是一个遵循格式的日志示例。
2017-07-04 11:16:10 INFO - searchinfo#null#gate#0.0#0.0#180.179.209.54#598
现在，我使用filebeat将我的.log文件推送到logstash，而logsta
浏览 28提问于2017-08-29得票数 0
回答已采纳
我们把ELK从2.4升级到5.x，这是相当成功的。但是，当创建新的索引时，logstash开始使用作为not分析字段。因此，索引从更新之前使用.raw和自更新.keyword，这是很难使用在基班纳;)
我读了一些关于如何解决这个问题的文件，但不太明白。其中一项建议是使用ES的重新索引api并重命名.raw，但正如前面提到的，我不太确定这将如何工作。我可以忍受将.raw复制到.keyword而不是重命名它。
这些数据大多是apache日志，有500种索引。
我将非常感谢一个简单的解决方案，如果可能的话，即使在一个示例的开头，我也非常感激如何批量处理这个问题。
编辑：
最后，我通过logstas
浏览 4提问于2017-01-13得票数 1
在scala中，我们使用logstash-logback-encoder创建json日志。我们想加密一个特定的字段。掩蔽是不够的，因为如果需要从日志中解密值，则需要解密。实现这一目标的最佳途径是什么？一种方法可以是创建一个JsonGeneratorDecorator的实现，就像有一个用于掩蔽的实现一样。但是，考虑到我们知道要掩盖哪个领域，是否有更容易的方法来实现这一点？
更新:解决方案
我在回答中使用了菲尔·克莱提出的建议。然而，有一个小渔获物。ValueMasker背后的意图是根据价值来决定什么/什么时候隐藏。对于ex，使用RegEx与所有值(net.logstash.logback.ma
浏览 23提问于2022-02-03得票数 1
回答已采纳
来自
Default value is "logstash-%{+YYYY.MM.dd}"
我想知道logstash从哪里获得YYYY.MM.dd的信息？是@时间戳字段吗？如果是这样的话，是否可以告诉它使用不同的字段(例如@mydate)？
浏览 6提问于2014-07-02得票数 3
回答已采纳
我注意到logstash在索引映射中为从日志文件中提取并发送到弹性搜索的每个字符串字段创建了额外的“关键字”字段。
有许多字段我已经用完全删除了，但是还有一些字段我不想完全删除，但是我也不需要为它们设置一个*.keyword。
是否有一种方法使logstash只为某些字段而不是其他字段创建*.keyword字段？具体来说，是否有一种方法可以让logstash有一个域的白名单，可以为其创建*.keywords，而不是为任何其他的字段创建呢？
(使用elasticsearch 6.x)
浏览 3提问于2018-01-24得票数 2
回答已采纳
我试着解析日志。
如果日志“没有”具有‘特定’(如下面的logstash打印)，那么将删除事件--这是logstash打印的内容：
{
"message" => "...",
"host" => "10.10.10.20",
"@version" => "1",
"@timestamp" => "2016-04-12T02:28:18.233Z",
"type" => "snmptrap
浏览 1提问于2016-04-12得票数 1
回答已采纳
我正在使用AWS Elasticsearch服务，其集群版本为7.4。我意识到，与ELK堆栈相比，AWS Elasticsearch服务上的Kibana缺少一些功能，并希望检查AWS Elasticsearch服务变体是否支持Logstash监视和管理。我使用的logstash版本是6.8。
我的主要目标是能够监控我所有的日志存储管道。
浏览 1提问于2021-08-18得票数 1
回答已采纳
考虑到建议，我设置了logstash编码器+ logstash转发程序，以将所有内容推送到logstash，并最终在ElasticSearch中索引所有内容。
这是我的配置：
logstash.xml
<included>
<include resource="org/springframework/boot/logging/logback/base.xml"/>
<property name="FILE_LOGSTASH" value="${LOG_FILE:-${LOG_PATH:-${LOG_TEMP
浏览 4提问于2015-08-31得票数 2
回答已采纳
我正在使用()通过UDP向Logstash发送数据
问题是@message Elastic字段包含了许多我不需要的信息。例如时间戳、版本、级别、类型等。
我只需要我在下面的截图中突出显示的确切文本
这个脚本非常基础：
import logging
import logstash
import sys
host = '<HOSTNAME>'
test_logger = logging.getLogger('python-logstash-logger')
test_logger.setLevel(logging.INFO)
test_log
浏览 0提问于2021-02-09得票数 0
1回答
我正在尝试确定日志文件中是否存在某个字段，如果存在，则使用该字段的值作为索引名称的一部分。如果该字段不存在，请使用其他索引名称。
beats {
port => 5000
}
}
filter {
}
output {
elasticsearch {
hosts => ["https://elasticserver.io:9243"]
user => "user"
password => "pass"
retry_on_conflict => "2"
浏览 31提问于2021-06-10得票数 0
回答已采纳
我有一个日志文件，路径在Logstash的配置文件中。问题是，当我启动Logstash时，在修改文件(添加空格、添加一行等)之前什么都不会发生。注意，我将文件复制到正确的路径中，然后启动Logstash。在将文件复制到正确的路径之前，我尝试过启动Logstash，这是相同的行为。
input {
file {
path => "C:\users\Path\To\Logs\logSample.log"
codec => multiline {
pattern => "^(\d{4}-\d{2}-\d{2}\s*)?\d{2
浏览 6提问于2017-08-25得票数 0
回答已采纳
1回答
我的要求是读取基于Logstash的日志文件，并将其索引到Elasticsearch中。
现在，我已经配置了Logstash并启动了守护进程来执行此操作。
但我需要知道的是，对于上述用例，是否有任何针对Logstash的现有Python2.x API。
浏览 1提问于2015-01-27得票数 0
我不时地会有这些json解析错误：
2022-01-07T12:15:19,872][WARN ][logstash.filters.json ] Error parsing json
{:source=>"message", :raw=>" { the invalid json }", :exception=>#<LogStash::Json::ParserError: Unrecognized character escape 'x' (code 120)
是否有方法在logstash文件中获取:excepti
浏览 3提问于2022-01-07得票数 0
1回答
仅允许索引模板中的字段
、、、
我有日志库将文档推入elasticsearch集群。
我将一个模板应用于具有logstash的索引：
elasticsearch {
hosts => 1.1.1.1.,2.2.2.2.
index => "logstash-myindex-%{+YYYY-MM-dd}"
template_name => "mytemplate"
template => "/etc/logstash/index_templates/mytemplate.json"
template_overwrite => tr
浏览 1提问于2017-03-30得票数 0
回答已采纳
我想知道是否可以使用Logstash消息中的字段作为to Grok模式的输入。假设我有一个条目看起来是：
{
"message":"10.1.1.1",
"grok_filter":"%{IP:client}"
}
我想做这样的事：
filter {
grok {
match => ["message", ["%{grok_filter}"]]
}
}
问题是，这会使Logstash崩溃，因为它似乎将"%{ grok_filter }“视为Grok过滤器
浏览 2提问于2014-10-23得票数 1
回答已采纳
1回答
麋鹿原木和岩芯摸样
、、、
我正在评估ELK堆栈，在不同的应用程序/服务器上使用filebeat & logstash。
我理解为每个应用程序/日志自定义我自己的grok模式的能力，但是要开始运行，为每个应用程序手工创建我自己的模式似乎是非常低效的，而这肯定是在我之前完成的！
文件节拍捆绑仪表板似乎创建了基于字段的仪表板，我需要将这些字段交给logstash (例如，system.auth.sudo.command)。有没有更好的方法，包括更多的“电池”，我失踪了？
浏览 0提问于2018-01-18得票数 2
我的输出插件配置如下： output {
stdout { codec => rubydebug { metadata => true } }
elasticsearch {
hosts => ["elasticsearch:443"]
ssl => true
cacert => 'cacert.crt'
user => "logstash_internal"
password => "x-pack-test-password"
i
浏览 27提问于2020-10-28得票数 0
回答已采纳
1回答
弹性搜索中的更改类型和重新索引
、、、、
最近，我从(logstash 1.4.1/1.4.2使用redis 2.8.24、Elasticsearch 1.2.2和Kibana 3.1.1)升级了ELK堆栈(logstash 2.3.4使用redis 3.2.3、Elasticsearch 2.3.5和Kibana 4.5.4)。升级进行得很顺利，但是在升级之后，我有一些类型冲突的字段。这个特定的字段是由logstash动态创建的，因此在Elasticsearch中没有总体映射。我花了相当多的时间研究如何改变这种状况。每一篇在线文章都指出，我不能简单地更改现有数据的字段类型。许多文章引用了我需要重新索引，但没有解释如何。下面是我更改类
浏览 0提问于2017-02-06得票数 12
1回答
我使用python-logstash来写入logstash。它提供了添加额外字段的选项，但问题是所有字段都在'message‘字段下。 我必须承认这个解决方案不适合我：How do I add a custom field to logstash/kibana? 我的python脚本如下所示： LOGGER = logging.getLogger('python-logstash-logger')
LOGGER.setLevel(logging.INFO)
#LOGGER.addHandler(logstash.LogstashHandler(127.0.0.1, 5
浏览 45提问于2020-01-09得票数 2
1回答
我想将字段location的类型更改为geo_point。我将ES与Logstash一起使用，正如你们都知道的，索引是使用名称logstash-yyyy-mm-dd生成的
我首先创建了一个logstash索引，并将其命名为logstash-2016-03-29，如下所示：
curl -XPUT 'http://localhost:9200/logstash-2016-03-29'
然后，我使用以下代码更改了假定所有名为Logstash-*的索引的映射：
curl -XPOST "http://localhost:9200/logstash-*/_mapping/logs
浏览 0提问于2016-03-30得票数 1
目前，我有以下用于过滤防火墙日志的索引模板： GET /_template/my_logstash
{
"my_logstash" : {
"order" : 1000,
"index_patterns" : [
"filebeat-*",
"firewall-*",
"syslog-*",
],
"settings" : {
"index" : {
"an
浏览 396提问于2020-10-20得票数 0
我让Elasticsearch、Filebeat和Kibana在Windows机器上运行。Filebeat日志有一个正确的日志文件，并且正在侦听路径。当我查看Kibana中的数据时，它看起来很好。
我的问题是，message字段是一个字符串。
一个日志行的示例：
12:58:09.9608 Trace {"message":"No more Excel rows found","level":"Trace","logType":"User","timeStamp":"2020
浏览 29提问于2020-08-14得票数 2
回答已采纳
我正在尝试使用dockerized logstash容器中的输入jdbc插件。
jdbc {
type => "logs"
jdbc_driver_library => "/opt/logstash/driver/ojdbc6.jar"
jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
jdbc_connection_string => "jdbc:oracle:thin:@//<host>:<port>/<dat
浏览 2提问于2015-12-18得票数 3
我使用logtash 6.6.2向elasticsearch发送日志。当logstash无法向elasticsearch发送日志记录时，elasticsearch输出插件日志在logstash容器中出现错误。我想知道是否有一种方法在prometheus中使用logstash提供的一些度量来提高警惕，以避免该错误。我查看了在logstash的度量端点上提供的度量，但是没有一个提供度量适合。
PS:我使用kubernetes集群来部署我的应用程序。
浏览 1提问于2019-05-22得票数 0
回答已采纳
1回答
Logstash在"host“字段中返回机器的主机名。我们所有的服务器都有相同的主机名，所以很难从服务器中区分数据。无法更改服务器的主机名，因为我们使用的是amazon AME服务器。是否可以将IP添加到logstash中的任何字段？
浏览 0提问于2016-01-07得票数 0
1回答
我在elastic search中保存了日志，我想删除2015年5月有@timestamp字段的日志-在此之前的所有日志都没问题。
我将以下代码保存在一个名为“delete.conf”的文件中。
curl -XDELETE 'http://localhost:9200/_all/_query' -d '
{
"range" : {
"@timestamp" : { "from" : "2015-05-01 00:00:01", "to" : "2015-05
浏览 0提问于2015-05-10得票数 0
2回答
我正在尝试做一个bash脚本，它正在扼杀一个进程，然后它将做其他的事情。
PID=`ps -ef | grep logstash | grep -v "grep" | awk '{print $2}'`
echo $PID
kill -9 $PID
echo "logstash process is stopped"
rm /home/user/test.csv
echo "test.csv is deleted."
rm /home/example.txt
echo "example.txt is deleted.
浏览 0提问于2018-11-27得票数 0
回答已采纳
在执行Logstash聚合之后，我有了这个JSON对象响应。
"aggregations": {
"range": {
"buckets": [
{
"key": "2018-01-01T00:00:00.000Z-2018-01-31T00:00:00.000Z",
"from_as_string": "2018-01-01T00:00:00.000Z",
"to_as_str
浏览 0提问于2018-11-08得票数 0
回答已采纳
我有一个标准的ELK堆栈，目前存储大量的日志输出。我正试着把我的索引分离出来，使之成为特定的来源。
作为我的FileBeats配置的一部分，一些标准字段总是作为每条消息的一部分生成(并且是特定于位置的)，我希望使用这些字段作为ES索引的基础：
output {
elasticsearch {
hosts => ["http://elasticsearch.mydomain.com:80"]
index => "logstash-%{+YYYY.MM.dd}-%{[fields][identifier]}"
}
}
然而，ES拒
浏览 0提问于2017-06-23得票数 4
我是否可以将logstash配置放在Docker ELK组合文件中，而不是使用Docker ELK logstash配置文件中。
root@847847f14311:/etc/logstash/conf.d# ls
02-beats-input.conf 10-syslog.conf 30-output.conf
我想知道logstash配置文件可以存储在本地主机上吗？
可以在docker compose文件中添加那些"02-beats-input.conf,10-syslog.conf ,30-output.conf“配置，这样当我启动我的ELK docker镜像时，所有的logs
浏览 0提问于2016-11-18得票数 0
3回答
我使用Logstash 2.4.1将数据加载到Elasticsearch 2.4.6。我有以下Logstash配置：
input {
jdbc {
jdbc_connection_string => "jdbc:oracle:thin:@database:1521:db1"
jdbc_user => "user"
jdbc_password => "password"
jdbc_driver_library => "ojdbc6-11.2.0.
浏览 3提问于2018-09-07得票数 0
如果出现错误，我正在使用Logstash发送通知电子邮件。
我正在使用电子邮件插件，它是logstash的一部分：
在检查文档时，收件人地址似乎是唯一的必填字段，当我将其指定给我的gmail id : pjesudhas@gmail.com时，它不起作用
是否需要在我的系统中运行任何其他邮件服务器才能正常工作，如果是，我必须做什么。请让我知道你的想法。
email{
options => [ "smtpIporHost", "smtp.gmail.com",
"port", "587",
浏览 0提问于2014-08-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
