Logstash从s3读取所有ELB日志，而不仅仅是当前日志

要配置Logstash以从Amazon S3读取Elastic Load Balancer (ELB) 日志，包括历史日志而不仅仅是当前日志，你需要正确设置Logstash的S3输入插件。这个插件可以定期从S3桶中检索文件，并将其内容发送到Logstash的处理管道中。

以下是如何配置Logstash的S3输入插件的基本步骤：

1. 安装Logstash

首先，确保你已经安装了Logstash。你可以从Elastic的官方网站下载并安装适合你操作系统的Logstash版本。

2. 配置S3输入插件

你需要在Logstash的配置文件中设置S3输入插件。这通常在一个.conf文件中完成，该文件指定了输入、过滤器（如果需要的话）和输出部分。

input {
  s3 {
    "access_key_id" => "你的AWS访问密钥"
    "secret_access_key" => "你的AWS密钥"
    "bucket" => "你的S3桶名"
    "region" => "桶所在的区域"
    "prefix" => "ELB日志的前缀（如果适用）"
    "interval" => 60 # 检查新文件的间隔（秒）
    "backup_add_prefix" => "已处理/" # 处理后的文件移动到新的前缀
    "delete" => false # 是否删除原文件，通常设置为false
    "include_object_properties" => true # 包括对象属性，如Last Modified
    "additional_settings" => {
      "force_path_style" => true
      "follow_redirects" => false
    }
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "elb-logs-%{+YYYY.MM.dd}"
  }
}

3. 确保权限正确

确保你的AWS IAM用户有权访问指定的S3桶和读取S3对象的权限。你可能需要为此用户创建一个IAM策略，允许对指定S3桶的GetObject和ListBucket操作。

4. 启动Logstash

保存配置文件后，使用以下命令启动Logstash：

bin/logstash -f path_to_your_logstash_configuration.conf

5. 监控和调试

监控Logstash的日志以确保没有错误，并验证数据是否正在被正确读取和索引到Elasticsearch中。如果遇到问题，检查Logstash日志文件中的错误信息，这些信息通常可以帮助你诊断问题。

注意事项

• 数据量和成本：从S3读取大量历史数据可能会导致较高的AWS费用，因为S3的GET请求是收费的。
• 性能：大量数据的索引可能会对Elasticsearch集群的性能产生影响，确保你的集群能够处理这些数据。
• 安全性：确保你的AWS密钥安全，避免在配置文件中硬编码。