使用ELK采集和分析docker日志

ELK是一种流行的开源日志收集、存储、搜索和分析解决方案，它由Elasticsearch、Logstash和Kibana三个组件组成。在Docker环境中，使用ELK可以收集和分析容器日志，以便更好地了解应用程序的状态和运行情况。

安装和配置ELK

在使用ELK之前，需要安装和配置Elasticsearch、Logstash和Kibana三个组件。可以按照以下步骤进行安装和配置：

1.安装Elasticsearch

Elasticsearch是一种开源的分布式搜索引擎，可以用于存储和搜索大量的结构化和非结构化数据。可以通过以下命令来安装Elasticsearch：

$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.12.0-linux-x86_64.tar.gz
$ tar -xzf elasticsearch-7.12.0-linux-x86_64.tar.gz
$ cd elasticsearch-7.12.0/
$ ./bin/elasticsearch

2.安装Logstash

Logstash是一种开源的数据收集、转换和传输工具，可以用于将数据从不同的来源收集到Elasticsearch中。可以通过以下命令来安装Logstash：

$ wget https://artifacts.elastic.co/downloads/logstash/logstash-7.12.0.tar.gz
$ tar -xzf logstash-7.12.0.tar.gz
$ cd logstash-7.12.0/

3.安装Kibana

Kibana是一种开源的数据可视化工具，可以用于从Elasticsearch中检索和可视化数据。可以通过以下命令来安装Kibana：

$ wget https://artifacts.elastic.co/downloads/kibana/kibana-7.12.0-linux-x86_64.tar.gz
$ tar -xzf kibana-7.12.0-linux-x86_64.tar.gz
$ cd kibana-7.12.0-linux-x86_64/
$ ./bin/kibana

4.配置Logstash

配置Logstash来收集Docker日志。首先，创建一个名为docker.conf的配置文件：

input {
  file {
    type => "docker"
    path => "/var/lib/docker/containers/*/*.log"
    start_position => "beginning"
    sincedb_path => "/dev/null"
    codec => "json"
  }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "docker-%{+YYYY.MM.dd}"
    document_type => "docker"
  }
}

在上面的配置文件中，Logstash使用file input插件来监视/var/lib/docker/containers//.log目录下的所有日志文件，并将它们发送到Elasticsearch中。在output部分，将日志数据发送到Elasticsearch，并将其存储在名为docker-YYYY.MM.dd的索引中。

5.启动ELK

启动Elasticsearch、Logstash和Kibana。可以使用以下命令启动它们：

$ cd elasticsearch-7.12.0/
$ ./bin/elasticsearch &
$ cd logstash-7.12.0/
$ ./bin/logstash -f docker.conf &
$ cd kibana-7.12.0-linux-x86_64/
$ ./bin/kibana &

配置Docker日志驱动

现在，需要配置Docker使用Logstash作为日志驱动，以便将容器日志发送到Logstash。可以通过以下步骤进行配置：

1.修改Docker配置文件

将Docker配置文件/etc/docker/daemon.json修改为以下内容：

{
  "log-driver": "syslog",
  "log-opts": {
    "syslog-address": "tcp://localhost:5000",
    "tag": "{{.Name}}"
  }
}

在上面的配置文件中，将日志驱动程序设置为syslog，将日志发送到Logstash的TCP端口5000，并使用容器名称作为日志标记。

2.重启Docker服务

使用以下命令重新启动Docker服务：

$ systemctl restart docker

分析Docker日志

现在，Docker容器的日志将通过Logstash发送到Elasticsearch中，并存储在docker-YYYY.MM.dd的索引中。可以使用Kibana来可视化和分析这些日志数据。可以按照以下步骤进行配置：

1.创建索引模式

在Kibana中，转到“Management”->“Index Patterns”，然后单击“Create index pattern”按钮。输入“docker-*”作为索引模式名称，并选择“@timestamp”作为时间字段。单击“Create index pattern”按钮来创建索引模式。

2.搜索和过滤日志

在Kibana中，转到“Discover”页面，并选择“docker-*”索引模式。在搜索栏中输入任何关键字，然后单击“Search”按钮来搜索日志。您还可以使用过滤器来过滤特定的日志事件。

3.创建可视化和仪表板

在Kibana中，转到“Visualize”和“Dashboard”页面，然后创建各种可视化和仪表板，以更好地了解应用程序的状态和运行情况。您可以使用各种可视化工具，如柱状图、折线图、饼图等来可视化日志数据。