Prometheus+Grafana监控集群1.安装Grafana 1.1下载并安装 下载地址:https://grafana.com/grafana/download
选择最新版本进行安装,安装网站的提示运行脚本即可。 离线快速安装部署:
wget https://dl.grafana.com/oss/release/grafana-6.3.3-1.x86_64.rpm
sudo yum localinstall grafana-6.3.3-1.x86_64.rpm1.2 启动grafana 安装完成后,grafana服务默认已安装,配置文件/etc/grafana/grafana.ini,如需要修改路径及端口,可在该文件中修改。
需要修改;domain = localhost改为本机IP。 启动grafana
1.3 登录grafana 访问页面http://IP:3000,默认账户密码是admin/admin,首次登录建议修改密码。
2.安装Prometheus 2.1 Prometheus主程序安装 Prometheus主程序,主要是负责存储、抓取、聚合、和查询方面 官网下载地址: https://prometheus.io/download/
** 下载*/
wget https://github.com/prometheus/prometheus/releases/download/v2.12.0/prometheus-2.12.0.linux-amd64.tar.gz /** 解压*/
tar -zxvf prometheus-2.12.0.linux-amd64.tar.gz2.2 启动prometheus主程序 /** 生产环境启动*/
nohup ./prometheus --config.file=prometheus.yml --web.enable-lifecycle --storage.tsdb.retention.time=60d &/** –web.enable-lifecycle 加上此参数可以远程热加载配置文件,无需重启prometheus,调用指令是curl -X POST http://ip:9090/-/reload – storage.tsdb.retention.time 数据默认保存时间为15天,启动时加上此参数可以控制数据保存时间 */ 其他的参数及配置可以在prometheus.yml中调整及配置。
3.在需要监控的机器上部署exporter 3.1 监控linux主机 下载监控linux主机的node_exporter,从官网下载
/** 下载 */
wget https://github.com/prometheus/node_exporter/releases/download/v0.18.1/node_exporter-0.18.1.linux-amd64.tar.gz/** 解压 */
tar -zxvf node_exporter-0.18.1.linux-amd64.tar.gz可以按照默认方式启动 /** 启动 node_exporter*/
cd node_exporter-0.18.1.linux-amd64
nohup ./node_exporter &/** 默认端口9100 */
4.配置各监控仪表盘
4.1 下载各监控仪表盘
可以从grafana官网下载对应的模板,对应地址为:https://grafana.com/grafana/dashboards
找到对应的仪表盘模板后进入下载
4.2 配置数据源 使用均为prometheus数据源,因此配置一个prometheus数据源 如果之前没有在grafana上配置过数据源 登录后会提示创建
选择prometheus
配置prometheus地址
最终save&Test即可 4.3 导入仪表盘 将4.1中下载的模板导入
导入
修改名称及数据源
Import即可 5、在需要监控的机器上部署exporter 5.1 监控linux主机下载监控linux主机的node_exporter,从官网下载
/** 下载 */
wget https://github.com/prometheus/node_exporter/releases/download/v0.18.1/node_exporter-0.18.1.linux-amd64.tar.gz/** 解压 */
tar -zxvf node_exporter-0.18.1.linux-amd64.tar.gz按照默认方式启动 /** 启动 node_exporter*/
cd node_exporter-0.18.1.linux-amd64
nohup ./node_exporter &/** 默认端口9100 */ 5.2 监控mysql 5.2.1 下载 下载监控mysql的mysql_exporter,从官网下载
/** 下载 */
wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.12.1/mysqld_exporter-0.12.1.linux-amd64.tar.gz/** 解压 */
tar -zxvf mysqld_exporter-0.12.1.linux-amd64.tar.gz5.2.2 监控账号及修改文件配置 在mysql里配置mysql监控账号 /** 创建账号 */
mysql> CREATE USER 'mysql_monitor'@'localhost' identified by 'mysql_monitor'; /** 授权 */
mysql> GRANT REPLICATION CLIENT, PROCESS ON *.* TO 'mysql_monitor'@'localhost';
mysql> GRANT SELECT ON performance_schema.* TO 'mysql_monitor'@'localhost'; /** 注意,不用版本对权限要求不一致,启动时注意查看日志,如权限不足则继续授权或创建对应的账号 */ 配置文件修改
cd mysqld_exporter-0.12.0.linux-amd64vim .my.cnf /** 添加如下配置 */
[client]
port=3306
user=mysql_monitor
password=mysql_monitor5.2.3 启动监控脚本
nohup ./mysqld_exporter --config.my-cnf=.my.cnf & 5.3 监控redis 5.3.1 下载redis_exporter 官网没有redis_exporter,可以从github上获取,另外redis插件无需放在dis机器上也可以。 /** 下载 */
wget https://github.com/oliver006/redis_exporter/releases/download/v0.30.0/redis_exporter-v0.30.0.linux-amd64.tar.gz/** 解压 */
tar -zxvf redis_exporter-v0.30.0.linux-amd64.tar.gz5.3.2 启动redis_exporter /** redis无密码 */
nohup ./redis_exporter -redis.addr=192.168.56.118:6379 -web.listen-address 0.0.0.0:9121 &/** redis有密码 */
nohup ./redis_exporter -redis.addr=192.168.56.118:6479 -redis.password 123456 -web.listen-address 0.0.0.0:9122 & /** -web.listen-address 可以自定义监控端口 */ 6.配置prometheus配置文件 6.1 添加各监控项 配置文件可以有多种配置方式,可以根据不同的分类和习惯配置。可参考如下 方式配置
# my global config
global:
scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
# scrape_timeout is set to the global default (10s).# Alertmanager configuration
alerting:
alertmanagers:
- static_configs:
- targets:
# - alertmanager:9093
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
# - "first_rules.yml"
# - "second_rules.yml"
# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
# The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
- job_name: 'prometheus'
# metrics_path defaults to '/metrics'
# scheme defaults to 'http'.
static_configs:
- targets: ['localhost:9090']
- job_name: 'OS'
# metrics_path defaults to '/metrics'
# scheme defaults to 'http'.
static_configs:
- targets: ['IP:9100']
labels:
instance: 'IP'
- targets: ['IP:9100']
labels:
instance: 'IP6'
- targets: ['IP:9100']
labels:
instance: 'IP'## 上述job单独做主机监控,每台主机的instance不同 - job_name: 'mysql'
# metrics_path defaults to '/metrics'
# scheme defaults to 'http'.
static_configs:
- targets: ['IP:9104']
labels:
instance: 'IP'
- targets: ['IP:9104']
labels:
instance: 'IP'
## 以上是监控mysql的,instance和主机的instance的相同
- job_name: 'redis'
# metrics_path defaults to '/metrics'
# scheme defaults to 'http'.
static_configs:
- targets: ['IP:9121','IP:9122']
labels:
instance: 'IP'
- targets: ['IP:9100']
labels:
instance: 'IP'
# 可以类似上述这种,redis的主机及各redis监控项组合在一起,instance使用相同的6.2 启动或热加载prometheus /** 启动 */
nohup ./prometheus --config.file=prometheus.yml --web.enable-lifecycle --storage.tsdb.retention.time=60d &/** – storage.tsdb.retention.time 数据默认保存时间为15天,启动时加上此参数可以控制数据保存时间 */
/** 热加载 */
curl -X POST http://ip:9090/-/reload /** 热加载的前提是启动时加了–web.enable-lifecycle */ 问题1: 修改添加节点后vi prometheus.yml,热加载集群 curl -X POST http://IP:9090/-/reload即可启动,热加载前提是启动时加了–web.enable-lifecycle 问题2: 9100端口被占用 启动/node_exporter时,加上修改端口号
nohup ./node_exporter --web.listen- address=":9101" &即可