上一节 Prometheus node_exporter 部署(3)
一站式运维告警解决方法 电话、短信、微信、邮件、多人排班、分派策略
介绍
Prometheus 将数据采集和报警分成两个模块。报警规则配置在Prometheus Servers上,然后发送报警信息到AlertManger,Alertmanager 对收到的告警信息进行处理,包括去重,降噪,分组,沉默,抑制,策略路由,告警通知。
流程
Alertmanager 接收到告警,根据labels判断属于哪些Route(可存在多个Route,一个Route有多个Group,一个Group有多个Alert)
将告警分配到Group中,没有则新建Group,新的Group等待group_wait指定的时间(等待时可能收到同一Group的告警),根据resolve_timeout判断告警是否解决,然后发送通知
已有的Group等待group_interval指定的时间,判断告警是否解决,当上次发送通知到现在的间隔大于repeat_interval或者Group有更新时会发送通知
分组
分组是指当出现问题时,Alertmanager 会收到一个单一的通知,而当整个系统或网络故障时,很有可能有成百上千的告警会同时生成,这种机制在较大故障中特别有用。如当数十或数百个服务的实例在运行,网络发生故障时,有可能服务实例的一半不可达数据库。在告警规则中配置为每一个服务实例都发送警报的话,那么结果是数百警报被发送至Alertmanager,但是作为用户只想看到单一的报警页面,同时仍然能够清楚的看到哪些实例受到影响,因此,通过配置 Alertmanager 将警报分组打包,并发送一个相对看起来紧凑的通知。
抑制
抑制是指当告警发出后,停止重复发送由此告警引发其他错误的告警的机制。如当警报被触发,通知整个集群不可达,可以配置Alertmanager 忽略由该警报触发而产生的所有其他警报,这可以防止通知数百或数千与此问题不相关的其他警报。
沉默
沉默是一种简单的特定时间静音提醒的机制。一种沉默是通过匹配器来配置,就像路由树一样。传入的警报会匹配RE,如果匹配,将不会为此警报发送通知。
沉默机制可以通过Alertmanager的Web页面进行配置。
安装
https://prometheus.io/download/ (下载最新版本的 Alertmanager)
cd /data/alertmanager
wget https://github.com/prometheus/alertmanager/releases/download/v0.17.0/alertmanager-0.17.0.linux-amd64.tar.gz
tar -zxvf alertmanager-0.17.0.linux-amd64.tar.gz
配置
cd alertmanager-0.17.0.linux-amd64/
vim alertmanager.yml
global:
resolve_timeout: 5m #处理超时时间,默认为5分钟
smtp_from: 'test@ywfuns.com'
smtp_smarthost: 'smtp.exmail.qq.com:25'
smtp_auth_username: 'test@ywfuns.com'
smtp_auth_password: '123'
route:
group_by: ['alertname', 'item'] # 传入报警分组在一起的标签,如item=测试和alertname=Disk的多个报警将批处理为单个组
group_wait: 30s # 最初即第一次等待多久时间发送一组警报的通知
group_interval: 300s # 在发送新警报前的等待时间
repeat_interval: 4h # 发送重复警报的周期 对于email配置中,此项不可以设置过低,否则将会由于邮件发送太多频繁,被smtp服务器拒绝
receiver: 'mail.hook' # 发送警报的接收者的名称,以下receivers name的名称
routes:
- receiver: 'web.hook'
group_wait: 10s
match:
severity: node # 带有 severity=node 的报警将被发送到 web.hook
# 定义模板信心
# templates:
# - '/data/template/*.tmpl'
receivers:
- name: 'web.hook'
webhook_configs:
- url: 'http://127.0.0.1:8070/hook/' # webhook 接收地址
send_resolved: true # 是否通知已解决的告警
# - url: 'http://127.0.0.1:8070/dingtalk/'
# send_resolved: true
- name: 'email'
email_configs:
- to: 'test@ywfuns.com'
# html: '{{ template "mail.html" . }}'
# headers: { Subject: " {{ .CommonAnnotations.summary }}" }
#- name: 'mail.hook' # 告警时同时发送到 webhook_configs 和 email_configs
# webhook_configs:
# - url: 'http://127.0.0.1:8070/hook/'
# email_configs:
# - to: 'test@ywfuns.com' # 多个用逗号隔开
# -name: 'wechat'
# wechat_configs:
# - url: 'https://qyapi.weixin.qq.com/cgi-bin/' # 企业微信地址
# to_party: '1' # 接收组的id
# agent_id: '1000002' # (企业微信-->自定应用-->AgentId)
# corp_id: '******' # 企业信息(我的企业-->CorpId[在底部])
# api_secret: '******' # 企业微信(企业微信-->自定应用-->Secret)
# message: '{{ template "wechat.html" . }}' # 发送消息模板的设定
inhibit_rules: # 抑制规则
- source_match:
severity: 'critical'
target_match:
severity: 'warning'
equal: ['alertname', 'dev', 'instance', 'prod']
接收器 receivers 我这里只测试了webhook_configs 和 email_configs 当然还支持其他的接收器(pagerduty_configs、slack_config、opsgenie_configs、wechat_configs),使用方法都差不多。文档
API
# GET 查看 receivers (发送渠道)列表
https://localhost/api/v2/receivers
# GET 查看 alerts (报警)列表
https://localhost/api/v2/alerts?silenced=false&inhibited=false
# POST 添加报警
alerts='[
{
"labels": {
"alertname": "DiskAll",
"dev": "sda1",
"instance": "example"
},
"annotations": {
"info": "The disk sda1 is running full",
"summary": "please check the instance example"
}
}]
curl -XPOST -d"$alerts" https://localhost/api/v2/alerts
# GET 查看 silences (静默)列表
https://localhost/api/v2/silences?silenced=false&inhibited=false
# POST 添加静默
https://localhost/api/v2/silences
注意: API 添加 silences 的时候,因 prometheus 默认时区为UTC且无法改变时区,因此我们的报警时间应该 -8:00,如下脚本
#! /usr/bin/env python
# -*- coding:utf8 -*-
import datetime
import urllib2
import json
import time
def add(matchers, username, commit):
UTC_FORMAT = "%Y-%m-%dT%H:%M:%S.%fZ"
now_stamp = time.time()
startsAt = datetime.datetime.utcfromtimestamp(now_stamp)
endsAt = startsAt + datetime.timedelta(hours=4)
data = {
"matchers": matchers,
"startsAt": startsAt.strftime(UTC_FORMAT),
"endsAt": endsAt.strftime(UTC_FORMAT),
"createdBy": username,
"comment": commit,
"id": "",
"status": {"state": "active"}
}
request_header = {'Content-Type': 'application/json'}
request = urllib2.Request("https://alert.test.com/api/v2/silences", headers=request_header, data = json.dumps(data))
response = urllib2.urlopen(request).read()
print response
matchers = [{'isRegex': False, 'name': 'test', 'value': 'test'}]
add(matchers, "test", "测试")
启动
vim /usr/lib/systemd/system/alertmanager.service
[Unit]
Description=alertmanager server daemon
Documentation=https://prometheus.io/docs/introduction/overview/
After=network.target
[Service]
ExecStart=/data/alertmanager/alertmanager-0.17.0.linux-amd64/alertmanager --config.file=/data/alertmanager/alertmanager-0.17.0.linux-amd64/alertmanager.yml --storage.path=/data/alertmanager/data
ExecReload=/bin/kill -HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
KillMode=process
Restart=on-failure
RestartSec=42s
[Install]
WantedBy=multi-user.target
# 启动
systemctl daemon-reload
systemctl restart alertmanager.service
Prometheus 配置添加 Alertmanager
# 添加如下配置并重启 prometheus 服务
vim prometheus.yml
alerting:
alertmanagers:
- static_configs:
- targets:
- localhost:9093
rule_files:
- /data/prometheus/prometheus/rules/*.rules # 规则配置文件
模板
cat /data/template/wechat.tmpl
{{ define "wechat.html" }}
{{ range $i, $alert := .Alerts.Firing }}
[报警项名]:{{ index $alert.Labels "alertname" }}
[报警主机]:{{ index $alert.Labels "instance" }}
[报警阀值]:{{ index $alert.Annotations "value" }}
[开始时间]:{{ $alert.StartsAt }}
{{ end }}
{{ end }}
Prometheus 添加规则(rules)
警报规则允许你基于Prometheus表达式语言的表达式定义报警报条件,并在触发警报时发送通知给外部的接收者。每当警报表达式在给定时间点产生一个或者多个向量元素,这个警报统计活跃的这些元素标签集。
vim /data/prometheus/prometheus/rules/hoststats-alert.rules
groups:
- name: hostStatsAlert
rules:
- alert: instanceDown
expr: up == 0
for: 5m
labels:
severity: node
annotations:
summary: "Instance {{ $labels.instance }} down"
description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 5 minutes."
- alert: diskFree
expr: (1-(node_filesystem_free_bytes{fstype=~"ext4|xfs"} / node_filesystem_size_bytes{fstype=~"ext4|xfs"}) ) * 100 > 85
for: 5m
labels:
severity: page
annotations:
summary: "Instance {{ $labels.instance }} down"
description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 5 minutes."
FOR 选项语句会使Prometheus服务等待指定的时间, 在第一次遇到新的表达式输出向量元素(如:具有高HTTP错误率的实例)之间,并将该警报统计为该元素的触发。如果该元素的活跃的,且尚未触发,表示正在挂起状态。
LABELS 选项语句允许指定额外的标签列表,把它们附加在警告上。任何已存在的冲突标签会被重写。这个标签值能够被模板化。
ANNOTATIONS 选项语句指定了另一组标签,它们不被当做警告实例的身份标识。它们经常用于存储额外的信息,例如:警告描述,后者runbook链接。这个注释值能够被模板化。
我这里添加了2条报警规则,分别是实例Down了及磁盘使用大于85%就触发报警。
如果实例Down了的话就触发label为severity=node的receiver(上面alertmanager 配置文件中),可以看到上面的配置就会匹配web.hook这个receiver,然后会将报警信息POST到我们提供的 hook 接口中。
一个报警信息在生命周期内有下面3中状态: