Prometheus alertmanager 告警(4)

Admin 2020-07-20 09:53:28 其他

上一节 Prometheus node_exporter 部署(3)

一站式运维告警解决方法 电话、短信、微信、邮件、多人排班、分派策略

介绍

Prometheus 将数据采集和报警分成两个模块。报警规则配置在Prometheus Servers上,然后发送报警信息到AlertManger,Alertmanager 对收到的告警信息进行处理,包括去重,降噪,分组,沉默,抑制,策略路由,告警通知。

流程 

  • Alertmanager 接收到告警,根据labels判断属于哪些Route(可存在多个Route,一个Route有多个Group,一个Group有多个Alert)

  • 将告警分配到Group中,没有则新建Group,新的Group等待group_wait指定的时间(等待时可能收到同一Group的告警),根据resolve_timeout判断告警是否解决,然后发送通知

  • 已有的Group等待group_interval指定的时间,判断告警是否解决,当上次发送通知到现在的间隔大于repeat_interval或者Group有更新时会发送通知

分组

分组是指当出现问题时,Alertmanager 会收到一个单一的通知,而当整个系统或网络故障时,很有可能有成百上千的告警会同时生成,这种机制在较大故障中特别有用。如当数十或数百个服务的实例在运行,网络发生故障时,有可能服务实例的一半不可达数据库。在告警规则中配置为每一个服务实例都发送警报的话,那么结果是数百警报被发送至Alertmanager,但是作为用户只想看到单一的报警页面,同时仍然能够清楚的看到哪些实例受到影响,因此,通过配置 Alertmanager 将警报分组打包,并发送一个相对看起来紧凑的通知。

抑制

抑制是指当告警发出后,停止重复发送由此告警引发其他错误的告警的机制。如当警报被触发,通知整个集群不可达,可以配置Alertmanager 忽略由该警报触发而产生的所有其他警报,这可以防止通知数百或数千与此问题不相关的其他警报。

沉默

沉默是一种简单的特定时间静音提醒的机制。一种沉默是通过匹配器来配置,就像路由树一样。传入的警报会匹配RE,如果匹配,将不会为此警报发送通知。

沉默机制可以通过Alertmanager的Web页面进行配置。

安装

https://prometheus.io/download/ (下载最新版本的 Alertmanager)

cd /data/alertmanager
wget https://github.com/prometheus/alertmanager/releases/download/v0.17.0/alertmanager-0.17.0.linux-amd64.tar.gz
tar -zxvf alertmanager-0.17.0.linux-amd64.tar.gz

配置

cd alertmanager-0.17.0.linux-amd64/
vim alertmanager.yml

global:
  resolve_timeout: 5m #处理超时时间,默认为5分钟
  smtp_from: 'test@ywfuns.com'
  smtp_smarthost: 'smtp.exmail.qq.com:25'
  smtp_auth_username: 'test@ywfuns.com'
  smtp_auth_password: '123'

route:
  group_by: ['alertname', 'item']  # 传入报警分组在一起的标签,如item=测试和alertname=Disk的多个报警将批处理为单个组
  group_wait: 30s  # 最初即第一次等待多久时间发送一组警报的通知
  group_interval: 300s  # 在发送新警报前的等待时间
  repeat_interval: 4h  # 发送重复警报的周期 对于email配置中,此项不可以设置过低,否则将会由于邮件发送太多频繁,被smtp服务器拒绝
  receiver: 'mail.hook'   # 发送警报的接收者的名称,以下receivers name的名称
  routes:
    - receiver: 'web.hook'
      group_wait: 10s         
      match:           
        severity: node # 带有 severity=node 的报警将被发送到 web.hook
        
# 定义模板信心
# templates:
#   - '/data/template/*.tmpl'
          
receivers:
- name: 'web.hook'
  webhook_configs:
  - url: 'http://127.0.0.1:8070/hook/' #  webhook 接收地址
    send_resolved: true  # 是否通知已解决的告警
# - url: 'http://127.0.0.1:8070/dingtalk/'         
#   send_resolved: true
    
- name: 'email'
  email_configs:
  - to: 'test@ywfuns.com'
#    html: '{{ template "mail.html" . }}'
#    headers: { Subject: " {{ .CommonAnnotations.summary }}" }
  
#- name: 'mail.hook' # 告警时同时发送到 webhook_configs 和 email_configs
#  webhook_configs:
#  - url: 'http://127.0.0.1:8070/hook/'
#  email_configs:
#  - to: 'test@ywfuns.com' # 多个用逗号隔开

# -name: 'wechat'
#   wechat_configs:
#   - url: 'https://qyapi.weixin.qq.com/cgi-bin/' # 企业微信地址
#     to_party: '1' # 接收组的id
#     agent_id: '1000002' # (企业微信-->自定应用-->AgentId)
#     corp_id: '******' # 企业信息(我的企业-->CorpId[在底部])
#     api_secret: '******' # 企业微信(企业微信-->自定应用-->Secret)
#     message: '{{ template "wechat.html" . }}' # 发送消息模板的设定

inhibit_rules: # 抑制规则
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance', 'prod']

接收器 receivers 我这里只测试了webhook_configs 和 email_configs 当然还支持其他的接收器(pagerduty_configs、slack_config、opsgenie_configs、wechat_configs),使用方法都差不多。文档

API

#  GET 查看 receivers (发送渠道)列表
https://localhost/api/v2/receivers 
#  GET 查看 alerts (报警)列表
https://localhost/api/v2/alerts?silenced=false&inhibited=false 
#  POST 添加报警
 
alerts='[
  {
    "labels": {
       "alertname": "DiskAll",
       "dev": "sda1",
       "instance": "example"
     },
     "annotations": {
        "info": "The disk sda1 is running full",
        "summary": "please check the instance example"
      }
}]
curl -XPOST -d"$alerts" https://localhost/api/v2/alerts

#  GET 查看 silences (静默)列表
https://localhost/api/v2/silences?silenced=false&inhibited=false 
#  POST 添加静默
https://localhost/api/v2/silences

注意: API 添加 silences 的时候,因 prometheus 默认时区为UTC且无法改变时区,因此我们的报警时间应该 -8:00,如下脚本

#! /usr/bin/env python
# -*- coding:utf8 -*-

import datetime
import urllib2
import json
import time

def add(matchers, username, commit):
    UTC_FORMAT = "%Y-%m-%dT%H:%M:%S.%fZ"
    now_stamp = time.time()
    startsAt = datetime.datetime.utcfromtimestamp(now_stamp)
    endsAt = startsAt + datetime.timedelta(hours=4)
    data = {
        "matchers": matchers,
        "startsAt": startsAt.strftime(UTC_FORMAT),
        "endsAt": endsAt.strftime(UTC_FORMAT),
        "createdBy": username,
        "comment": commit,
        "id": "",
        "status": {"state": "active"}
    }

    request_header = {'Content-Type': 'application/json'}
    request = urllib2.Request("https://alert.test.com/api/v2/silences", headers=request_header, data = json.dumps(data))
    response = urllib2.urlopen(request).read()
    print response

matchers = [{'isRegex': False, 'name': 'test', 'value': 'test'}]
add(matchers, "test", "测试")

启动

vim /usr/lib/systemd/system/alertmanager.service

[Unit]
Description=alertmanager server daemon
Documentation=https://prometheus.io/docs/introduction/overview/
After=network.target

[Service]
ExecStart=/data/alertmanager/alertmanager-0.17.0.linux-amd64/alertmanager --config.file=/data/alertmanager/alertmanager-0.17.0.linux-amd64/alertmanager.yml --storage.path=/data/alertmanager/data
ExecReload=/bin/kill -HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
KillMode=process
Restart=on-failure
RestartSec=42s

[Install]
WantedBy=multi-user.target

# 启动
systemctl daemon-reload
systemctl restart alertmanager.service

Prometheus 配置添加 Alertmanager

# 添加如下配置并重启 prometheus 服务
vim prometheus.yml

alerting:
  alertmanagers:
  - static_configs:
    - targets:
      - localhost:9093
      
rule_files:
   - /data/prometheus/prometheus/rules/*.rules # 规则配置文件

模板

cat /data/template/wechat.tmpl

{{ define "wechat.html" }}
  {{ range $i, $alert := .Alerts.Firing }}
    [报警项名]:{{ index $alert.Labels "alertname" }}
    [报警主机]:{{ index $alert.Labels "instance" }}
    [报警阀值]:{{ index $alert.Annotations "value" }}
    [开始时间]:{{ $alert.StartsAt }}
  {{ end }}
{{ end }}

Prometheus 添加规则(rules)

警报规则允许你基于Prometheus表达式语言的表达式定义报警报条件,并在触发警报时发送通知给外部的接收者。每当警报表达式在给定时间点产生一个或者多个向量元素,这个警报统计活跃的这些元素标签集。

vim /data/prometheus/prometheus/rules/hoststats-alert.rules

groups:
- name: hostStatsAlert

  rules:
  - alert: instanceDown
    expr: up == 0
    for: 5m
    labels:
      severity: node
    annotations:
      summary: "Instance {{ $labels.instance }} down"
      description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 5 minutes."
  
  - alert: diskFree
    expr: (1-(node_filesystem_free_bytes{fstype=~"ext4|xfs"} / node_filesystem_size_bytes{fstype=~"ext4|xfs"}) ) * 100 > 85
    for: 5m
    labels:
      severity: page
    annotations:
      summary: "Instance {{ $labels.instance }} down"
      description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 5 minutes."

FOR 选项语句会使Prometheus服务等待指定的时间, 在第一次遇到新的表达式输出向量元素(如:具有高HTTP错误率的实例)之间,并将该警报统计为该元素的触发。如果该元素的活跃的,且尚未触发,表示正在挂起状态。

LABELS 选项语句允许指定额外的标签列表,把它们附加在警告上。任何已存在的冲突标签会被重写。这个标签值能够被模板化。

ANNOTATIONS 选项语句指定了另一组标签,它们不被当做警告实例的身份标识。它们经常用于存储额外的信息,例如:警告描述,后者runbook链接。这个注释值能够被模板化。


我这里添加了2条报警规则,分别是实例Down了及磁盘使用大于85%就触发报警。

如果实例Down了的话就触发label为severity=node的receiver(上面alertmanager 配置文件中),可以看到上面的配置就会匹配web.hook这个receiver,然后会将报警信息POST到我们提供的 hook 接口中。

一个报警信息在生命周期内有下面3中状态:

  • inactive: 表示当前报警信息既不是firing状态也不是pending状态

  • pending: 表示在设置的阈值时间范围内被激活了

  • firing: 表示超过设置的阈值时间被激活了

相关文章
最新推荐