Уведомления
Выбор того, как, когда и куда отправлять уведомления об оповещениях, — важная часть настройки вашей системы оповещений. Эти решения напрямую влияют на способность вашей команды получать необходимую информацию, чтобы быстро решать проблемы и минимизировать шум от оповещений.
Начните с определения точек контакта, чтобы указать, как получать уведомления об оповещениях. Затем настройте правила оповещений на отправку их оповещений либо в точку контакта, либо с использованием дерева политик уведомлений для гибкой маршрутизации оповещений в точки контакта.
Как это работает вкратце
- Grafana alerting периодически вычисляет ваши правила оповещений.
- Он запускает уведомления для экземпляров оповещений, находящихся в состоянии firing или resolved.
- Вы можете настроить правило оповещения на отправку уведомлений в точку контакта или маршрутизировать их через политики уведомлений для большей гибкости.
- Чтобы сократить количество уведомлений, вы можете группировать связанные оповещения в одно уведомление, используя группировку по меткам и параметры времени уведомлений.
Основы
Точки контакта
Точки контакта содержат конфигурацию для отправки уведомлений об оповещениях, указывая места назначения, такие как электронная почта, Slack, IRM, webhooks, и их уведомительные сообщения.
Точка контакта — это список интеграций, каждая из которых отправляет сообщение в определённое место назначения.
По умолчанию уведомительные сообщения включают общие сведения об оповещении: количество оповещений, имена оповещений, метки, аннотации и другую информацию об оповещении. Вы также можете настраивать уведомительные сообщения и использовать шаблоны уведомлений.
Сначала создайте точку контакта и протестируйте уведомления. Затем настройте правило оповещения на отправку его уведомлений либо в точку контакта, либо через политики уведомлений.
Политики уведомлений
Политики уведомлений — основа комплексной системы оповещений. Они предоставляют гибкий и эффективный способ маршрутизации оповещений в отдельные точки контакта, помогая снизить шум от оповещений и гарантируя, что ни одно оповещение не будет пропущено.
Дерево политик уведомлений отвечает за:
- Определение вложенных политик, которые могут наследовать или переопределять настройки родительских уведомлений.
- Маршрутизацию оповещений путём сопоставления меток оповещений с подходящей политикой уведомлений.
Каждая политика уведомлений решает конкретные задачи:
- Определяет, какая точка контакта получит уведомление об оповещении.
- Управляет тем, когда отправлять уведомления, на основе её параметров времени уведомлений.
- Группирует несколько оповещений в одно уведомление, чтобы снизить шум от оповещений.
Группировка уведомлений об оповещениях
Когда что-то в нашей системе выходит из строя, наша система оповещений может легко запустить сотни или даже тысячи экземпляров оповещений (уведомлений). Несколько правил оповещений часто срабатывают одновременно. Кроме того, каждое правило оповещения может порождать несколько экземпляров оповещений.
Группировка уведомлений об оповещениях обычно необходима, чтобы избежать переполнения входящих сообщений. Группировка объединяет похожие экземпляры оповещений за данный период в одно уведомление.
Группировка уведомлений использует:
- Метки: группируйте экземпляры оповещений одного типа с помощью меток.
- Параметры времени: подождите заданный период перед отправкой уведомления, чтобы позволить сгруппировать поступающие экземпляры оповещений.
Шаблоны, silences и mute timings
Grafana Alerting предоставляет расширенные возможности уведомлений, которые окажутся полезными по мере того, как вы и ваша команда совершенствуете вашу первоначальную систему оповещений.
Например, вы можете настраивать уведомления с помощью общих шаблонов, которые предоставляют полезную информацию об оповещениях и могут переиспользоваться в нескольких уведомлениях.
Кроме того, вы можете использовать silences и mute timings, чтобы приостанавливать или подавлять уведомления, не прерывая вычисление оповещений.
Архитектура
Grafana Alerting построен на модели Prometheus, которая разделяет два основных компонента для масштабируемости и производительности:
- Генератор оповещений, который вычисляет правила оповещений и отправляет сработавшие и разрешившиеся оповещения получателю оповещений.
- Получатель оповещений (также известный как Alertmanager), который принимает оповещения и отвечает за отправку их уведомлений.
Grafana включает собственный Alertmanager, расширяющий Prometheus Alertmanager для управления и доставки уведомлений об оповещениях. Вы также можете настроить Grafana Alerting для работы с другими Alertmanager.