Документацияbreadcrumb arrow Grafanabreadcrumb arrow Документация GlaberGraphbreadcrumb arrow Оповещенияbreadcrumb arrow Дополнительная конфигурацияbreadcrumb arrow Настройка Alertmanager

Caution

Предварительно провижиненные data source-managed оповещения для Loki и Prometheus были объявлены устаревшими в Grafana Cloud и не могут быть созданы в новых стеках. Новые стеки Grafana Cloud по умолчанию используют Grafana-managed alerting (GMA). Datasource-managed alerting (DMA) не провижинится в новых стеках. Существующие стеки не затронуты.

Это относится к стандартным источникам данных Loki и Prometheus в Grafana Cloud, управляемым Grafana Labs, и к Cloud Alertmanager, которые не будут доступны, и Grafana не будет провижинить для них источник данных. Если вы добавите собственные источники данных Mimir, Loki или Alertmanager, вы сможете продолжать использовать data source-managed оповещения.

Пользователи Cloud могут импортировать правила DMA в правила GMA с помощью инструмента импорта. См. документацию по импорту data source-managed оповещений в Grafana-managed оповещения с информацией о том, как это сделать.

Note

Автономный интерфейс Alertmanager в Grafana Cloud (например, https://alertmanager-<REGION>.grafana.net/alertmanager/) объявлен устаревшим и больше не доступен.

Вся функциональность Alertmanager, включая silences, политики уведомлений, contact points и mute timings, теперь доступна в интерфейсе Grafana Alerting. Используйте выпадающий список Choose Alertmanager, чтобы выбрать Alertmanager, которым хотите управлять. Для управления silences перейдите в Alerts & IRM > Alerting > Silences.

Configure Alertmanagers

Grafana Alerting основан на архитектуре системы оповещения Prometheus. Grafana отправляет сработавшие и разрешившиеся оповещения в Alertmanager, который отвечает за обработку уведомлений. Такая архитектура разделяет оценку правил оповещения и обработку уведомлений, повышая масштабируемость.

A diagram with the alert generator and alert manager architecture

Grafana включает встроенный Grafana Alertmanager для обработки уведомлений. В этом руководстве показано, как:

Alertmanager resources

Важно отметить, что каждый Alertmanager управляет собственными независимыми ресурсами оповещения, такими как:

  • Contact points и шаблоны уведомлений
  • Политики уведомлений и mute timings
  • Silences
  • Активные уведомления

Используйте выпадающий список Choose Alertmanager на этих страницах, чтобы переключаться между Alertmanager и просматривать или управлять их ресурсами.

A screenshot choosing an Alertmanager in the notification policies UI

Types of Alertmanagers in Grafana

Grafana можно настроить на обработку уведомлений об оповещениях с использованием различных Alertmanager.

  • Grafana Alertmanager: Grafana включает встроенный Alertmanager, расширяющий Prometheus Alertmanager. Это Alertmanager по умолчанию, который в пользовательском интерфейсе обозначается как «Grafana». Он может обрабатывать только Grafana-managed оповещения.

  • Другие Alertmanager: Grafana Alerting также поддерживает отправку оповещений в другие Alertmanager, например в Prometheus Alertmanager.

Grafana Alerting поддерживает использование комбинации Alertmanager и позволяет включить для других Alertmanager приём Grafana-managed оповещений. Решение часто зависит от вашей конфигурации оповещений и того, где генерируются ваши оповещения.

Например, если у вас уже работает Alertmanager в вашей локальной или облачной инфраструктуре для обработки оповещений Prometheus, вы можете пересылать Grafana-managed оповещения в тот же Alertmanager для единообразной обработки уведомлений.

Add an Alertmanager

Alertmanager следует настраивать как источники данных через раздел Configuration в Grafana из главного меню навигации Grafana. Чтобы добавить Alertmanager, выполните следующие шаги.

  1. Click Connections in the left-side menu.

  2. Under Your connections, click Data sources.

  3. Enter Alertmanager in the search bar.

  4. Click Alertmanager.

    The Settings tab of the data source is displayed.

  5. Set the data source’s basic configuration options:

    Name Description
    Name Sets the name you use to refer to the data source
    Default Sets whether the data source is pre-selected for new panels and queries
    Alertmanager Implementation Alertmanager implementation. Mimir, Cortex, and Prometheus are supported
    Receive Grafana Alerts When enabled, the Alertmanager can receive Grafana-managed alerts. Important: This works only if receiving alerts is enabled for the Alertmanager in the Grafana Alerting Settings page
    HTTP URL Sets the HTTP protocol, IP, and port of your Alertmanager instance, such as https://alertmanager.example.org:9093
    Access Only Server access mode is functional

Инструкции по провижинингу см. в документации по источнику данных Alertmanager.

После добавления Alertmanager вы можете использовать интерфейс Grafana Alerting для управления политиками уведомлений, contact points, silences и другими ресурсами оповещения прямо из Grafana.

Note

При использовании Prometheus вы можете управлять silences в интерфейсе Grafana Alerting. Однако другие ресурсы Alertmanager, такие как contact points, политики уведомлений и шаблоны, доступны только для чтения, поскольку HTTP API Prometheus Alertmanager не поддерживает обновление этих ресурсов.

При использовании нескольких Alertmanager используйте выпадающий список Choose Alertmanager для переключения между ними.

Enable an Alertmanager to receive Grafana-managed alerts

После включения Receive Grafana Alerts в настройках источника данных необходимо также настроить Alertmanager на странице Alerting Settings. Grafana поддерживает включение одного или нескольких Alertmanager для приёма всех генерируемых Grafana-managed оповещений.

  1. В меню слева нажмите Alerts & IRM, а затем Alerting.
  2. Нажмите Settings, чтобы просмотреть список настроенных Alertmanager.
  3. Для выбранного Alertmanager нажмите кнопку Enable/Disable, чтобы переключить приём Grafana-managed оповещений. При активации Alertmanager отображает Receiving Grafana-managed alerts.
Grafana Alerting Settings page

Все Grafana-managed оповещения пересылаются в Alertmanager, помеченные как Receiving Grafana-managed alerts.

Note

Grafana Alerting не поддерживает пересылку Grafana-managed оповещений в AlertManager в Amazon Managed Service for Prometheus. Подробнее см. этот issue на GitHub.

Use an Alertmanager as a contact point to receive specific alerts

Предыдущие инструкции включают отправку всех Grafana-managed оповещений в Alertmanager.

Чтобы отправлять определённые оповещения в Alertmanager, настройте Alertmanager как contact point. Затем вы можете назначить этот contact point политикам уведомлений или отдельным правилам оповещения.

Подробные инструкции см. в разделах:

Manage Alertmanager configurations

На странице Settings вы также можете управлять конфигурациями Alertmanager.

  • Управлять снимками версий для встроенного Alertmanager, что позволяет администраторам откатывать непреднамеренные изменения или ошибки в конфигурации Alertmanager.
  • Сравнивать исторический снимок с последней конфигурацией, чтобы увидеть, какие изменения были внесены.

Configuration history limits

Grafana хранит до 100 последних версий конфигурации для встроенного Grafana Alertmanager, для каждой организации, включая текущую. Каждый раз, когда конфигурация Alertmanager изменяется, Grafana сохраняет новую версию и окончательно удаляет самую старую версию, как только лимит превышен.

Чтобы избежать потери рабочей конфигурации:

  • Создавайте резервные копии конфигурации: Экспортируйте и сохраняйте конфигурацию Alertmanager вне Grafana перед автоматизацией изменений или выполнением крупномасштабных обновлений.
  • Тестируйте изменения в среде с низким влиянием: Запускайте автоматизации и эксперименты с конфигурацией на экземпляре Grafana для разработки или тестирования, прежде чем применять их в production.
  • Ограничьте частоту автоматических изменений: Частые автоматические обновления расходуют доступную историю конфигураций. По возможности группируйте изменения в пакеты, чтобы одна ошибка не перезаписала все восстановимые версии.