Caution
Предварительно провижиненные data source-managed оповещения Loki и Prometheus устарели в Grafana Cloud и не могут быть созданы в новых стеках. Новые стеки Grafana Cloud будут по умолчанию использовать Grafana-managed alerting (GMA). Datasource-managed alerting (DMA) не провижинится в новых стеках. Существующие стеки не затронуты.
Это относится к источникам данных Grafana Cloud Loki и Prometheus по умолчанию, управляемым Grafana Labs и Cloud Alertmanager, которые не будут доступны, и Grafana не будет провижинить для них источник данных. Если вы добавите свои собственные источники данных Mimir, Loki или Alertmanager, вы сможете продолжать использовать data source-managed оповещения.
Пользователи Cloud могут импортировать правила DMA в правила GMA с помощью инструмента импорта. См. документацию по импорту data source-managed оповещений в Grafana-managed оповещения, чтобы узнать, как это сделать.
Настройка Grafana-managed правил оповещений
Grafana-managed правила оповещений — способ по умолчанию для создания правил оповещений в Grafana.
Grafana-managed правила наследуют свою модель из Prometheus Alerting и расширяют её большей гибкостью — такой как запросы к нескольким источникам данных, преобразования на основе выражений, расширенные условия оповещения, изображения в уведомлениях, пользовательские состояния и многое другое.
Чтобы создать или отредактировать Grafana-managed правила оповещений, следуйте приведённым ниже инструкциям.
Tip
Краткие вводные руководства по ключевым возможностям оповещений см. в учебниках по началу работы с Grafana Alerting.
Перед началом
Прежде чем создавать Grafana-managed правила оповещений, ознакомьтесь со следующими требованиями и опциями.
Поддерживаемые источники данных
Grafana-managed правила оповещений могут выполнять запросы к серверным источникам данных, когда файл plugin.json источника данных задаёт {"backend": true, "alerting": true}.
Прежде чем создавать правило оповещения, убедитесь, что источники данных, к которым вы планируете обращаться, совместимы и правильно настроены.
Публичные источники данных, поддерживающие правила оповещений, можно найти в каталоге плагинов Grafana.
Лимиты правил оповещений в Grafana Cloud
В Grafana Cloud количество Grafana-managed правил оповещений, которые вы можете создать, зависит от вашего плана Grafana Cloud.
- План Free Forever: вы можете создать до 500 бесплатных правил оповещений, при этом каждое правило оповещения может иметь максимум 1000 экземпляров оповещений.
- Все платные планы: у них мягкий лимит в 2000 правил оповещений и поддержка неограниченного количества экземпляров оповещений. Чтобы увеличить лимит, откройте обращение в службу поддержки из портала Cloud.
Разрешения
Только пользователи с разрешениями Edit для папки, хранящей правила, могут редактировать или удалять Grafana-managed правила оповещений. Только администраторы могут восстанавливать удалённые Grafana-managed правила оповещений.
Провижининг
Обратите внимание, что если вы удалите ресурс оповещения, созданный в интерфейсе, вы больше не сможете его восстановить.
Чтобы создавать резервные копии правил оповещений и управлять ими, вы можете провижинить ресурсы оповещений с помощью таких вариантов, как файлы конфигурации, Terraform или API Alerting.
Опции Default и Advanced
Grafana Alerting предоставляет несколько вариантов конфигурации для поддержки разных потребностей в оповещениях.
Чтобы упростить создание правил оповещений, некоторые настройки отображают вид конфигурации Default и Advanced:
Используйте Default, чтобы создавать базовые условия запроса и маршрутизировать оповещения напрямую в точку контакта. Используйте Advanced для более сложных определений запросов или для маршрутизации оповещений через политики уведомлений.
Вы можете переключаться между опциями в любое время. После создания правила оповещения Grafana запоминает ваш последний выбор и использует его как значение по умолчанию для следующего правила.
Если вы предпочитаете всегда использовать расширенную конфигурацию, вы можете отключить режимы Default, отключив feature toggles alertingQueryAndExpressionsStepMode и alertingNotificationsStepMode.
Задание имени правила оповещения
[ru] DOCS_SHARED: "docs/grafana/latest/alerting/alerting-rules/create-grafana-managed-rule.ru.md" ("/hugo/content/docs/grafana/latest/alerting/alerting-rules/create-grafana-managed-rule.ru.md:204:1") shared directory "docs/grafana/latest/shared" not found
Определение запроса и условия
Определите запрос для получения данных, которые хотите измерять, и условие, которое должно быть выполнено до срабатывания правила оповещения.
В зависимости от источника данных редактор запросов предлагает вариант Builder и Code. Builder помогает построить запрос с помощью визуального интерфейса. Вариант Builder полезен, если у вас небольшой опыт работы с языком запросов, тогда как Code позволяет писать запрос напрямую для большего контроля. Переключайтесь между ними с помощью вкладок Builder и Code на панели инструментов редактора запросов.
Опция Default позволяет настроить один запрос и одно условие оповещения. Опция Advanced позволяет использовать несколько запросов и выражений для более сложных определений правил.
-
Выберите источник данных.
-
Добавьте запрос.
-
Добавьте условие оповещения.
Поле When включает функцию приведения, а последнее поле — это порог.
-
Нажмите Preview, чтобы проверить.
-
Выберите источник данных.
-
В выпадающем меню Options укажите временной диапазон.
Обратите внимание, что Grafana Alerting поддерживает только фиксированные относительные временные диапазоны, например
now-24hr: now. Она не поддерживает абсолютные временные диапазоны:2021-12-02 00:00:00 to 2021-12-05 23:59:592или полуотносительные временные диапазоны:now/d to: now. -
Добавьте запрос.
Чтобы добавить несколько запросов, нажмите Add query.
Все правила оповещений по умолчанию управляются Grafana. Если вы хотите переключиться на data source-managed правило оповещения, нажмите Switch to data source-managed alert rule.
-
Добавьте одно или несколько выражений.
a. Для каждого выражения выберите либо Classic condition, чтобы создать одно правило оповещения, либо выберите из опций Math, Reduce и Resample, чтобы создавать отдельное оповещение для каждой серии.
При использовании Prometheus вы можете использовать instant vector и встроенные функции, поэтому вам не нужно добавлять дополнительные выражения.
b. Нажмите Preview, чтобы убедиться, что выражение успешно.
-
Чтобы добавить порог восстановления, включите переключатель Custom recovery threshold и введите значение, определяющее, когда оповещение должно восстановиться — перейти в состояние
Normalиз состоянияAlertingилиPending.Вы можете добавить только один порог восстановления, и он должен быть частью условия оповещения.
-
Нажмите Set as alert condition на запросе или выражении, которое хотите задать как условие оповещения.
Вы можете переключаться между опциями Default и Advanced в любое время.
Переключение с Advanced на Default может привести к появлению запросов и выражений, которые нельзя конвертировать. В этом случае появляется предупреждающее сообщение с вопросом, хотите ли вы продолжить сброс к настройкам по умолчанию.
Если функция Опции Default и Advanced не включена в вашем экземпляре Grafana, следуйте инструкциям раздела Advanced options.
Задание папки и меток
Организуйте ваше правило оповещения с помощью папки и набора меток.
В разделе Labels вы можете при необходимости выбрать, добавлять ли метки для организации ваших правил оповещений и их уведомлений. Подробнее см. в разделе метки правил оповещений.
-
Выберите папку или нажмите + New folder.
-
При необходимости добавьте метки.
Добавляйте пользовательские метки, выбирая существующие пары ключ-значение из выпадающего списка, или добавляйте новые метки, вводя новый ключ или значение.
Настройка поведения вычисления оповещений
Используйте вычисление правил оповещений, чтобы определить, как часто должно вычисляться правило оповещения и как быстро оно должно менять своё состояние.
Для этого вам нужно убедиться, что ваше правило оповещения находится в правильной группе вычисления, и задать период ожидания, который лучше всего подходит для вашего сценария.
-
Выберите группу вычисления или нажмите + New evaluation group.
Если вы создаёте новую группу вычисления, укажите интервал для группы.
Все правила внутри одной группы вычисляются параллельно за один и тот же временной интервал.
-
Введите период ожидания.
Период ожидания — это период, в течение которого правило оповещения может находиться в нарушении условия до того, как сработает.
После выполнения условия оповещение переходит в состояние Pending. Если условие остаётся активным в течение указанной длительности, оповещение переходит в состояние Firing, иначе оно возвращается в состояние Normal.
-
При необходимости задайте период Keep firing for.
Вы можете задать минимальное время, в течение которого оповещение остаётся срабатывающим после того, как выражение нарушенного порога больше не возвращает результатов. Это переводит оповещение в состояние “Recovering” на указанное здесь время. Состояние Recovering можно использовать для снижения шума от колеблющихся оповещений. Выберите “none”, чтобы оповещение перестало срабатывать сразу после снятия нарушенного порога.
-
При необходимости включите приостановку уведомлений об оповещениях.
Вы можете приостановить вычисление правила оповещения, чтобы избежать шумных оповещений во время настройки ваших оповещений. Приостановка останавливает вычисление правила оповещения и не создаёт экземпляров оповещений. Это отличается от mute timings, которые останавливают доставку уведомлений, но всё ещё позволяют вычисление правил оповещений и создание экземпляров оповещений.
-
В Configure no data and error handling вы можете определить поведение и состояние оповещения для двух сценариев:
- Когда вычисление возвращает No data или все значения равны null.
- Когда вычисление возвращает Error или тайм-аут.
Настройка обработки отсутствия данных и ошибок
Настройте поведение, когда вычисление не возвращает данных:
Warning [ru] DOCS_SHARED: "docs/grafana/latest/alerting/alerting-rules/create-grafana-managed-rule.ru.md" ("/hugo/content/docs/grafana/latest/alerting/alerting-rules/create-grafana-managed-rule.ru.md:309:4") shared directory "docs/grafana/latest/shared" not found
Вы также можете настроить поведение, когда вычисление возвращает ошибку:
Warning [ru] DOCS_SHARED: "docs/grafana/latest/alerting/alerting-rules/create-grafana-managed-rule.ru.md" ("/hugo/content/docs/grafana/latest/alerting/alerting-rules/create-grafana-managed-rule.ru.md:313:4") shared directory "docs/grafana/latest/shared" not found
Подробнее см. в разделах состояния экземпляра оповещения и изменение состояния no data или error.
-
В Configure no data and error handling вы также можете настроить Missing series evaluations to resolve: сколько последовательных интервалов вычисления должны пройти без данных, прежде чем экземпляр оповещения будет считаться устаревшим.
Настройка уведомлений
Настройте, кто получает уведомления при срабатывании правила оповещения.
Опция Default позволяет выбрать точку контакта для обработки уведомлений этого правила оповещения. Опция Advanced маршрутизирует уведомления через политики уведомлений.
-
Выберите существующую точку контакта.
Все уведомления для этого правила оповещения автоматически отправляются в эту точку контакта, а политики уведомлений не используются.
-
При необходимости настройте дополнительные настройки уведомлений, такие как группировка или параметры времени.
С этой опцией все уведомления для этого правила оповещения управляются деревом политик уведомлений, которое маршрутизирует оповещения на основе их меток.
Нажмите Change, чтобы изменить маршрутизацию с политики по умолчанию на другую политику.
Вы можете посмотреть предпросмотр того, какая политика уведомлений будет обрабатывать уведомления от этого правила оповещения.
-
Нажмите Preview routing после настройки предыдущих параметров правила оповещения.
На основе меток оповещения и меток запроса Grafana отображает политики уведомлений, которые будут обрабатывать уведомления.
-
Нажмите View route, чтобы просмотреть детали политики и маршрутизации.
Вы можете переключаться между опциями Default и Advanced в любое время.
Если функция Опции Default и Advanced не включена в вашем экземпляре Grafana, следуйте инструкциям раздела Advanced options.
Настройка уведомительного сообщения
Используйте аннотации, чтобы добавлять в сообщения оповещений информацию, которая может помочь отреагировать на оповещение.
Аннотации по умолчанию включаются в уведомительные сообщения и могут использовать текст или шаблоны для отображения динамических данных из запросов.
Grafana предоставляет несколько необязательных аннотаций.
-
Необязательно: добавьте summary.
Краткая сводка того, что произошло и почему.
-
Необязательно: добавьте description.
Описание того, что делает правило оповещения.
-
Необязательно: добавьте Runbook URL.
Веб-страница, где вы храните ваш runbook для оповещения
-
Необязательно: добавьте пользовательскую аннотацию.
Добавьте любую дополнительную информацию, которая может помочь разобраться с оповещением.
-
Необязательно: Link dashboard and panel.
Привяжите правило оповещения к панели, чтобы упростить расследование оповещения.
-
Нажмите Save rule.