Документация Grafana Документация GlaberGraph Оповещения Настройка уведомлений Настройка точек контакта Grafana IRM

Настройка Grafana IRM для Alerting

В Grafana OSS и Grafana Enterprise вы можете использовать точку контакта webhook, чтобы отправлять оповещения в Grafana IRM. Затем Grafana IRM может маршрутизировать оповещения на основе цепочек эскалации для рабочих процессов вашей команды.

Поток уведомлений об оповещениях следующий:

^* Grafana OSS/Enterprise (отправляет webhook-оповещения)->Grafana Cloud IRM (маршрутизирует через цепочки эскалации)

Настройка интеграции в Grafana IRM

Сначала включите интеграцию в IRM, чтобы она принимала оповещения от Grafana Alerting. Вы можете либо создать новую интеграцию, либо использовать существующую интеграцию Alertmanager или Webhook в IRM.

Чтобы создать интеграцию, выполните те же шаги, что описаны в разделе Настройка интеграции OnCall в IRM:

1. Перейдите в Alerts & IRM -> IRM -> Integrations.

2. Нажмите + New integration.

3. Выберите интеграцию Alertmanager или Webhook из списка.

   • Интеграция Alertmanager — включает предварительно настроенные шаблоны IRM для обработки оповещений Grafana и Prometheus.

   • Интеграция Webhook — использует шаблоны IRM по умолчанию для общей обработки оповещений.

4. Укажите заголовок, описание и назначьте интеграцию команде, затем нажмите Create Integration.

5. На странице деталей интеграции скопируйте URL HTTP Endpoint, чтобы использовать его в следующем разделе.

Настройка точки контакта webhook в Grafana Alerting

Далее настройте точку контакта в Grafana Alerting, чтобы отправлять уведомления об оповещениях в Grafana IRM.

В Grafana OSS и Grafana Enterprise вам нужно создать точку контакта Webhook, используя URL HTTP endpoint, скопированный на предыдущем шаге.

1. Перейдите в Alerts & IRM -> Alerting -> Notification configuration, затем выберите вкладку Contact points.
2. Нажмите + Add contact point.
3. Введите имя точки контакта.
4. В списке Integration выберите Webhook.
5. В поле URL введите URL HTTP endpoint интеграции IRM.
6. Нажмите Save contact point.

После настройки точки контакта в Grafana Alerting и интеграции в Grafana IRM вы можете начать тестирование интеграции Alerting-to-IRM.

Дополнительные сведения см. в:

• Настройка точек контакта — узнайте, как протестировать интеграцию и включить уведомления в Alerting.
• Точка контакта webhook — узнайте формат полезной нагрузки webhook и дополнительные настройки в Alerting.
• Настройка шаблонов оповещений IRM — узнайте, как обрабатывать входящие webhook-сообщения в IRM.

Включение мониторинга heartbeat в Grafana IRM (необязательно)

Включение heartbeat в интеграции IRM действует как мониторинг вашей системы Grafana Alerting. Если Grafana Alerting перестаёт отправлять оповещения — из-за простоя или неверной конфигурации — Grafana IRM создаёт новую группу оповещений, чтобы уведомить вас.

Чтобы настроить мониторинг heartbeat, вам нужно включить heartbeat в IRM и создать правило оповещения, которое непрерывно отправляет оповещения на endpoint heartbeat.

Включение heartbeat для интеграции IRM

1. В IRM выберите интеграцию IRM, настроенную ранее.
2. Нажмите ⋮ (три точки) справа вверху, затем выберите Heartbeat Settings.
3. Скопируйте URL Endpoint — он будет использоваться в новой точке контакта в Grafana Alerting.
4. Задайте heartbeat interval — период времени, после которого Grafana IRM запускает новую группу оповещений, если не получает heartbeat.

Создание ещё одной точки контакта Webhook в Grafana Alerting

Выполните те же шаги, что и раньше, чтобы создать точку контакта webhook в Grafana Alerting:

1. Перейдите в Alerts & IRM -> Alerting -> Notification configuration, затем выберите вкладку Contact points.
2. Нажмите + Add contact point.
3. Введите имя точки контакта.
4. В списке Integration выберите Webhook.
5. В поле URL введите URL endpoint heartbeat.
6. Нажмите Save contact point.

Теперь вы можете нажать кнопку Test, чтобы отправить оповещение на endpoint heartbeat. В IRM проверьте статус heartbeat в столбце Hearbeat на странице Integrations.

Создание правила оповещения в Grafana Alerting

Создайте Grafana-managed правило оповещения со следующими настройками:

• Always firing — используйте запрос и условие оповещения, которые постоянно срабатывают. Например, выберите источник данных Prometheus и задайте запрос vector(1) > 0.
• Настройте период ожидания, который короче hearbeat interval.
• Выберите точку контакта webhook, созданную вами для heartbeat, чтобы пересылать оповещения.
• Скорректируйте параметры времени в правиле оповещения или политике уведомлений, чтобы гарантировать пересылку оповещений до истечения heartbeat interval:
  • Group wait: 0s
  • Group interval: 1s
  • Repeat interval: короче hearbeat interval.

После создания правило оповещения действует как heartbeat, подтверждая, что Grafana Alerting работает и отправляет оповещения в Grafana IRM.