Алертинг OpenTSDB
Вы можете использовать Grafana Alerting с OpenTSDB, чтобы создавать алерты на основе данных временных рядов. Это позволяет отслеживать метрики, выявлять аномалии и получать уведомления при выполнении определённых условий.
Общую информацию о Grafana Alerting см. в разделе Grafana Alerting.
Перед началом
Перед созданием алертов с OpenTSDB убедитесь, что у вас есть:
- Источник данных OpenTSDB, настроенный в Grafana. См. Настройка источника данных OpenTSDB.
- Соответствующие права для создания правил алертинга.
- Понимание метрик, которые вы хотите отслеживать.
Поддерживаемые возможности
Алертинг OpenTSDB работает со стандартными запросами метрик, возвращающими данные временных рядов. В таблице ниже приведена совместимость с алертингом:
Создание правила алертинга
Чтобы создать правило алертинга с помощью OpenTSDB:
- Перейдите в Alerting > Alert rules.
- Нажмите New alert rule.
- Введите имя правила алертинга.
- Выберите источник данных OpenTSDB.
- Постройте запрос:
- Выберите метрику для отслеживания.
- Выберите подходящий агрегатор (например,
avg,sum,max). - Добавьте фильтры по тегам, чтобы нацелиться на конкретные ресурсы.
- Включите прореживание с интервалом, соответствующим частоте вычисления.
- Настройте условие алерта (например, когда значение превышает порог).
- Задайте интервал вычисления и период ожидания (pending period).
- Настройте уведомления и метки.
- Нажмите Save rule.
Подробные инструкции см. в разделе Создание правила алертинга, управляемого Grafana.
Примеры запросов для алертинга
В следующих примерах показаны распространённые сценарии алертинга с OpenTSDB.
Алерт о высокой загрузке CPU
Отслеживайте загрузку CPU и получайте алерт при превышении 90%:
Условие: когда среднее значение выше 90
Алерт о нехватке места на диске
Отслеживайте доступное место на диске и получайте алерт при снижении ниже порога:
Условие: когда минимальное значение ниже 10737418240 (10 ГБ в байтах)
Алерт о высоком сетевом трафике
Отслеживайте полученные сетевые байты и получайте алерт при высоком трафике:
Условие: когда сумма выше 104857600 (100 МБ/с в байтах)
Алерт о всплеске числа ошибок
Отслеживайте количество ошибок приложения:
Условие: когда сумма выше 100
Ограничения
При использовании OpenTSDB с Grafana Alerting учитывайте следующие ограничения.
Переменные шаблонов не поддерживаются
Запросы алертинга не могут содержать переменные шаблонов. Grafana вычисляет правила алертинга на бэкенде без контекста дашборда, поэтому переменные вроде $hostname или $environment не подставляются.
Если в запросе вашего дашборда используются переменные шаблонов, создайте отдельный запрос для алертинга с жёстко заданными значениями.
Сложность запроса
Сложные запросы с большим числом тегов или длинными диапазонами времени могут завершиться по тайм-ауту или не вычислиться. Упрощайте запросы для алертинга так:
- По возможности используйте конкретные фильтры по тегам вместо подстановочных символов.
- Включайте прореживание с подходящими интервалами.
- Сокращайте диапазон времени вычисления.
Поведение в OpenTSDB 2.4
При использовании OpenTSDB 2.4 с алертингом Grafana выполняет запросы с параметром arrays=true. Это заставляет OpenTSDB возвращать точки данных в виде массива массивов вместо словаря пар «ключ — значение». Grafana автоматически преобразует эти данные в подходящий формат.
Рекомендации
При создании алертов OpenTSDB следуйте этим рекомендациям:
- Используйте конкретные фильтры по тегам: добавляйте фильтры по тегам, чтобы сосредоточиться на релевантных ресурсах и повысить производительность запросов.
- Согласуйте интервал прореживания с частотой вычисления: задавайте интервал прореживания равным или немного меньшим, чем интервал вычисления алерта.
- Сначала проверьте запросы: убедитесь, что запрос возвращает ожидаемые результаты в Explore, прежде чем создавать алерт.
- Задавайте реалистичные пороги: основывайте пороги алертов на исторических закономерностях данных, чтобы избежать ложных срабатываний.
- Используйте осмысленные имена: давайте правилам алертинга описательные имена, показывающие, что они отслеживают.
- Включайте прореживание: всегда включайте прореживание для запросов алертинга, чтобы сократить объём данных и повысить надёжность.
- Учитывайте сбросы счётчиков: для счётчиков включайте параметр Counter и задавайте подходящие максимальные значения, чтобы корректно обрабатывать сбросы.
Дальнейшие шаги
- Стройте запросы, чтобы изучить метрики перед созданием алертов.
- Устраните неполадки, если алерты срабатывают не так, как ожидается.