Устранение неполадок источника данных OpenTSDB
В этом документе приведены решения распространённых проблем, с которыми вы можете столкнуться при настройке или использовании источника данных OpenTSDB. Инструкции по настройке см. в разделе Настройка источника данных OpenTSDB.
Ошибки подключения
Эти ошибки возникают, когда Grafana не может подключиться к серверу OpenTSDB.
«Connection refused» или ошибки тайм-аута
Симптомы:
- Save & test завершается ошибкой
- Запросы возвращают ошибки подключения
- Периодические тайм-ауты
Возможные причины и решения:
Чтобы проверить связность вручную, выполните:
curl http://<OPENTSDB_HOST>:4242/api/version
Ошибки аутентификации
Эти ошибки возникают, когда учётные данные недействительны или настроены неправильно.
«401 Unauthorized» или «403 Forbidden»
Симптомы:
- Save & test завершается ошибкой аутентификации
- Запросы возвращают ошибки авторизации
Решения:
- Убедитесь, что учётные данные базовой аутентификации верны в конфигурации источника данных.
- Проверьте, что сервер OpenTSDB настроен на приём указанных учётных данных.
- Если для аутентификации используются cookie, убедитесь, что нужные cookie перечислены в Allowed cookies.
Ошибки запросов
Эти ошибки возникают при выполнении запросов к OpenTSDB.
Данные не возвращаются
Симптомы:
- Запрос выполняется без ошибок, но не возвращает данные
- Панели показывают сообщение «No data»
Возможные причины и решения:
Тайм-аут запроса
Симптомы:
- Запросы выполняются долго, а затем завершаются ошибкой
- Сообщение об ошибке упоминает тайм-аут
Решения:
- Уменьшите диапазон времени запроса.
- Добавьте более конкретные фильтры тегов, чтобы уменьшить объём данных.
- Увеличьте настройку Timeout в конфигурации источника данных.
- Включите прореживание (downsampling), чтобы уменьшить количество возвращаемых точек данных.
- Проверьте производительность сервера OpenTSDB и состояние HBase.
Автодополнение не работает
Симптомы:
- При вводе имён метрик, имён тегов или значений тегов не появляются подсказки
- Раскрывающиеся списки пусты
Решения:
- Убедитесь, что конечная точка OpenTSDB
/api/suggestдоступна. Проверьте её вручную с помощьюcurl http://<OPENTSDB_HOST>:4242/api/suggest?type=metrics. - Увеличьте настройку Lookup limit, если у вас много метрик или тегов.
- Проверьте, что подключение источника данных работает, нажав Save & test.
- Проверьте, что метрики существуют в OpenTSDB. API suggest возвращает только те метрики, которые были записаны в базу данных.
Переменные шаблонов не заполняются
Симптомы:
- Раскрывающиеся списки переменных шаблонов пусты
- Preview of values не показывает результатов
Решения:
- Включите отслеживание метаданных в реальном времени в OpenTSDB, установив
tsd.core.meta.enable_realtime_tsвtrueв вашей конфигурации OpenTSDB. - Синхронизируйте существующие метаданные, выполнив
tsdb uid metasyncна сервере OpenTSDB. - Убедитесь, что синтаксис запроса переменной верен. Обратитесь к разделу Переменные шаблонов за правильным синтаксисом.
- Проверьте, что подключение источника данных работает.
Проблемы производительности
Эти проблемы связаны с медленными запросами или высоким потреблением ресурсов.
Медленные запросы
Симптомы:
- Дашборды загружаются долго
- Запросы медленные даже для небольших диапазонов времени
Решения:
- Включите прореживание (downsampling) в редакторе запросов, чтобы уменьшить объём данных.
- Используйте более конкретные фильтры тегов, чтобы ограничить количество возвращаемых временных рядов.
- Уменьшите диапазон времени.
- Проверьте метрики производительности OpenTSDB и HBase.
- Рассмотрите увеличение размера кучи (heap) OpenTSDB, если память ограничена.
Проблемы производительности HBase
OpenTSDB использует HBase для хранения данных. Проблемы производительности в HBase напрямую влияют на производительность запросов OpenTSDB.
Решения:
- Следите за состоянием региона-серверов HBase и статусом компакции.
- Убедитесь, что региона-серверам HBase выделено достаточно памяти кучи.
- Проверьте наличие горячих точек (hot spots) регионов и при необходимости перераспределите регионы.
- Обратитесь к руководству по устранению неполадок OpenTSDB для проблем, специфичных для HBase.
Включение журналирования отладочного уровня
Чтобы получить подробную информацию об ошибках для устранения неполадок:
-
Установите уровень журнала Grafana в
debugв файле конфигурации:[log] level = debug -
Просмотрите журналы в
/var/log/grafana/grafana.log(или в настроенном вами расположении журналов). -
Найдите записи, специфичные для OpenTSDB, которые содержат сведения о запросах и ответах.
-
Сбросьте уровень журнала на
infoпосле устранения неполадок, чтобы избежать чрезмерного объёма журналов.
Получение дополнительной помощи
Если вы испробовали решения из этого документа, но проблемы сохраняются:
- Проверьте форумы сообщества Grafana на наличие похожих проблем.
- Просмотрите проблемы OpenTSDB на GitHub на предмет известных ошибок.
- Обратитесь к документации OpenTSDB за рекомендациями, специфичными для сервера.
- Свяжитесь с поддержкой Grafana, если вы пользователь Grafana Enterprise, Cloud Pro или Cloud Contracted.
При сообщении о проблемах указывайте:
- Версию Grafana
- Версию OpenTSDB
- Сообщения об ошибках (удалите конфиденциальную информацию)
- Шаги для воспроизведения
- Конфигурацию источника данных (удалите учётные данные)