Администрирование источников данных

Источники данных — это внешние системы, из которых Система получает информацию для построения витрин.

Администратор может добавлять новые источники, редактировать настройки существующих и удалять их.

Для каждого типа источника предусмотрен свой набор параметров, которые нужно указать при создании или изменении подключения.

В настройках каждого источника данных в верхней части формы доступны следующие действия:

• Проверить соединение — выполняет проверку корректности подключения к указанному серверу.
• Сохранить — сохраняет изменения в настройках источника.
• Удалить источник — удаляет этот источник из списка.

CSV

CSV-источник позволяет загружать табличные данные из файлов или по ссылке и использовать их в Системе для построения витрин, таблиц и графиков.

Подходит для быстрой интеграции данных без развертывания отдельной базы.

Поля источника:

1. Основные поля:
   • Источник данных — название источника, с которым он будет отображаться в Системе.
   • Тип — выбор значения CSV в раскрывающемся списке поля.
2. Параметры подключения:
   • Метод — HTTP-метод. Используется для получения файла по URL (GET, POST, PUT).
   • URL — ссылка на CSV-файл (если данные берутся по сети).
   • TLS-сертификат — поле для вставки сертификата. Требуется для проверки подлинности соединения.
   • Пропустить проверку подлинности — позволяет отключить проверку TLS при подключении к источнику по URL.
   • Путь к файлу — используется, если CSV-файл хранится локально в файловой системе сервера.
   • Выберите файл — загрузка CSV-файла напрямую через интерфейс (размер ограничен до 768 КБ).
   • CSV-содержимое — возможность вставить данные напрямую в текстовое поле.
3. Формат данных:
   • Разделитель — символ, разделяющий значения (например, точка с запятой, запятая, табуляция):
   • Первая строка — определяет назначение первой строки:
     • Заголовок — используется как названия колонок;
     • Данные — интерпретируется как строка с данными.
   • Формат времени — шаблон для парсинга временных данных (например: dd-MM-yyyy HH:mm:ss).

Postgres

Источник типа Postgres используется для подключения к СУБД PostgreSQL и ее совместимым версиям: Postgres 9+, Postgres PRO 13+, Pangolin 4+.

Поддерживает выполнение SQL-запросов, работу с пулами соединений и интеграцию с системой визуализации.

Поля источника:

1. Основные поля настройки:
   • Источник данных — произвольное название, под которым источник будет отображаться в Системе.
   • Тип — выбор значения Postgres в раскрывающемся списке поля.
2. Параметры подключения:
   • Адрес — доменное имя или IP-адрес сервера. Если требуется, можно указать порт в формате IP:Port.
   • Имя базы данных — название базы, к которой выполняется подключение.
   • Пользователь и Пароль — учетные данные для входа.
   • TLS-сертификат — используется для проверки подлинности соединения. При необходимости можно пропустить проверку подлинности (опция Игнорировать).
3. Управление соединениями и кешем:
   • Время жизни кеша — определяет срок хранения кешированных данных в секундах. Значение 0 отключает кеширование.
   • Время ожидания подключения из пула — определяет, сколько миллисекунд Система ждет подключения. Если за этот срок подключение не получено, возвращается ошибка. Значение по умолчанию: 30000 мс.
   • Частота опроса активного соединения — частота, с которой пул поддерживает активность соединения. Значение должно быть меньше, чем значение в поле Максимальный срок присутствия соединения в пуле.
   • Максимальный срок присутствия соединения в пуле — время в миллисекундах, которое соединение может находиться в пуле до завершения.
   • Максимальное время простоя соединения в пуле — время в миллисекундах, после которого неиспользуемое соединение будет закрыто.
   • Максимальный размер пула — максимальное количество соединений в пуле.
   • Минимальное количество простаивающих соединений — число соединений, которые всегда поддерживаются в пуле.
4. Язык запросов и ограничения:
   • Код языка запроса — язык для подсветки синтаксиса при вводе SQL-запросов (по умолчанию — sql).
   • Режим ввода запросов пользователем — может быть разрешен или запрещен в зависимости от политики безопасности.
   • SQL limit по умолчанию — задает количество строк, возвращаемых запросом, если в самом SQL-запросе лимит не указан. Диапазон — от 0 до 50 000. Значение 0 снимает ограничение (риск переполнения памяти). Если параметр не задан, применяется ограничение по умолчанию — 500 строк.

Victoria Metrics / Prometheus

Источник данных с типом Prometheus используется для подключения к системам мониторинга временных рядов: Prometheus или VictoriaMetrics. Он позволяет получать метрики напрямую по API и визуализировать их в виджетах Системы.

Основные поля настройки:

• Источник данных — уникальное наименование, под которым будет отображаться данный источник в системе.
• Тип — выбор значения Victoria Metrics / Prometheus в раскрывающемся списке поля.
• URL — путь к серверу Prometheus, из которого будут запрашиваться данные.
• Пользователь и Пароль — учетные данные технического пользователя для подключения.
• Режим ввода запросов пользователем — может быть установлен в значение Разрешен или Запрещен:
  • Разрешен — пользователи смогут формировать свои PromQL-запросы напрямую;
  • Запрещен — будут использоваться только преднастроенные запросы.
• Код языка запросов — по умолчанию задается в плагине для подсветки синтаксиса при вводе запроса https://prismjs.com/#supported-languages.

Pult / Zabbix

Источник данных Пульт используется для интеграции с системой мониторинга «Пульт» и получения метрик в режиме реального времени и из истории.

1. Основные поля настройки:
   • Источник данных — уникальное наименование, с которым источник будет отображаться в Системе.
   • Тип — выбор значения Pult / Zabbix в раскрывающемся списке поля.
   • URL — адрес источника данных, к которому будет выполняться подключение.
   • Порт — порт сервиса источника данных.
   • Пользователь — имя технического пользователя, имеющего доступ к данным.
   • Пароль — пароль технического пользователя. Отображается в зашифрованном виде.
2. Настройки производительности и хранения данных:
   • Время жизни кеша — срок хранения кешированных данных в секундах:
     • значение 0 отключает кеширование;
     • используется для снижения нагрузки при повторных запросах.
   • Использовать тренды — Включено / Выключено. Тренды применяются для оптимизации работы с длительными временными интервалами.
   • Тренды используются для запросов данных старше (дней) — если указано значение (от 1 до 30), то для выборок за период, превышающий это количество дней, данные берутся из таблиц трендов.
   • Тренды используются для запросов данных диапазоном больше (дней) — если диапазон выборки превышает заданное значение (от 1 до 7 дней), то Система будет использовать данные трендов.
   • Максимальное количество измерений запроса истории/трендов — ограничение на количество точек данных, возвращаемых при запросе:
     • Допустимый диапазон: от 0 до 500 000.
     • Значение 0 означает отсутствие ограничения, но может привести к переполнению памяти адаптера и усечению графиков в середине диапазона.