ProCloud Yandex
20.11.2026
читать 15 минут

Как развернуть стек Prometheus + Grafana + Node Exporter для мониторинга облачных серверов

/upload/iblock/309/zxhx2wcjc6c5akf0pcgkb0k1f14z6ed1/scale_2400.jpg

Метрики - один из важнейших компонентов observability. Если об аварии вам сообщает не внутренняя система, а клиенты - пора задуматься о том, чтобы переработать систему мониторинга. Вначале может показаться, что развёртывание и настройка такого стека в облаке ничем не отличается от аналогичной в традиционной инфраструктуре. Но это только на первый взгляд. В этой статье мы проведём вас через весь воркфлоу, а также дадим полезные советы на что обратить внимание для эффективной работы.

Подготовка инфраструктуры

Выбор конфигурации

Прежде всего нужно определиться с окружением. Если у вас тестовая или dev-среда, то вам нет нужды распределять компоненты стека по разным узлам. Достаточно поместить их на один облачный сервис и корректно настроить взаимодействие. Если виртуальный сервер по каким-то причинам упадёт, то весь стек ляжет. Опять же в тестовой среде это неприятно, но не страшно.

Параметр Минимальные Рекомендуемые
CPU 2 vCPU 4 vCPU
RAM 4 GB 8 GB
Storage 50 GB SSD 100 GB NVMe SSD

Обычно 2 vCPU вполне достаточно, чтобы собирать метрики с небольшого количества таргетов с промежутком 15-30 секунд. Также этого хватит для рендеринга простых дашбордов c низким количеством хранимых и индексируемых временных рядов.

Требования к памяти обусловлены как раз тем, что индекс держится в RAM и чем больше становится метрик, тем больше занимаемый объём. При превышении демон вначале начнёт использовать раздел подкачки (что означает резкое снижение производительности), а затем процесс будет “убит” OOM-киллером.

Также важно будет правильно выбрать стратегию хранения Retention - это срок хранения сырых временных рядов в локальной базе данных. В реальной эксплуатации один активный хост с Node Exporter способен сгенерировать от 300 MB до 500 MB данных за 30 дней (играет роль количество метрик и scrape-интервал). Для тестового окружения будет вполне достаточно промежутка в 7-15 дней.

В продакшен-окружении не рекомендуется помещать весь стек на одну виртуальную машину. Отказ единственного узла лишит вас мониторинга в тот момент, когда он больше всего необходим. В минимальном варианте разделение можно реализовать следующим образом:

  • Prometheus VM - собирает метрики, выполняет PromQL-запросы и управляет правилами
  • Grafana VM - визуализирует собранные данные
  • Node Exporter - ставится на каждую облачную машину, которую требуется мониторить
  • Alertmanager - принимает алерты от Prometheus, может быть установлен с ним на одной VM

Как развернуть стек Prometheus + Grafana + Node Exporter для мониторинга облачных серверов

В подобной схеме Grafana не хранит собираемые метрики - она лишь подключается к Prometheus как к источнику данных и выполняет к нему запросы для построения дашбордов. Если по каким-то причинам VM с Grafana упадёт, то это никак не повредит истории метрик.

Только падение Prometheus может вызвать недоступность локальных исторических данных, поэтому на “боевой” инфраструктуре часто держат несколько идентично настроенных экземпляров Prometheus, которые собирают одни и те же данные. Это позволяет пережить падение одного инстанса, а Alertmanager при этом умеет работать в кластере, что повышает доступность системы уведомлений.

Дисклеймер: несколько инстансов Prometheus не образуют единую распределённую TSDB: каждый экземпляр хранит собственную копию данных. Для долгосрочного хранения и единой точки запросов обычно используют отдельные решения вроде Thanos, Mimir или VictoriaMetrics. В рамках этой статьи мы их рассматривать не будем.

Что же до характеристик виртуальных машин, то для боевой среды на 10-50 виртуальных машин  с Node Exporter и scrape-интервалом 15-30 секунд в качестве отправной точки разумно выбрать конфигурацию 4 vCPU / 8 GB RAM / 100 GB NVMe SSD.

Создание пользователя

По умолчанию создаваемые в ProCloud облачные серверы дают вам доступ суперпользователя root. С одной стороны это полный контроль, но одновременно дыра в безопасности и риск что-либо испортить. Поэтому рекомендуем сразу создать отдельного пользователя:

useradd -m -s /bin/bash monitor

Новый пользователь по умолчанию не имеет пароля, так что его стоит задать:

passwd monitor

Чтобы выполнять административные задачи добавим его в группу sudo:

usermod -aG sudo monitor

Переход на авторизацию по SSH-ключу

Если при создании сервера вы выбрали парольную аутентификацию, то вы сразу же оказываетесь под прицелом целой армии ботов, непрерывно сканирующих IP-адреса и пытающихся выполнить брутфорс-атаку на целевой хост. Базовое противодействие выглядит как полный отказ от аутентификации по паролю и использование для этих целей SSH-ключа. Если вы никогда этого не делали - ничего страшного.

На локальной машине генерируем новую пару ключей:

ssh-keygen -t ed25519 -C "monitor@node1" -f ~/.ssh/id_ed25519_node1

В результате будет создано два файла:

  • ~/.ssh/id_ed25519_node1 - приватный ключ;
  • ~/.ssh/id_ed25519_node1.pub - публичный ключ.

Приватный ключ не должен покидать машину на котором он был сгенерирован, а вот публичную часть можно скопировать на сервер:

ssh-copy-id -i ~/.ssh/id_ed25519_node1.pub monitor@10.0.0.11

Утилита сама добавит его в ~/.ssh/authorized_keys пользователя monitor и выставит нужные права доступа. Теперь можно смело входить по ключу:

ssh -i ~/.ssh/id_ed25519_node1 monitor@10.0.0.11

Отключение парольной авторизации

Финальным этапом давайте закроем потенциальную лазейку, полностью отключив SSH доступ по паролю и выключив саму возможность подключения под именем суперпользователя. После этого единственным способом попасть на сервер будет приватный ключ ранее созданного пользователя.

Важно! Перед началом не закрывайте текущую SSH-сессию до завершения всех манипуляций этого раздела. Откройте второе окно терминала и убедитесь, что в нём работает вход по ключу непривилегированным пользователем и sudo-команды доступны. Это будет единственным вариантом сохранить доступ, если в процессе конфигурирования будет допущена ошибка!

Если на обычном (не облачном) сервере мы бы просто отредактировали файл /etc/ssh/sshd_config, то начиная с Ubuntu 22.04 LTS в верхней части этого конфига стоит директива:

Include /etc/ssh/sshd_config.d/*.conf

Облачные провайдеры пользуются этим для того, чтобы устанавливать пользовательские значения пароля и прочие параметры, позволяющие управлять сервером из собственной консоли. ProCloud при создании сервера закидывает туда конфиг 99-root-ssh.conf с помощью механизма Cloud-Init и там прописаны директивы:

/etc/ssh/sshd_config.d/99-root-ssh.conf:1:PermitRootLogin yes
/etc/ssh/sshd_config.d/99-root-ssh.conf:2:PasswordAuthentication yes
/etc/ssh/sshd_config.d/99-root-ssh.conf:3:KbdInteractiveAuthentication yes
/etc/ssh/sshd_config.d/99-root-ssh.conf:4:ChallengeResponseAuthentication yes
/etc/ssh/sshd_config.d/99-root-ssh.conf:5:UsePAM yes

Смысла воевать с этим нет никакого, проще положить свой собственный drop-in с меньшим числовым префиксом. Демон sshd использует логику “выигрывает первое встреченное значение параметра”, а следовательно это даёт нам возможность перебить облачные директивы собственными:

sudo tee /etc/ssh/sshd_config.d/10-hardening.conf > /dev/null <<'EOF'
# Запрещаем любые подключения под root, включая вход по ключу
PermitRootLogin no

# Отключаем парольную аутентификацию
PasswordAuthentication no

# Закрываем парольный вход через PAM
KbdInteractiveAuthentication no

# Включаем аутентификацию по ключам
PubkeyAuthentication yes
EOF

И напоследок не забываем про права доступа:

sudo chmod 600 /etc/ssh/sshd_config.d/10-hardening.conf

По итогу префиксом 10- мы перебиваем префикс 99- и это даёт возможность полностью убрать влияние значений из CloudInit. Рестартуем демона:

sudo sshd -t && sudo systemctl reload ssh

Установка стека

Начнём с самого простого варианта - классической установки бинарников и управление ими через systemd. Несмотря на общее мнение, что подобные системы должны развёртываться в контейнерах, этот метод имеет вполне конкретные преимущества, особенно для агентов для сбора метрик.

Node Exporter работает напрямую на хостах и ему доступны все директории без прохождения через абстракции. Без контейнеров сильно упрощается настройка сети и файервола. Ну а systemd позволяет создать тонкую “песочницу” на уровне ядра для каждого запущенного сервиса.

Но есть и существенный минус. Если обновление пары десятков или сотен контейнеров на практике всего лишь будет поменять тег и выполнить docker-compose up -d, то здесь придётся как раскладывать новые исполняемые файлы, так и перезапускать юниты. Причём желательно это делать не вручную, а с помощью системы управления конфигурациями.

Стартовая дилемма - ставить из системного репозитория или скачивать отдельные бинарники? Первый способ хорош тем, что всё будет просто работать, но есть нюанс - версии пакетов замораживаются на момент выхода релиза, а затем получают только обновления безопасности.

Prometheus активно развивается, так что всё-таки имеет смысл брать его сборки напрямую из GitHub. В то же время у Grafana есть собственный APT-репозиторий, через который все обновления приходят штатным путём. Тут уже нет смысла усложнять.

Node Exporter

Вместо того, чтобы сразу настраивать сборщик метрик, имеет смысл настроить хосты. Будем ориентироваться на то, что везде свежая Ubuntu 26.04 (на момент выхода статьи).

В качестве IP-адреса мы указываем 10.0.0.11 исключительно для примера. Это значение вам нужно заменить на ваш внешний IP-адрес. Это даст возможность построить систему, где метрики можно безопасно собирать извне. Если такое не требуется, то внешний адрес можно в любой момент заменить на приватный адрес и при этом не менять общую архитектуру.

Прежде всего понадобится создать системного пользователя от имени которого будет работать Node Exporter. Ему не нужен домашний каталог или возможность логина, поэтому:

sudo useradd --system --no-create-home --shell /usr/sbin/nologin node_exporter

Скачиваем релиз:

VER=1.12.1 curl -fsSLO https://github.com/prometheus/node_exporter/releases/download/v${VER}/node_exporter-${VER}.linux-amd64.tar.gz

Вместе с тарболлом скачиваем контрольные суммы - это базовая гигиена, поскольку речь идёт об установке бинарника с правами на чтение всей системы:

curl -fsSLO https://github.com/prometheus/node_exporter/releases/download/v${VER}/sha256sums.txt

Сверяем контрольную сумму:

grep "node_exporter-${VER}.linux-amd64.tar.gz" sha256sums.txt | sha256sum -c

Теперь, когда мы убедились, что исполняемые файлы не подменены, пора распаковать архив:

tar xzf node_exporter-${VER}.linux-amd64.tar.gz

Устанавливаем в систему от имени суперпользователя:

sudo install -o root -g root -m 0755 node_exporter-${VER}.linux-amd64/node_exporter /usr/local/bin/ sudo mkdir -p /etc/node_exporter /var/lib/node_exporter/textfile sudo chown -R node_exporter:node_exporter /var/lib/node_exporter

Пора позаботиться о том, чтобы соединение между Prometheus и Node Exporter было защищённым.

Сразу оговоримся, что для примера мы воспользуемся генерацией единичных сертификатов. Но если у вас большое количество виртуальных машин, то имеет смысл поднять небольшой Private PKI, сгенерировать собственный корневой сертификат и подписывать им выдаваемые сертификаты. Всё это уже выходит за рамки этого гайда.

sudo openssl req -x509 -nodes -newkey rsa:2048 -sha256 -days 825 \
  -keyout /etc/node_exporter/node1.key \
  -out /etc/node_exporter/node1.crt \
  -subj "/CN=node1" \
  -addext "subjectAltName=IP:10.0.0.11,DNS:node1" \
  -addext "keyUsage=critical,digitalSignature,keyEncipherment" \
  -addext "extendedKeyUsage=serverAuth"

Проверка расширений:

sudo openssl x509 -in /etc/node_exporter/node1.crt -noout -text | grep -A1 'Subject Alternative Name'

Не забываем про права:

sudo chown root:node_exporter /etc/node_exporter/node1.key sudo chmod 640 /etc/node_exporter/node1.key sudo chmod 644 /etc/node_exporter/node1.crt

Чтобы не размещать пароль в открытом виде, можно преобразовать его в хэш bcrypt:

sudo apt install -y apache2-utils htpasswd -nBC 12 "" | tr -d ':\n'

Создаём дополнительную конфигурацию: 

sudo nano /etc/node_exporter/web-config.yml: tls_server_config:
  cert_file: /etc/node_exporter/node1.crt
  key_file: /etc/node_exporter/node1.key
  min_version: TLS12

basic_auth_users:
  prometheus: 'your_bcrypt_hash_here'

Теперь делаем unit для systemd:

sudo nano /etc/systemd/system/node_exporter.service [Unit]
Description=Prometheus Node Exporter
Documentation=https://github.com/prometheus/node_exporter
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
User=node_exporter
Group=node_exporter
ExecStart=/usr/local/bin/node_exporter \
  --web.listen-address=10.0.0.11:9100 \
  --web.config.file=/etc/node_exporter/web-config.yml \
  --collector.textfile.directory=/var/lib/node_exporter/textfile \
  --collector.filesystem.mount-points-exclude=^/(dev|proc|sys|run/credentials/.+)($|/)
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
RestartSec=5s

# Sandbox
NoNewPrivileges=true
CapabilityBoundingSet=
ProtectSystem=strict
ProtectHome=read-only
PrivateTmp=true
ProtectKernelTunables=true
ProtectKernelModules=true
ProtectControlGroups=true
RestrictAddressFamilies=AF_INET AF_INET6 AF_UNIX
RestrictNamespaces=true
RestrictSUIDSGID=true
LockPersonality=true
MemoryDenyWriteExecute=true
SystemCallArchitectures=native
SystemCallFilter=@system-service
SystemCallFilter=adjtimex clock_adjtime
SystemCallErrorNumber=EPERM

[Install]
WantedBy=multi-user.target

Тут стоит немного пояснить. Внутри мы добавили множество дополнительных директив, которые выглядят как бездумная копипаста из чужих гайдов, однако каждая из них позволяет ограничить работу Node Exporter таким образом, чтобы снизить потенциальную поверхность атаки. Давайте коротко по ним пройдёмся:

NoNewPrivileges=true
CapabilityBoundingSet=

В первой строке мы явно прописываем запрет процессу и его потомкам получать новые привилегии. Вторая обнулит набор capabilities, поскольку экспортеру не нужен ни один из них для нормальной работы.

ProtectSystem=strict
ProtectHome=read-only
PrivateTmp=true

При своей работе Node Exporter никуда и ничего не пишет, поэтому мы монтируем всю файловую систему на чтение, кроме /dev, /proc и /sys. Здесь было бы логично ProtectHome выставить в более жёсткое ограничение true, но это бы привело к тому, что /home, /root и /run/user были бы подменены пустыми значениями, а следовательно коллектор начал бы передавать некорректные данные.

ProtectKernelTunables=true
ProtectKernelModules=true
ProtectControlGroups=true

Строки выше включают защиту ядра. Чтение, загрузка и выгрузка модулей теперь явно запрещена, а иерархия cgroups защищена от записи. Опять же экспортер лишь читает эти значения, а следовательно на его штатную работу это не повлияет.

RestrictAddressFamilies=AF_INET AF_INET6 AF_UNIX
RestrictNamespaces=true
RestrictSUIDSGID=true
LockPersonality=true
MemoryDenyWriteExecute=true
SystemCallArchitectures=native

Тут мы убираем всю экзотику, которую атакующие могут использовать. Демону Node Exporter по определению не нужно создавать пространства имён, создавать SUID/SGID-файлы, изменять personality или управлять страницами памяти с правом записи. Последнее, кстати прекрасно ломает JIT-компиляцию, но приложениям на Go не мешает. А финальное SystemCallArchitectures=native убережёт от классического способа обхода seccomp-фильтра через обращение к тому же вызову из 32-битного пространства.

SystemCallFilter=@system-service
SystemCallFilter=adjtimex clock_adjtime
SystemCallErrorNumber=EPERM

Три финальные директивы - одни из самых важных. Первая формирует “белый список” - набор системных вызовов, доступных демону. В случае Node Exporter @system-service подходит, однако в него не входит два нужных коллектору (timex) вызова - adjtimex и clock_adjtime. Их мы добавляем точечно.

Ну и на сладкое SystemCallErrorNumber=EPERM. Обычная логика seccomp при попадании в запрещённый вызов - немедленное “убийство” процесса через SIGSYS. При этом выглядеть всё будет издевательски - systemctl будет рапортовать зелёным, а падение будет ровно в тот момент, когда к нему обращается Prometheus. Выставленное значение EPERM лишь сообщит ошибку, оставив процесс в рабочем состоянии - то есть в логах мы увидим чего ему не хватило и сможем принять меры.

Дело за малым - перезапустить демон и запустить его:

sudo systemctl daemon-reload sudo systemctl enable --now node_exporter

Проверяем, что всё взлетело:

sudo systemctl status node_exporter

Чтобы убедиться в правильности наших действий воспользуемся встроенной в systemd утилитой аудита:

sudo systemd-analyze security node_exporter.service

Она выставит юниту уровень экспозиции от 0 до 10, где меньше - лучше. Добиваться идеального нуля смысла нет: приемлемым считается значение ниже 5, а всё, что укладывается в 2-3, уже вполне серьёзно проработанный сервис с точки зрения безопасности:

→ Overall exposure level for node_exporter.service: 2.6 OK

Осталось проверить, что экспортер доступен извне. Копируем сертификат из директории приложения в домашнюю директорию пользователя monitor:

sudo cp /etc/node_exporter/node1.crt /home/monitor/node1.crt

Меняем владельца:

sudo chown monitor:monitor /home/monitor/node1.crt

И забираем с локальной машины по scp:

scp -i ~/.ssh/id_ed25519_node1 \ monitor@10.0.0.11:~/node1.crt ~/node1.crt

После успешного копирования удаляем временный файл с сервера:

ssh -i ~/.ssh/id_ed25519_node1 monitor@10.0.0.11 'rm ~/node1.crt'

Теперь дёргаем curl’ом с локальной машины:

curl -sS --cacert ~/node1.crt \
  -u prometheus:<пароль> https://10.0.0.11:9100/metrics | grep -c '^node_'

Альтернативно можно открыть браузер и зайти по адресу:

https://10.0.0.11:9100/metrics

Такую операцию необходимо проделать для всех машин, которые планируется мониторить. Вручную это делать сложно, поэтому проще написать какой-нибудь плейбук для Ansible. Далее переходим непосредственно к настройке связки из Prometheus + Grafana.

Prometheus

Как мы упоминали выше - сборщик метрик мы возьмём напрямую из GitHub. Но перед этим точно также позаботимся о безопасности и создадим отдельного пользователя:

sudo useradd --system --no-create-home --shell /usr/sbin/nologin prometheus

Скачиваем актуальную версию (3.14.0 на момент написания этой статьи):

VER=3.14.0 curl -fsSLO https://github.com/prometheus/prometheus/releases/download/v${VER}/prometheus-$VER.linux-amd64.tar.gz

Не забываем и о контрольных суммах:

curl -fsSLO https://github.com/prometheus/prometheus/releases/download/v${VER}/sha256sums.txt

Сверяем:

grep "prometheus-${VER}.linux-amd64.tar.gz" sha256sums.txt | sha256sum -c

Теперь распаковываем полученный тарболл, переходим в директорию и ставим два бинарника. Первый - сам исполняемый файл prometheus, а второй утилита для проверки конфигурации promtool:

tar xzf prometheus-${VER}.linux-amd64.tar.gz cd prometheus-${VER}.linux-amd64 sudo install -o root -g root -m 0755 prometheus promtool /usr/local/bin/

Готовим каталоги под размещение конфигурации и данных:

sudo mkdir -p /etc/prometheus/tls /var/lib/prometheus sudo chown -R prometheus:prometheus /var/lib/prometheus

В первую директорию помещаем сертификат узла, который мы забрали в процессе настройки node1. Поскольку сертификат самоподписанный - он сам выступает и в роли корня, и в роли себя.

sudo install -o root -g prometheus -m 0644 ~/node1.crt /etc/prometheus/tls/

Опять же - пока узлов мало, можно каждый из них добавить, но когда их станет больше десятка - имеет смысл развернуть Private PKI - в этом случае достаточно будет добавить самоподписанный корень на все таргеты.

Пароль выносим за пределы основного конфига:

printf '%s' 'ваш_пароль' | sudo tee /etc/prometheus/scrape_password > /dev/null

Увы, но если на стороне экспортера мы можем использовать bcrypt-хэш, тот тут, увы, пароль будет лежать открытым текстом. В наших силах лишь ограничить круг тех, кому файл будет доступен на чтение:

sudo chown root:prometheus /etc/prometheus/scrape_password sudo chmod 640 /etc/prometheus/scrape_password

Теперь создаём минимальный конфиг для Prometheus:

sudo nano /etc/prometheus/prometheus.yml global:
  scrape_interval: 15s
  scrape_timeout: 10s

scrape_configs:
- job_name: node
    scheme: https
    tls_config:
      ca_file: /etc/prometheus/tls/node1.crt
    basic_auth:
      username: prometheus
      password_file: /etc/prometheus/scrape_password
    static_configs:
      - targets: ['10.0.0.11:9100']
        labels:
          env: prod
          role: web

Такой пример уже будет полностью рабочим - он собирает метрики с первого узла по защищённому HTTPS-соединению. Обратите внимание, что метки нужны почти всегда - без них писать осмысленные запросы, независимые от IP-адресов или имён хостов, будет сложнее.

Пока узлов немного и они статичные - их можно отредактировать руками. Простейший шаг в сторону автоматизации, изменить static_configs на file_sd_configs:

    file_sd_configs:
      - files:
          - /etc/prometheus/targets/*.json
        refresh_interval: 30s

Демон будет перечитывать файлы по указанной маске при любом изменении, не требуя перезапуска. Используется формат JSON:

[
  {
    "targets": ["10.0.0.11:9100", "10.0.0.12:9100"],
    "labels": { "env": "prod", "role": "web" }
  }
]

Руками такие файлы создавать бессмысленно - лучше поручить это тому же Ansible или Terraform (через local_file). В некоторых случаях можно вообще обойтись малой кровью и парой десятков строк на Python.

Теперь пришла пора создать юнит systemd, который будет отвечать за запуск и работу демона. Тут мы воспользуемся точно такой же “песочницей”, но с чуть менее жёсткими правилами - всё же Prometheus в отличие от Node Exporter должен писать данные в свою базу:

nano /etc/systemd/system/prometheus.service [Unit]
Description=Prometheus
Documentation=https://prometheus.io/docs/
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
User=prometheus
Group=prometheus
ExecStart=/usr/local/bin/prometheus \
  --config.file=/etc/prometheus/prometheus.yml \
  --storage.tsdb.path=/var/lib/prometheus \
  --storage.tsdb.retention.time=15d \
  --storage.tsdb.retention.size=40GB \
  --web.listen-address=10.0.0.10:9090
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
RestartSec=5s
TimeoutStopSec=120s
LimitNOFILE=65536

# Sandbox
NoNewPrivileges=true
CapabilityBoundingSet=
ProtectSystem=strict
ReadWritePaths=/var/lib/prometheus
ProtectHome=true
PrivateTmp=true
ProtectKernelTunables=true
ProtectKernelModules=true
ProtectControlGroups=true
RestrictAddressFamilies=AF_INET AF_INET6 AF_UNIX
RestrictNamespaces=true
RestrictSUIDSGID=true
LockPersonality=true
MemoryDenyWriteExecute=true
SystemCallArchitectures=native
SystemCallFilter=@system-service
SystemCallErrorNumber=EPERM

[Install]
WantedBy=multi-user.target

Тут видим то, что мы позволяем писать демону в /var/lib/prometheus, а вот ProtectHome ужесточён до true. Сам сборщик не собирает метрики файловых систем, а следовательно и скрывать от него домашние директории можно полностью. Исключения для коллектора timex (adjtimex и clock_adjtime) тут также не нужны.

Чтобы не допустить случайной ошибки в конфигурации, перед изменением имеет смысл валидировать YAML через promtool:

promtool check config /etc/prometheus/prometheus.yml

Далее стандартно - перечитывание конфигов, автозапуск и немедленный старт демона с последующей проверкой статуса:

sudo systemctl daemon-reload sudo systemctl enable --now prometheus sudo systemctl status prometheus

Теперь можно заходить на веб-страницу управления и проверять:

http://10.0.0.10:9090/query

Как развернуть стек Prometheus + Grafana + Node Exporter для мониторинга облачных серверов

На этом этапе порт 9090 временно доступен напрямую, только для проверки. Не оставляйте такую конфигурацию - она не годится для рабочей среды. Ниже мы сразу закроем возможность такого подключения, спрятав Prometheus за reverse-proxy.

Исторически так сложилось, что вначале у Prometheus не было никаких отдельных механизмов аутентификации. Потом, конечно, появилась возможность прикрыть тем же самым --web.config.file, как и на Node Exporter. Но это не лучший выход, поскольку basic auth тут же потребуется прописывать везде - даже если захотите настроить self-scraping, то и самому Prometheus потребуется настраивать конфиг.

Это как раз тот самый момент, когда не обойтись без reverse-proxy. Меняем единственный параметр --web.listen-address=10.0.0.10:9090 в юните systemd на --web.listen-address=127.0.0.1:9090. Этим мы запираем его внутри localhost и убираем доступ снаружи. Теперь ставим Caddy. Вначале проверяем, что у нас есть системные пакеты для работы с репозиторием:

sudo apt install -y curl gnupg

Добавляем GPG-ключ репозитория:

curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/gpg.key' \ | sudo gpg --dearmor -o /usr/share/keyrings/caddy-stable-archive-keyring.gpg

Прописываем в список репозиториев:

curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/debian.deb.txt' \ | sudo tee /etc/apt/sources.list.d/caddy-stable.list

Обновляем кэш пакетов и устанавливаем Caddy:

sudo apt update && sudo apt install caddy

Превращаем пароль в bcrypt:

caddy hash-password

Вводим пароль дважды и получаем строку вида:

$2a$14$jNe61gM7GsJxKrXU3/TPv.MECBKSusdiQiAhdXFLRdwtRC123b6ru

Создаём файл конфигурации:

sudo nano /etc/caddy/Caddyfile https://10.0.0.10> {
    tls internal
    basic_auth {
        admin $2a$14$jNe61gM7GsJxKrXU3/TPv.MECBKSusdiQiAhdXFLRdwtRC123b6ru
    }
    reverse_proxy 127.0.0.1:9090
}

Теперь рестартуем сервис:

sudo systemctl restart caddy

И теперь мы можем достучаться до Prometheus уже по HTTPS с базовой аутентификацией логин/пароль. Не забывайте, что вместо 10.0.0.10 должен фигурировать ваш внешний IP-адрес. Caddy здесь выступает собственной CA, поэтому в браузере всё равно появится предупреждение, которое можно убрать, если добавить корневой сертификат CA Caddy в доверенное хранилище корневых сертификатов на операционной системы или браузера.

Grafana

Осталось позаботиться о визуализации данных. Как уже упоминалось выше нет смысла тянуть отдельные бинарники при условии, что grafana прекрасно ставится из собственного репозитория. Обновления при этом будут доставляться штатным образом, вместе с прочими пакетами операционной системы.

Проверяем, что у нас есть всё необходимое для работы с репозиторием:

sudo apt install -y apt-transport-https software-properties-common wget gpg

Забираем GPG-ключ и добавляем в систему:

wget -q -O - https://apt.grafana.com/gpg.key | gpg --dearmor | sudo tee /etc/apt/keyrings/grafana.gpg > /dev/null

Теперь прописываем репозиторий Grafana, указывая скачанный ключ:

echo "deb [signed-by=/etc/apt/keyrings/grafana.gpg] https://apt.grafana.com stable main" | sudo tee /etc/apt/sources.list.d/grafana.list

Обновляем кэш пакетов и ставим Grafana:

sudo apt update && sudo apt install -y grafana

Перечитываем конфиги демонов systemd:

sudo systemctl daemon-reload

Включаем автозапуск при старте системы вместе с текущим стартом:

sudo systemctl enable --now grafana-server

Проверяем, что сервер поднялся:

curl -s http://127.0.0.1:3000/api/health

Должен быть ответ вроде:

{
  "database": "ok",
  "version": "13.2.0",
  "commit": "f681b1359f6a0b8ecb9f2c49a88ac72b75bde73b"
}

В отличие от предыдущих юнитов тут нет смысла выстраивать собственную песочницу. Демон из коробки уже имеет разумные ограничения:

sudo systemd-analyze security grafana-server.service → Overall exposure level for grafana-server.service: 2.9 OK

Непосредственно за настройку Grafana отвечает огромный конфиг, живущий по адресу /etc/grafana/grafana.ini. Разбирать его в рамках одной статьи не имеет смысла, поэтому заострим внимание на точечных правках (не забудьте снять точку с запятой перед каждой меняемой строкой):

[server]
http_addr = 127.0.0.1
http_port = 3000
root_url = https://10.0.0.10:8443/

[security]
cookie_secure = true
disable_gravatar = true

[users]
allow_sign_up = false

[analytics]
reporting_enabled = false
check_for_updates = false

Работает точно такая же логика, как и с Prometheus - мы не будем выставлять всё наружу, а прикроем сервис через установленный Caddy, даже несмотря на то, что у Grafana есть встроенный механизм авторизации. Лишний раз светить портом 3000 в глобальную сеть не стоит. При первом входе используются реквизиты admin/admin, которые сразу же будет предложено поменять на собственные.

Также обратите внимание на параметр root_url - его система использует, чтобы строить ссылки внутри интерфейса. Если настроен неправильно - получите битые редиректы и не кликабельные ссылки в письмах с уведомлениями. Порт 8443 также выбран не просто так - 443 уже занят Prometheus.

Дело за малым - добавить информацию о сервисе в Caddyfile:

sudo nano /etc/caddy/Caddyfile https://10.0.0.10:8443 {
    tls internal
    reverse_proxy 127.0.0.1:3000
}

Перезапускаем reverse-proxy:

sudo systemctl restart caddy

Приятный бонус - отдельной настройки WebSocket не требуется - Caddy делает это автоматом, в отличие от какого-нибудь nginx. Сейчас в любом гайде вам бы посоветовали идти в интерфейс и там вручную заводить источник данных. Но вот если вы пересоздадите облачную машину, то всё придётся вносить заново. Гораздо проще сразу применить подход IaC и прописать нашу конфигурацию в provisioning:

sudo nano /etc/grafana/provisioning/datasources/prometheus.yml apiVersion: 1

datasources:
- name: Prometheus
    uid: prometheus
    type: prometheus
    access: proxy
    url: http://127.0.0.1:9090
    isDefault: true
    jsonData:
      timeInterval: 15s

Каждый раз, когда Grafana запускается - она читает YAML-файлы из директории /etc/grafana/provisioning/datasources/ а значит конфигурацию можно хранить в git, вместе с прочим кодом инфраструктуры. Читает файлик группа grafana, поэтому владельца и права доступа выставляем следующие:

sudo chown root:grafana /etc/grafana/provisioning/datasources/prometheus.yml sudo chmod 640 /etc/grafana/provisioning/datasources/prometheus.yml

Точно так же подкинем системе конфиг для дашбордов:

sudo nano /etc/grafana/provisioning/dashboards/default.yml apiVersion: 1

providers:
- name: infra
    orgId: 1
    folder: 'Infrastructure'
    type: file
    options:
      path: /var/lib/grafana/dashboards

Изобретать велосипед смысла нет - на grafana.com есть отличный классический вариант для Node Exporter - номер 1860. Делаем отдельную директорию, предварительно указанную в конфиге:

sudo mkdir -p /var/lib/grafana/dashboards

Скачиваем схему дашборда:

sudo curl -fsSL -o /var/lib/grafana/dashboards/node-exporter-full.json https://grafana.com/api/dashboards/1860/revisions/latest/download

И передаём управление директорией группе grafana:

sudo chown -R grafana:grafana /var/lib/grafana/dashboards

Важно - идентификатор uid мы указываем сами, а не отдаём на милость генератора. Тут всё дело в том, что система будет ожидать внутри плейсхолдер ${DS_PROMETHEUS}. В случае ручного импорта сама Grafana бы спросила какой источник данных подставить. Но поскольку у нас всё делается автоматически - придётся позаботиться и об этом. Делается буквально одной командой:

sudo sed -i 's/${DS_PROMETHEUS}/prometheus/g' /var/lib/grafana/dashboards/node-exporter-full.json

Останется лишь перезапустить сервис. Grafana перечитает конфиги и сразу же подготовит всё к работе:

sudo systemctl restart grafana-server

Как развернуть стек Prometheus + Grafana + Node Exporter для мониторинга облачных серверов

Заключение

В конечном итоге мы получили простой, но вполне пригодный к реальной эксплуатации стек мониторинга. Данные на хостах собираются с помощью экземпляров Node Exporter, Prometeus рулит временными рядами и выполняет запросы, а Grafana визуализирует всё это в удобные дашборды. 

Базовые вопросы безопасности закрыты уже на этапе начальной настройки - от тюнинга юнитов systemd с последующей оценкой до встраивания механизмов аутентификации там, где они изначально не были предусмотрены. Все сервисы работают от отдельных пользователей, а обмен данными между компонентами защищён.

Конечно, на этом построение полноценной системы observability не заканчивается. Дальнейшими шагами может стать разработка и добавление правил оповещения, а также автоматизация подключения новых узлов через Ansible или Terraform. По мере масштабирования есть смысл рассмотреть переход к централизованному долгосрочному хранению метрик.

Вне зависимости от конкретного набора инструментов такой стек хорошо отвечает базовому правилу - оставаться доступным когда основная инфраструктура начинает сбоить. Теперь закончившееся место на диске, упавший сервер или аномальный рост нагрузки можно будет засечь ещё до того, как это реально отразится на конечных пользователях.

Новости
13 сентября 202413.09.2024
читать 2 минутычитать 2 мин
Дайджест обновлений продуктов
18 апреля 202418.04.2024
читать 2 минутычитать 2 мин
Дайджест обновлений продуктов Q1
5 апреля 202405.04.2024
читать 1 минутучитать 1 мин
ProCloud CPO Диана Беда в рейтинге ИТ-лидеров от Global CIO
Создать учетную
запись ProCloud
arrow
arrow hover
 
Имя, Фамилия*
Номер телефона
Электронный адрес*
Ваше сообщение*
Файл
Файл
Файл
Файл
Файл
Файл
Файл
Файл
Файл
Файл
Тип формы
ID тикета Zendesk
Продукт
IP
 

Создайте бесплатную учетную запись или напишите нам, чтобы узнать больше.

Нажимая «Отправить заявку» вы даете свое согласие на обработку своих персональных данных