Какие инструменты мониторинга приложений используются и для каких задач?

А, ну ты про мониторинг, да? Ну это ж святое дело, блядь! Без этого ты как слепой кот в подвале — только на звук и запах ориентируешься, а потом бац — и сервак лег, а ты нихуя не понял, почему. Слушай сюда, разложу по полочкам, как это у умных людей устроено.

Prometheus + Grafana — это типа база и глаза, блядь.

• Prometheus — это такой занудный бухгалтер, который ходит по всем твоим сервисам и постоянно спрашивает: «Ну что, сколько там запросов? А память? А процессор?». Он всё это аккуратно записывает в свою толстенную книгу (временные ряды, ёпта). Модель у него — pull, то есть он сам приходит и забирает метрики. Не жди, пока к тебе придут, сам иди и собирай, вот его философия.
• Grafana — это уже художник, который берет эти скучные цифры из книг Prometheus и рисует из них такие красивые графики и дашборды, что аж глаз радуется. Зашел, глянул — и сразу видно, где всё хорошо, а где уже начинает пиздец намечаться.

Как это прикрутить? Ну, надо поставить на все машины node_exporter — это такой стукач, который сливает Prometheus-у всё про систему. Для базы данных — свой стукач, postgres_exporter. А в своё приложение ты должен встроить библиотечку, типа prometheus_client для Python, и начать ей рассказывать про всё, что происходит.

Вот, смотри, как это примерно в коде выглядит, чтоб ты понимал масштаб:

from flask import Flask
from prometheus_client import Counter, generate_latest, start_http_server
import time

app = Flask(__name__)

# Заводим счётчик, блядь. Будем считать все запросы, как в магазине.
REQUEST_COUNT = Counter(
    'app_requests_total', # Имя метрики, чтоб Prometheus понял
    'Total HTTP requests to the application', # Описание для людей
    ['method', 'endpoint'] # Метки, чтоб различать: GET /api или POST /admin
)

@app.route('/')
def index():
    # Как только кто-то зашёл на главную — чик, счётчик увеличили.
    REQUEST_COUNT.labels(method='GET', endpoint='/').inc()
    return "Hello, World!"

@app.route('/metrics')
def metrics():
    # А это специальная дырка, куда Prometheus будет приходить и забирать все эти цифры.
    return generate_latest(), 200, {'Content-Type': 'text/plain; version=0.0.4; charset=utf-8'}

if __name__ == '__main__':
    # Запускаем сервачок для метрик на порту 8000, отдельно от приложения.
    start_http_server(8000)
    # А само приложение пускай работает на 5000.
    app.run(port=5000)

Sentry — это стукач на ошибках, хитрая жопа.

Его задача — сидеть в твоём приложении и ждать, когда что-то пойдёт не так. Как только вылезет какая-нибудь Exception — он её хвать, и сразу тебе в телегу или слак: «Э, дружок-пирожок, у тебя тут в рот меня чих-пых, на продакшене NullPointerException выскочил!». И не просто кричит, а прикладывает полный отчёт: стектрейс, значения переменных, кто пользователь был — всё, как на блюдечке. Без него ты будешь как Герасим из «Муму» — только «Му-му» мычать, когда продакшен упал, а нихуя не понять, почему.

ELK-стек (Elasticsearch, Logstash, Kibana) — это архив и сыщик для логов.

• Elasticsearch — это склад, куда скидываются все логи, все записи, всё-всё. Искать там можно овердохуища быстро.
• Logstash — это грузчик и сортировщик. Он берёт сырые логи из файлов, с серверов, откуда угодно, может их почистить, разобрать на части (парсинг, ёпта) и аккуратно укладывает на склад в Elasticsearch.
• Kibana — это следователь, который приходит на склад, находит нужные логи и строит из них картину преступления. Кто, когда и что натворил. Дашборды там, графики по логам — красота.

Alertmanager — это паникёр и рассыльщик.

Prometheus сам по себе только собирает метрики и может по правилам сказать: «Ой, что-то память под 95%». Но кричать-то всем надо? Вот Alertmanager — это такой диспетчер, который берёт эти крики от Prometheus, умно их обрабатывает (группирует, чтобы не спамить, подавляет, если одно и то же), и потом уже рассылает дежурным: в Slack, в Telegram, на почту, да хоть в факс. Без него алерты будут как тараканы — побегут все сразу и непонятно, на какой первый давить.

Вот примерно так, блядь. Собираешь эту связку, и у тебя появляется сначала волнение ебать, потому что ты ВСЁ видишь, а потом спокойствие, потому что ты ВСЁ контролируешь. Почти всё.