Писал ли сервисы для развертывания ML-моделей?

А, ну это ж моя тема, блядь! Я как раз production-сервисы для этих ваших ML-моделей и пилил. Тут, конечно, ёпта, не просто скрипт на коленке запилить, а чтобы всё летало и не падало.

Основной мой инструментарий — это FastAPI или Flask для REST API, Docker, чтобы всё в контейнеры запихнуть, и Kubernetes, чтобы этой всей овердохуищей контейнеров управлять.

Вот, смотри, как обычно выглядит сервис на FastAPI:

from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
import joblib
import numpy as np

app = FastAPI()
model = joblib.load('model.pkl')

class PredictionRequest(BaseModel):
    features: list[float]

@app.post("/predict")
async def predict(request: PredictionRequest):
    try:
        features_array = np.array(request.features).reshape(1, -1)
        prediction = model.predict(features_array)
        return {"prediction": prediction.tolist()[0]}
    except Exception as e:
        raise HTTPException(status_code=400, detail=str(e))

А теперь, чувак, самое важное — это не сам код, а то, что вокруг него. Без этого — пизда рулю и сервис накроется медным тазом через пять минут после продакшена.

Что я всегда настраиваю, чтобы не было потом волнения ебать:

• Мониторинг: Обязательно цепляю Prometheus, чтобы метрики тянуть — задержки, нагрузку, ошибки всякие. Потом в Grafana дашборды леплю, чтобы одним глазком глянуть и понять, всё ли в порядке, или уже пора бежать и тушить.
• Логирование: Не абы какие print-ы, а нормальные структурированные логи через structlog или loguru. Чтобы потом, если что-то пошло не так, можно было по request_id весь путь запроса восстановить, а не гадать на кофейной гуще.
• Валидация: Это святое, блядь. Через Pydantic всё жёстко проверяю, чтобы в модель не прилетела какая-нибудь хуйня вместо цифр. А то моделька офигеет и отправит всех в глубокую жопу.
• Облака: С этим тоже работал — и AWS SageMaker Endpoints, и Azure ML Online Endpoints. Там ещё классно A/B-тесты можно крутить, новую модельку подсунуть и посмотреть, не обосрётся ли она по сравнению со старой. В общем, чтобы не просто выкатить, а выкатить с умом.

Короче, задача — сделать так, чтобы этот чёртов «интеллект» не только думал, но и стабильно работал, а не был хитрой жопой, которая падает от каждого чиха.