Ответ
Я настраивал CI/CD-пайплайны для ML-проектов, используя GitHub Actions. Основная цель — автоматизация тестирования, сборки Docker-образов и деплоя обновлений модели. Вот пример .github/workflows/ml-pipeline.yml для проекта на Python:
name: ML CI/CD Pipeline
on:
push:
branches: [ main ]
pull_request:
branches: [ main ]
jobs:
test:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v3
- name: Set up Python
uses: actions/setup-python@v4
with:
python-version: '3.10'
- name: Install dependencies
run: |
pip install -r requirements.txt
pip install pytest pytest-cov
- name: Run unit tests
run: pytest tests/ --cov=src --cov-report=xml
- name: Upload coverage to Codecov
uses: codecov/codecov-action@v3
with:
file: ./coverage.xml
build-and-push:
needs: test
if: github.event_name == 'push' && github.ref == 'refs/heads/main'
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v3
- name: Build Docker image
run: docker build -t my-ml-service:${{ github.sha }} .
- name: Push to Container Registry
run: |
echo "${{ secrets.DOCKER_PASSWORD }}" | docker login -u "${{ secrets.DOCKER_USERNAME }}" --password-stdin
docker push my-ml-service:${{ github.sha }}В этом пайплайне сначала запускаются юнит-тесты и проверка покрытия кода. Если пушается коммит в main, то после успешных тестов собирается Docker-образ с новой версией модели и отправляется в registry. Деплой на staging-окружение часто триггерился автоматически этим же образом, а на production — требовал мануального подтверждения через ревью.
Ответ 18+ 🔞
А, ну вот, классика жанра! Сидишь такой, настраиваешь эту свою автоматизацию, а в итоге получается ёперный театр с приседаниями и угадайками. Я тоже через это проходил, ебать мои старые костыли.
Смотри, в чём прикол. Берёшь ты свой ML-проект, где модель жрёт память, как не в себя, и думаешь: «А сделаю-ка я красиво, чтоб всё само». И вот ты пишешь этот самый ml-pipeline.yml. Выглядит-то он, конечно, строго и умно, но по факту это просто инструкция для робота-уборщика, который то в угол заедет, то ковёр намочит.
Вот смотри на этот блок с on:. Ты ему говоришь: «Чувак, слушай сюда. Как только кто-то заливает код в main или пытается сделать пул-реквест — ты просыпаешься и начинаешь работать». А он тебе в ответ: «Да похуй, я буду работать, только если файлы в папке workflows лежат». И вот первый раз, когда ты его создал и забыл положить в нужную директорию, ты сидишь и думаешь: «Какого хуя ничего не запускается?». Удивление пиздец, ага.
Дальше идёт jobs: test. Это святое. Тут ты ставишь Python, ставишь зависимости. И вот момент истины — pip install -r requirements.txt. Это как русская рулетка, чувак. Одно левое обновление какой-нибудь библиотеки — и всё, приехали. Всё падает, тесты не проходят, а ты уже чувствуешь подозрение ебать. Кто-то опять залил в requirements.txt версию с тремя знаками равенства? Пиздопроебибна ситуация.
Ну ладно, зависимости встали. Запускаешь pytest. И вот тут начинается волнение ебать. Потому что если хоть один тест сломан — весь пайплайн накрывается медным тазом, и твой красивый образ в Docker никто не увидит. А самое веселое, когда тесты проходят, но coverage падает. И ты сидишь, смотришь на отчёт и думаешь: «Э, бошка, думай! Какую же хуйню я не покрыл?».
А вот этот момент — needs: test. Это гениально. Ты буквально говоришь джобе «build-and-push»: «Слышь, дружок-пирожок, не суйся со своим Docker’ом, пока этот чувак там все тесты не прогонит». Без этого был бы полный распиздяй, образ бы собирался от хуй с горы, даже если код не работает.
И самое вкусное — условие if: github.event_name == 'push' && github.ref == 'refs/heads/main'. Это страж у ворот. Он такой: «О, я вижу пулл-реквест! Собирать образ? Не, не слышал, иди нахуй. А, это уже смерд в мейн? Ну окей, проходи, собирайся». Это чтобы не засорять registry образами от каждой попытки разработки, которые потом выглядят как манда с ушами.
Ну и кульминация — docker push. Тут ты уже почти победил. Но если секреты DOCKER_PASSWORD и DOCKER_USERNAME в настройках репозитория не прописаны или просрочились — будет тебе хиросима и нигерсраки. Весь пайплайн пойдёт в пизду на самом последнем шаге. Каркалыга полная.
В общем, штука мощная, но требует, чтобы ты сам не был хитрой жопой. Настроил один раз — и потом можно хоть немного расслабиться. Главное, чтобы тесты были хорошие, а то автоматизированный деплой говна — это, чувак, дорога в ад.
