Ответ
В моей текущей команде мы работаем по гибридной модели, сочетающей элементы Agile/Scrum.
Организация процесса:
- Спринты: Двухнедельные итерации с планированием, ежедневными стендапами, демо и ретроспективой.
- Гибридный график: 2-3 дня в неделю в офисе для синхронной работы (планирование, воркшопы, сложные обсуждения архитектуры), остальное время — удаленно для фокусированной работы.
- Коммуникация: Основные инструменты — Slack для оперативных вопросов, Zoom для встреч, Jira для трекинга задач, Confluence для документации.
- Работа с кодом: GitFlow-подобный процесс с code review в GitHub/GitLab, обязательными CI/CD пайплайнами (линтеры, тесты, деплой в staging).
Как это выглядит на практике для меня как Data Engineer:
- На планировании спринта мы с командой (продукт-менеджер, аналитики, другие инженеры) разбираем бэклог, оцениваем задачи по подготовке данных, интеграции новых источников или оптимизации.
- Мои задачи часто связаны с написанием/доработкой DAG в Airflow, разработкой Spark-джобов или сложных SQL-трансформаций.
- Я активно участвую в проектировании: перед реализацией новой витрины мы проводим сессию, где рисуем схему данных, обсуждаем гранулярность и частоту обновления.
- Удаленные дни я использую для углубленной работы над кодом, а офисные — для коллаборации, whiteboarding сессий по архитектуре и помощи коллегам.
Ответ 18+ 🔞
Давай я тебе на пальцах объясню, как у нас тут всё устроено, а то звучит как какая-то корпоративная пиздопроебина, а на деле всё проще.
Как мы, собственно, работаем:
Ну, в общем, сидим мы по этой вашей гибридной модели. Это когда начальство хочет, чтобы ты и в офисе был, и дома работал, в общем, яблочко от яблони. По факту — два-три дня в неделю тащимся в офис, чтобы посидеть в тех же зумах, но за другими столами, ёпта. Зато можно впендюрить коллеге по архитектуре прямо на маркерной доске, это да.
-
Спринты: Каждые две недели — цирк с конями. Планирование, где мы пытаемся угадать, сколько всего успеем сделать, пока не накрылись медным тазом. Каждый день стендап, где все рассказывают, что вчера сделали, а сегодня будут делать то же самое, только дольше. Потом демо — показываем, что получилось (обычно получается не всё). И ретро — где все дружно говорим, что надо работать лучше, а на следующем спринте делаем ровно так же. Ёперный театр, но привыкнуть можно.
-
Инструменты: Slack — чтобы тебя могли дернуть в любое время с вопросом «какого хуя это падает?». Zoom — для встреч, где все молчат, а один говорит. Jira — священное цифровое стойло для задач, куда все тыкают пальцем. Confluence — свалка документации, которую никто не читает, пока всё не сломается.
-
С кодом: Тут строже. У нас свой процесс, похожий на GitFlow. Сделал таску — создал ветку, отправил на ревью. А там уже сидят коллеги и вглядываются в каждый твой коммит, как ядрёна вошь. CI/CD пайплайн — это наш страж у ворот: линтер, тесты, деплой на тестовый стенд. Если что-то не так — хуй с горы, всё красное, иди чини. Без этого никак.
А теперь, как это выглядит для меня, Data Engineer-а:
-
Планирование спринта. Собираемся все: продакт, аналитики, мы, инженеры. Смотрим в бэклог — овердохуища всего. Начинаем жевать: «Эта интеграция нового источника данных — это на две недели или на месяц?». Аналитики обещают золотые горы, мы пытаемся приземлить их фантазии на грешную землю SQL и Python. Подозрение ебать чувствую, что сроки опять оптимистичные.
-
Моя работа. Чаще всего это или новые DAG-и для Airflow (чтобы всё само запускалось по расписанию, как швейцарские часы, ага), или какие-нибудь Spark-джобы, которые жрут память как не в себя, или адские SQL-запросы на три экрана. Сидишь, бывает, весь день, уставившись в монитор, и думаешь: «Ну почему эта хуйня не джойнится?». Э, бошка, думай!
-
Проектирование. Прежде чем городить новую витрину данных, проводим сессию. Рисуем схемы, стрелочки, обсуждаем, откуда что брать, как часто обновлять. Это, кстати, самая адекватная часть. Потому что если на этом этапе накосячить — потом будет хитрая жопа на этапе реализации. Лучше десять раз обсудить.
-
Офис vs Дом. Удалённые дни — это святое. Надел наушники, отключил все уведомления, кроме самых важных, и погрузился в код. Можно спокойно разобраться с сложной логикой. Офисные дни — это про общение. Помахать руками у доски, когда объясняешь, как работает новый пайплайн. Помочь джуну, который сам от себя охуел, глядя на ошибку. Или просто быстро решить вопрос «в троих», подойдя к коллеге.
Вот так и живём. Не идеально, иногда терпения ноль ебать, когда что-то ломается в пятницу вечером. Но в целом — рабочий процесс. Главное, чтобы кофе был, а там как-нибудь.