Условие
- Текущий размер файлов: 1 Пб
- Формат данных: zip-архивы (внутри множество file.jpeg + 1 meta.csv с метаданными: тема, ширина, высота)
- Местоположение: S3
- Структура: в одном zip-архиве случайно лежат разные темы и размеры
- Возможны дубликаты и битые картинки
- Размер одной темы: примерно 100 Gb
- Нагрузка на систему: примерно 1 Тб в сутки (синхронизация бакетов — примерно 2 часа)
- Cloud в распоряжении
- Рост данных: ожидается до 10 Тб в сутки
- Добавление модальностей: аудио, видео, тексты
1. Задача: Спроектировать…