Какие сервисы GCP и AWS вы использовали в работе?

Question

Какие сервисы GCP и AWS вы использовали в работе?

Тип вопроса: Devops Вероятность: 10% Категория: Python Разработчик

Ответ

В своей практике я активно использовал ключевые сервисы в обеих облачных платформах, выбирая их исходя из требований проекта к масштабируемости, управляемости и стоимости.

Google Cloud Platform (GCP):

Compute Engine: Виртуальные машины для запуска приложений и сервисов, аналогично AWS EC2. Используется для гибкого развертывания инфраструктуры.
Cloud Storage: Объектное хранилище для больших объемов неструктурированных данных, аналог AWS S3. Применяется для хранения статических файлов, бэкапов, медиаконтента.
BigQuery: Высокопроизводительное бессерверное хранилище данных для аналитики. Идеально для обработки больших массивов данных и выполнения сложных SQL-запросов.
Pub/Sub: Асинхронная система обмена сообщениями, аналог AWS SQS/SNS. Используется для построения распределенных систем и обработки событий.
Cloud Functions: Бессерверные функции для выполнения кода в ответ на события, аналог AWS Lambda. Подходит для микросервисов и автоматизации задач.
Firebase: Платформа для разработки мобильных и веб-приложений, включающая базы данных, аутентификацию, хостинг и аналитику.

Amazon Web Services (AWS):

EC2 (Elastic Compute Cloud): Виртуальные серверы для вычислительных задач.
Lambda: Бессерверные функции для выполнения кода без управления серверами.
S3 (Simple Storage Service): Объектное хранилище для масштабируемого хранения данных.
RDS (Relational Database Service): Управляемые реляционные базы данных (PostgreSQL, MySQL и др.).
DynamoDB: Высокопроизводительная NoSQL база данных.
SQS (Simple Queue Service), SNS (Simple Notification Service): Сервисы очередей сообщений и уведомлений для асинхронной коммуникации.
CloudWatch: Сервис мониторинга и логирования для ресурсов AWS.
API Gateway: Создание, публикация, обслуживание, мониторинг и защита API.
ECS (Elastic Container Service) / EKS (Elastic Kubernetes Service): Сервисы для оркестрации контейнеров Docker.

Примеры работы с хранилищами данных:

Для работы с AWS S3 часто использую Python-библиотеку boto3:

import boto3

# Инициализация клиента S3
s3 = boto3.client('s3')

# Загрузка файла в S3
try:
    s3.upload_file('local_file.txt', 'my-unique-bucket-name', 'remote_path/file.txt')
    print("Файл успешно загружен в S3.")
except Exception as e:
    print(f"Ошибка при загрузке файла в S3: {e}")

# Скачивание файла из S3
try:
    s3.download_file('my-unique-bucket-name', 'remote_path/file.txt', 'downloaded_file.txt')
    print("Файл успешно скачан из S3.")
except Exception as e:
    print(f"Ошибка при скачивании файла из S3: {e}")

В GCP для Cloud Storage предпочитаю использовать официальную клиентскую библиотеку google-cloud-storage:

from google.cloud import storage

# Инициализация клиента Cloud Storage
client = storage.Client()

# Получение ссылки на бакет
bucket = client.get_bucket('my-gcp-bucket-name')

# Загрузка файла в Cloud Storage
blob = bucket.blob('remote_path/file.txt')
try:
    blob.upload_from_filename('local_file.txt')
    print("Файл успешно загружен в Cloud Storage.")
except Exception as e:
    print(f"Ошибка при загрузке файла в Cloud Storage: {e}")

# Скачивание файла из Cloud Storage
try:
    blob.download_to_filename('downloaded_file.txt')
    print("Файл успешно скачан из Cloud Storage.")
except Exception as e:
    print(f"Ошибка при скачивании файла из Cloud Storage: {e}")

Выбор между GCP и AWS обычно зависит от существующей инфраструктуры, специфических требований проекта и предпочтений команды.

Ответ 18+ 🔞

Да ты посмотри, какой у нас тут разговор про облака затеялся! Ну, облака, блядь, не те, что на небе, а те, где наши сервера виртуализируются, в рот меня чих-пых! Я с этими платформами, как с родными, общался — и с Гугловской, и с Амазоновской. Выбирал, конечно, не по красоте логотипа, а по тому, насколько проект масштабироваться хочет, сколько за его управление мозгов вынести готов и, главное, сколько бабок за это выложить придётся.

Google Cloud Platform (GCP), ну, эта мартышлюшка:**

Compute Engine: Это ж просто виртуальные тачки, чтобы приложения гонять. Прям как EC2 у AWS, только в другом цвете. Для гибкой инфраструктуры — самое оно.
Cloud Storage: Хранилище для всякого цифрового хлама — картинок, бекапов, видео. Аналог S3, только от Гугла. Туда всё, что структуры не имеет, но места много занимает.
BigQuery: Вот это, блядь, вещь! Бессерверное хранилище для аналитики, где запросы летают, как угорелые. Если данных овердохуища и их надо проанализировать — он твой лучший друг, а может, и единственный.
Pub/Sub: Система для переписки между сервисами, асинхронная такая. Типа SQS/SNS у AWS. Для распределённых систем, где всё друг другу сообщения шлёт — идеально.
Cloud Functions: Бессерверные функции, ёпта! На событие — реакция, без возни с серверами. Прям как AWS Lambda, только с акцентом. Для микросервисов и автоматизации — огонь.
Firebase: А это, сука, целая платформа для мобилок и веба. Тут тебе и базы, и вход для пользователей, и хостинг, и аналитика. Всё в одном флаконе, удобно, блядь.

Amazon Web Services (AWS), эта матёрая, блядь, акула:

EC2: Виртуальные серверы, основа основ. Включил и пашешь.
Lambda: Функции без серверов, опять же. Запустил код и не парься об инфраструктуре.
S3: Объектное хранилище, легендарное уже. Масштабируется дохуя, надёжное.
RDS: Базы реляционные, но за тебя ими управляют. PostgreSQL, MySQL — выбирай, что душе угодно.
DynamoDB: NoSQL база, которая скорость показывает такую, что глаза на лоб лезут.
SQS/SNS: Очереди и уведомления, чтобы сервисы между собой болтали асинхронно.
CloudWatch: Глаза и уши твои в облаке. Мониторинг и логи, чтобы понимать, что там творится.
API Gateway: Штука для создания, публикации и защиты API. Чтобы твои интерфейсы не шастали кто попало.
ECS/EKS: Всё, что связано с контейнерами Docker. Оркестрируй на здоровье.

А вот, смотри, как с их хранилищами работать приходилось:

Для AWS S3 я обычно boto3 в Python использую, библиотека, блядь, родная:

import boto3

# Клиента S3 инициализируем
s3 = boto3.client('s3')

# Файл в S3 загружаем
try:
    s3.upload_file('local_file.txt', 'my-unique-bucket-name', 'remote_path/file.txt')
    print("Файл успешно загружен в S3.")
except Exception as e:
    print(f"Ошибка при загрузке файла в S3: {e}")

# Файл из S3 качаем обратно
try:
    s3.download_file('my-unique-bucket-name', 'remote_path/file.txt', 'downloaded_file.txt')
    print("Файл успешно скачан из S3.")
except Exception as e:
    print(f"Ошибка при скачивании файла из S3: {e}")

А для GCP Cloud Storage у них своя библиотека google-cloud-storage:

from google.cloud import storage

# Клиента Cloud Storage создаём
client = storage.Client()

# Цепляемся к бакету
bucket = client.get_bucket('my-gcp-bucket-name')

# Файл в Cloud Storage пихаем
blob = bucket.blob('remote_path/file.txt')
try:
    blob.upload_from_filename('local_file.txt')
    print("Файл успешно загружен в Cloud Storage.")
except Exception as e:
    print(f"Ошибка при загрузке файла в Cloud Storage: {e}")

# Файл из Cloud Storage вытаскиваем
try:
    blob.download_to_filename('downloaded_file.txt')
    print("Файл успешно скачан из Cloud Storage.")
except Exception as e:
    print(f"Ошибка при скачивании файла из Cloud Storage: {e}")

А выбирать-то между ними, блядь, как? Да всё просто, ёпта! Смотри, какая инфраструктура уже есть, что проект конкретно требует и чем твоя команда дышит. Иногда одно выгоднее, иногда другое удобнее. Главное — не охуеть от счёта в конце месяца, а то бывало, волнение ебать, терпения ноль ебать!