Какой у вас опыт работы с Kubernetes в публичных облаках?

Я работал с managed Kubernetes-сервисами во всех основных публичных облаках: Amazon EKS, Google GKE и Microsoft AKS. Основная задача — создание, настройка и поддержка отказоустойчивых, безопасных и масштабируемых кластеров для production-нагрузок.

Опыт по облачным платформам:

• AWS EKS: Создание кластеров через Terraform с использованием модуля terraform-aws-eks. Настройка рабочих узлов на основе Managed Node Groups и Spot Instances для оптимизации затрат. Интеграция с AWS IAM для аутентификации (aws-auth ConfigMap), AWS Load Balancer Controller для Ingress, и EBS/EFS CSI драйверами для PersistentVolumes.
• Google GKE: Работа с автоскейлингом узлов (Cluster Autoscaler) и подов (Vertical Pod Autoscaler, Horizontal Pod Autoscaler). Использование встроенного мониторинга и логирования (Cloud Monitoring/Logging). Настройка Workload Identity для безопасного доска подов к сервисам GCP.
• Microsoft AKS: Развертывание кластеров с интеграцией в Azure Active Directory для управления доступом (RBAC). Настройка Azure CNI для сетевой политики и использования внутренних Azure Load Balancer. Работа с Azure Disk и Azure Files для хранения.

Общие практики и автоматизация:

• Инфраструктура как код: Полное описание кластеров и связанных ресурсов (VPC, подсети, security groups) в Terraform.
• GitOps: Использование ArgoCD или Flux для автоматического деплоя приложений из Git-репозиториев в кластеры. Хранение манифестов Kubernetes и Helm charts в Git.
• Безопасность: Регулярное обновление версий Kubernetes и образов узлов. Применение Pod Security Standards/Admission Controllers, сканирование образов контейнеров на уязвимости (Trivy, Clair). Шифрование секретов с помощью внешних провайдеров (AWS KMS, HashiCorp Vault).
• Наблюдаемость: Внедрение стека Prometheus (часто через kube-prometheus-stack) и Grafana для мониторинга метрик кластера и приложений. Настройка алертинга в Alertmanager.

Пример манифеста Deployment для stateless-приложения:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: api-deployment
  labels:
    app: api
spec:
  replicas: 3
  selector:
    matchLabels:
      app: api
  template:
    metadata:
      labels:
        app: api
    spec:
      containers:
      - name: api
        image: my-registry/api:1.2.3
        ports:
        - containerPort: 8080
        resources:
          requests:
            memory: "256Mi"
            cpu: "250m"
          limits:
            memory: "512Mi"
            cpu: "500m"
        livenessProbe:
          httpGet:
            path: /health
            port: 8080
          initialDelaySeconds: 30
          periodSeconds: 10
        readinessProbe:
          httpGet:
            path: /ready
            port: 8080
          initialDelaySeconds: 5
          periodSeconds: 5