Работали ли вы с Azure Data Factory?

Да, я использовал Azure Data Factory (ADF) для оркестрации ETL/ELT-пайплайнов в облаке Azure.

Пример реализованного пайплайна: Задача: ежедневная загрузка данных из локальной SQL Server базы в Azure Synapse Analytics с последующей трансформацией.

1. Создание связанных служб (Linked Services): Для подключения к источникам и приемникам (SQL Server, Azure Blob Storage, Synapse).
2. Наборы данных (Datasets): Определение структуры данных в источниках и приемниках.
3. Пайплайн:
   • Действие 1: Copy Data. Копирование данных из SQL Server в промежуточную зону в Azure Blob Storage в формате Parquet.

     // Фрагмент активности копирования в ADF JSON
     {
     "name": "Copy_SQL_to_Blob",
     "type": "Copy",
     "source": { "type": "SqlSource" ... },
     "sink": { "type": "ParquetSink", "storeSettings": { "type": "AzureBlobStorageWriteSettings" } }
     }

   • Действие 2: Stored Procedure. Запуск хранимой процедуры в Azure Synapse для загрузки данных из Blob Storage в таблицы и выполнения сложных преобразований (использовал PolyBase для эффективной загрузки).
4. Триггер: Настройка расписания (Schedule Trigger) для ежедневного запуска пайплайна.

Итог: ADF использовался как надежный оркестратор, который управлял зависимостями, логированием и повторными попытками, в то время как тяжелая трансформация выполнялась непосредственно в Synapse.