В Yandex Cloud Apache Airflow интегрирован с объектным хранилищем, управляемыми СУБД, BI-инструменты, сервисами машинного обучения облачной платформы. Также Apache Airflow работает с сервисом для обработки массивов данных Yandex Data Proc, что позволяет эффективнее использовать вычислительные ресурсы. Кроме этого, доставка секретов в Apache Airflow через Yandex Lockbox позволяет упростить и сделать процесс управления данными более надежным и безопасным.
«Развитие технологий для работы с данными в облаке - остается одним из наших главных приоритетов. Мы планомерно развиваем технологический стек в соответствии с запросами дата-инженеров, аналитиков, ML-специалистов. Управляемый Apache Airflow был одним из важных запросов пользователей платформы. Теперь координация разрозненных источников данных и сервисов в облаке станет удобнее», - сказал директор по продуктам в Yandex Cloud.
Провайдер берет большую часть задач по развертыванию и поддержке технологии на себя. Специалистам будет проще организовать процесс обработки данных с помощью Airflow. Кроме этого, предоставление технологии в виде управляемого сервиса сократит вероятность отказов и сбоев при использовании технологии. Apache Airflow предоставляется бесплатно на этапе Public Preview и уже доступен по запросу для пользователей платформы.
Airflow была разработана в 2014 г. в компании Airbnb. Технология остается одним из самых популярных open source решений для оркестрации данных. Airflow использует язык Python для описания логики выполняемых операций с данными, что позволяет упростить разработку и тестирование с ее помощью.
- Byte & Oil Conf 2023.