Платформа подходит для широкого круга задач, от аналитики до обучения сложных моделей с миллиардами параметров. Например, «Поиск» строит с помощью YTsaurus поисковый индекс, а беспилотные автомобили используют платформу, чтобы обрабатывать данные о поездках и улучшать свои алгоритмы. YTsaurus управляет суперкомпьютерами «Яндекса», распределяя нагрузку так, чтобы их вычислительные мощности использовались наиболее эффективно.
«Яндекс ведет разработку YTsaurus - или YT, как мы называем ее внутри - с 2010 г. Мы начали строить собственную экосистему для больших данных, потому что ни одно из имевшихся на рынке решений не удовлетворяло всем нашим требованиям. Сейчас YTsaurus - один из ключевых элементов внутренней инфраструктуры «Яндекса». Над платформой работают десятки разработчиков, и ее возможности постоянно расширяются», - сказал руководитель отдела технологий распределенных вычислений Максим Бабенко.
YTsaurus - отказоустойчивая и легко масштабируемая платформа. В «Яндексе» она развернута на десятках тысяч серверов и обрабатывает экзабайты данных; с ней работает каждый второй сотрудник компании. YTsaurus можно использовать как классическую MapReduce-систему, но при этом она поддерживает и другие популярные подходы к обработке данных - например, у нее есть интеграции с ClickHouse и Apache Spark.
«Платформа YTsaurus отлично зарекомендовала себя в «Яндексе». Теперь мы сделали ее доступной и за его пределами. Наибольшую пользу YTsaurus может принести крупным компаниям, которые обрабатывают гигантские объемы данных на тысячах серверов в условиях постоянно возрастающей нагрузки. Мы уверены, что публикация кода выведет платформу на новый виток развития, как это уже было с другими нашими продуктами», - отметил руководитель Yandex Cloud Алексей Башкеев.
Исходный код и документация YTsaurus доступны на GitHub. Код распространяется под лицензией Apache 2.0. Использовать платформу или доработать ее под себя может любой желающий.