Ошибки при моделировании чреваты потерями клиентской базы

- КиТ :: Будь в СЕТИ!

Современный банк - вселенная финансовых продуктов и сервисов. Как и кому их предлагать, когда и на каких условиях? Ответы на подобные вопросы ищут в процессе моделирования. Банк «Открытие» внедрил платформу для разработки и эксплуатации моделей машинного обучения при технологической поддержке Neoflex. Выбирая решение, в банке рассчитывали снизить операционные риски, оптимизировать процедуру внедрения в бизнес-процессы моделей любой сложности. О платформе моделирования рассказал вице-президент, директор департамента развития учетных и аналитических систем банка «Открытие» Дмитрий Первухин.

«Модели автоматически передаются в эксплуатацию»

Дмитрий Первухин: Банк можно представить как некую фабрику, которая зарабатывает на продаже информации клиентам. Одни готовы положить на депозит излишек денег, другие - напротив, взять взаймы. Располагая такими сведениями, банк предоставляет услуги по кредитованию, открывает счета и вклады. При этом для финансовой структуры крайне важны два обстоятельства. Первое - понимание надежности клиентов. Второе - алгоритм подбора услуг, чтобы клиент принес в банк как можно больше средств, причем на выгодных и ему, и финансовой организации, условиях.

Все эти задачи решаются в процессе моделирования. Аналитические службы банка моделируют поведение потенциальных заемщиков, на основе данных из разных источников определяют сегменты клиентов, которым стоит предложить банковские продукты и услуги, а также способ коммуникации. Моделирование - неотъемлемая часть бизнеса, без этого современный банк не может работать.

Дмитрий Первухин: Построить фабрику разработки крайне сложно, даже если предложить зарплату выше рынка

Дмитрий Первухин: В первую очередь, цифровая трансформация. Для сохранения конкурентных преимуществ банк вынужден постоянно обновлять модели. Любые ошибки, допущенные при моделировании, чреваты потерями клиентской базы или части рынка. Ведь конкуренты успеют сделать более интересные предложения или отреагировать на потребности рынка раньше и привлекут себе новых клиентов. Задача банка - оперативно разрабатывать модели и быстро выводить их на стадию исполнения. Одним из драйверов ускорения является переход на MLOps-платформу - аналог DevOps-разработки пользовательских приложений - которая была развернута в масштабах всего банка совместно с нашим технологическим партнером, компанией Neoflex.

Краткая биография

подробнее

Дмитрий Первухин: Это сложный высокотехнический комплекс, который состоит из контуров разработки, применения моделей машинного обучения и последующей их интеграции в бизнес-процессы. К среде разработки могут быстро подключиться дата-сайентисты, моделисты, чтобы воспользоваться стандартным инструментарием. Развернута также система предоставления данных, которые нужны модели в процессе разработки и, главное, обучения. Объединяющим элементом служат системы валидации, управления моделями, их жизненным циклом.

Платформа представляет собой микросервисную архитектуру, построенную на использовании нескольких десятков различных программных средств. Модели, прошедшие тестирование, автоматически передаются в эксплуатацию.

Дмитрий Первухин: В документации на разработку ПО были сформулированы количественные и качественные требования. Количественные - это скорость, поддержка определенного количества моделистов, нагрузка. Качественные - сокращение времени вывода на рынок математических моделей (time-to-market). Ключевые требования, предъявляемые банком к технологическому партнеру - владение заявленным стеком технологий и опыт создания платформы. Предварительно мы определили технологии, на основе которых планируется развивать платформу.

Дмитрий Первухин: Команда Neoflex лучше других соответствовала перечисленным критериям. Конкуренция была острой, выбор оказался трудным. Победа оказалась на стороне Neoflex по совокупности условий, в том числе финансовых.

«Первый результат мы получили через три месяца»

Дмитрий Первухин: Инициатива создания платформы исходила от департамента интегрированных рисков. Они же взяли на себя руководство проектом. Основные работы на контуре вела команда вендора. ИT поддерживал проект в части менеджмента ИT-ресурсов банка.

Дмитрий Первухин: Я бы сказал, что так получилось органически. Интегрированные риски были очень заинтересованы в создании отказоустойчивой среды для разработки и внедрения моделей машинного обучения. Департамент интегрированных рисков разрабатывает модели принятия решения для бизнесов КИБ и МСБ. В бизнесе МСБ много продуктов завязано на модели, автоматически принимающие решения - мы называем их экспресс-продуктами.

К сожалению, на момент создания платформы инфраструктура, в том числе кредитный конвейер, не позволяли быстро и надежно внедрять разработанные модели в бизнес-процессы. Поэтому в какой-то момент интегрированные риски взяли ситуацию в свои руки и провели пилот с Neoflex, показав жизнеспособность предлагаемой платформы. За что им, конечно, огромное спасибо.

Дмитрий Первухин: В ходе пилота, который занял около двух месяцев, была развернута среда применения, на которую перенесена одна сложная модель - система раннего предупреждения для клиентов КИБ. Пилот был признан успешным, и было принято решение о старте большого проекта. ИT вместе с заказчиком детально проработал целевую архитектуру платформы, что стало важным фактором успеха проекта. Владелец продукта четко обозначил, что требуется максимально отказоустойчивая и надежная среда применения. Это сразу определило вектор дальнейших работ.

Дмитрий Первухин: Развернутое в банке внутреннее облако на Kubernetes, в которое мигрировала платформа. И, конечно, руководство проектом со стороны департамента интегрированных рисков - мне кажется, это как раз тот случай, когда владелец продукта и руководитель проекта четко понимают бизнес-цель и последовательно идут к ней.

В итоге платформа была признана общебанковской, поскольку из всех развернутых в банке платформ для моделирования она была наиболее продвинутой, отказоустойчивой и промышленной.

Дмитрий Первухин: От старта проекта до ввода среды применения модели в промышленную эксплуатацию прошел год, что кажется превосходным сроком для внедрения сложной общебанковской ИT-системы. В этом большая заслуга команд, которые трудились на стороне Neoflex и банка.

Начали мы в октябре 2020 года, а уже в апреле 2021-го на платформе были запущены в боевую эксплуатацию первые оффлайн-модели: модель системы раннего предупреждения и модель лидогенерации КИБ.

Для запуска онлайн-моделей принятия решения потребовалась интеграция с кредитными конвейерами. У нас их три - по направлениям бизнеса: КИБ, МСБ и розница. В тестовом режиме первые две онлайн-модели были опубликованы на платформе в июне. В настоящий момент на платформе функционируют модели розничных и интегрированных рисков, бизнеса МСБ и Data Science хаба.

Дмитрий Первухин: Платформа стала общебанковской не только де-юре, но и де-факто. На платформу мигрировало шесть команд разработчиков моделей: это более 30 сотрудников, разрабатывающих модели для всех бизнес-линий банка - как рисковые, так и бизнесовые. На среду применения платформы активно переносятся новые модели.

В настоящий момент делаем акцент на повышение удобства работы разработчиков моделей - настраиваем отдельные среды разработки под их нужды, сервисы поддержки. Многие подразделения вносят значимый вклад в развитие платформы. Например, розничные риски вносят большой вклад в ее совершенствование: высокие стандарты и механизмы тестирования и внедрения моделей розницы используются всеми пользователями платформы.

Дмитрий Первухин: На мой взгляд, всегда эффективно пользоваться услугами профессионалов независимо от того, внешние они или внутренние. Все сводится к способности подобрать команду специалистов нужной квалификации для реализации проекта в разумные сроки. Что касается нашего опыта, то приступить к проекту надо было быстро, поэтому мы выбирали подрядчика.

Одна из современных тенденций на рынке - развивать собственную разработку. Такой подход практикуют законодатели моды в данной сфере - например, Сбербанк, ВТБ, которые активно набирают сотрудников во внутренние команды разработки. Однако при этом они не уменьшают, а увеличивают бюджет на внешнюю разработку.

Дмитрий Первухин: Количество профессионалов ограничено. Специалисты высокой квалификации без дела не сидят. Собрать внутреннюю команду - а по сути, построить фабрику разработки - крайне сложно, даже если предложить зарплату выше рынка. К тому же это серьезная нагрузка на менеджмент банка: нужны компетенции, умение управлять соответствующими специалистами. Неслучайно финансовые организации чаще всего пользуются услугами и внутренней, и внешней команд разработчиков. Вопрос о пропорции (50 на 50, 70 на 30 или 80 на 20) решается исходя из экономической целесообразности.

Дмитрий Первухин: В настоящее время плавно наращиваем компетенции. На этапе создания платформы 30% работ выполняли сотрудники банка, 70% - компания-подрядчик. На стадии собственно разработки моделей соотношение изменится: примерно 10% составит внешняя разработка, 90% - внутренняя.

Дмитрий Первухин: Компетенции в области понимания и применения моделей, соблюдения бизнес-правил в банке существенно выше, чем на рынке. Точно так же, как и навыки подрядчика, который специализируется на разработке технологической платформы, превосходят наши внутренние возможности. Хотя бы потому, что можно переиспользовать опыт, наработки, не пытаясь изобретать велосипед. А вот организовать разработку моделей на платформе силами сотрудников банка - предпочтительный и более продуктивный вариант.

«Из грузовика - в гоночный болид»

Дмитрий Первухин: Банк стандартизирует технологии разработки, переходит к единым механизмам, правилам и процедурам, что сокращает время работ, упрощает сопровождение, снижает стоимость. Издержки меньше, если, например, четыре команды используют одно решение, а не четыре разных. Внедрение общих стандартов на моделирование даст возможность профессионалам делиться знаниями, помогать смежным командам справляться с задачами более эффективно.

Очевидны также качественные преимущества: команды, работающие в едином информационном пространстве, могут обращаться к готовым моделям. Не придется создавать их заново, как было раньше, когда они разрабатывались на разных платформах различными инструментами. Наличие единого репозитория дало возможность значительно сократить сроки разработки.

Мы ожидаем сокращения time-to-market по моделям до 50%.

Дмитрий Первухин: Колоссальный и, прежде всего, в сфере управления бизнесом. Банк будет совершенствовать модели и наращивать планы по выводу дополнительных моделей. Благодаря такому подходу поменялся акцент: мы не пытаемся измерить эффект этого процесса, он заложен в бизнес-план.

Перед банком стоит задача соблюдения тайминга перевода конкретных бизнес-процессов на платформе и реализации моделей, что позволит выполнить бизнес-план. В банке выстроены процессы развития команд моделистов, которые обеспечены передовыми технологиями. Основой для прибыли, которую банк рассчитывает получить, будет автоматизация жизненного цикла моделей, которая ускорит их создание и внедрение в бизнес-процессы.

Дмитрий Первухин: Критериев несколько: time-to-market моделей (от начала разработки до ее реализации), SLA, включенный в поддержку платформы, чтобы время простоя, доступная нагрузка, которую может использовать моделист, удовлетворяли строгим требованиям. Используя аналогию с автомобилями, отмечу, что банк делает из грузовика гоночный болид, который должен не сломаться в пути, прийти к финишу и при этом занять призовое место. На это нацелена система KPI.

CNews: Поделитесь стратегическими планами развития платформы и применения технологий моделирования.

Дмитрий Первухин: Решение о переходе на MLOps-платформу - стратегическое. Сейчас есть возможность ускориться, что даст возможность обеспечивать развитие банка. Стратегия «Открытия» как коммерческой организации состоит в завоевании определенной доли рынка, повышении доходности, подготовке к IPO.

Исходя из этих задач заказчики платформы строят планы по ее развитию: снижать стоимость разработки, владения, поддержки процесса моделирования в целом. Рассчитываем, что платформа поможет избежать возможных ошибок моделирования, даст дополнительный эффект за счет производительности.

Чем больше данных и параметров мы закладываем в модель, тем богаче варианты выявляемых корреляций. Оборотная сторона - экспонента зависимости потребностей в ресурсах и данных, требующих дорогостоящих систем хранения, оптимизации процессов. В планах - уменьшение издержек на всех этих участках благодаря применению более высокопроизводительных алгоритмов и технологий, а не линейному наращиванию систем. Не менее важная задача повышения качества данных, выстраивание процессов, исключающих взрывной рост ненужных данных и связанных с этим затрат.

Что касается организационных вопросов, в банке создан управляющий комитет по дата-сайенс, куда входят представители всех банковских команд, которые занимаются моделированием (интегрированные, розничные риски, хаб DS&A, бизнес-моделирование МСБ и розницы, валидация).

CNews: Назовите, пожалуйста, две приоритетные задачи на ближайшее несколько лет.

Дмитрий Первухин: Первая - переход всех подразделений на ML-платформу, вторая - снижение time-to-market по всем направлениям. При этом бизнес получит возможность управлять сотнями моделей одновременно.

Дмитрий Первухин: Размышляющие, боюсь, уже опоздали.

Поделиться Подписаться на новости

Нажимая кнопку «Подписаться», вы даете свое согласие на обработку и хранение персональных данных.

ПодпискаБудь в СЕТИ! Новости социальных сетей - всегда актуальное
Группы: ВК|OK|Tg