Новая модель Kandinsky 2.1 унаследовала веса предыдущей версии, обученной на 1 млрд пар «текст - изображение», и была дополнительно обучена на 170 млн пар «текст - изображение» высокого разрешения. Затем она дообучалась на отдельно собранном датасете из 2 млн пар качественных изображений. В данный сет попали картинки с описаниями в таких традиционно сложных для нейросетей областях, как тексты и лица людей.
Нейросеть также была усовершенствована за счет новой обученной модели автоэнкодера, которая используется в том числе в качестве декодера векторных представлений изображений. Это кардинально улучшило генерацию изображений в высоком разрешении: лица, сложные объекты и так далее. Благодаря этому новая модель содержит 3,3 млрд параметров вместо 2 млрд в Kandinsky 2.0.
Кроме того, Kandinsky 2.1 использует не только закодированное текстовое описание, но и специальное представление изображения моделью CLIP. В таком виде нейросеть формирует представление картинки на основе текстовой информации и подает его на вход основной генеративной модели.
Модель умеет визуализировать любой контент и может применяться в различных отраслях. К примеру, в банковской сфере ее можно использовать для создания персонализированных маркетинговых решений, ярких образов продуктов, привлечения и удержания внимания клиентов.
первый заместитель председателя правления Сбербанка: «Обучая Kandinsky 2.1, мы учли мнения пользователей и реализовали смелую гипотезу, изучив самые передовые концепции. В результате мы разработали мощное универсальное решение для широкого круга задач на уровне лучших мировых аналогов. Оно открывает колоссальные возможности как для бизнеса, так и для населения. По сути, это еще один важный шаг к AGI - сильному искусственному интеллекту. Думаю, у каждого найдется задача для Kandinsky 2.1, и поэтому улучшенная модель, как и ее предыдущая версия, находится в открытом доступе: протестировать ее может любой желающий, причем бесплатно».
Оценить возможности нейросети можно на промо-странице модели, при помощи команды «Запусти художника» на умных устройствах Sber и в мобильном приложении «Салют» и на платформе ML Space в хабе предобученных моделей и датасетов DataHub. Модель также доступна для использования на платформе Fusion Brain и в Telegram-боте.
Sber AI - подразделение «Сбера», отвечающее за развитие технологий искусственного интеллекта и их внедрение в различные сферы жизни и бизнеса.
ПАО Сбербанк - один из крупнейших банков в России. Основным акционером ПАО Сбербанк является Российская Федерация в лице Министерства финансов, владеющая 50% уставного капитала ПАО Сбербанк плюс 1 голосующая акция. Оставшимися 50% минус 1 голосующая акция от уставного капитала банка владеют российские и международные инвесторы.
- Экспертный онлайн-вебинар: «Цифровые технологии - экономический эффект и перспективы применения MDM, EMM, UEM-систем в России и мире». 5 декабря 2022 года.