Русский чат-бот: какой он
Одной из ключевых архитектур для создания доменно-специфического (domain-specific) чат-бота на базе генеративного ИИ является архитектура RAG (Retrieval-Augmented Generation). RAG - метод работы с большими языковыми моделями, когда пользователь пишет свой запрос, к которому на программном уровне «подмешивается» дополнительная информация из каких‑либо внешних источников и подается на вход языковой модели.
Иными словами, RAG автоматически добавляет в контекст запроса к языковой модели информацию, на основе которой пользователю может быть дан более полный и точный ответ.
Как это работает?
Процесс начинается с выбора подходящей базы данных - это может быть векторная (ChromaDB, QDrant), ориентированная на документы (ElasticSearch, OpenSearch), реляционная (PostgreSQL, MySQL, Oracle) или же графовое представление данных (Neo4J, OrientDB). БД станет основой для хранения и поиска информации.
Далее подключается модель ИИ, которая будет использовать базу знаний в качестве источника. Взаимодействие с моделью происходит на естественном языке: пользователь формулирует запрос, а ретривер (инструмент в рамках RAG-архитектуры) выбирает наиболее подходящий фрагмент информации, используя методы оценки семантической близости вопроса и фрагмента.
Если находится релевантный фрагмент, ретривер передает его в контекст модели, и она генерирует ответ. Все устроено так, как если бы кто-то помогал человеку сформулировать максимально корректный ответ с помощью подсказок.
Простые и недорогие в части развертывания и эксплуатации ИИ-модели без подключения к интернету могут не справляться со сложными запросами. Однако архитектура RAG позволяет компенсировать такие ограничения и даже на базе «бюджетных» ИИ-моделей обеспечивать высокое качество ответов.
Этот подход делает кастомизированные чат-боты на генеративном ИИ не только доступными, но и эффективными инструментами для бизнеса в РФ, несмотря на ограничения взаимодействия с ChatGPT и решениями других зарубежных вендоров.
Всем пример
Процесс начинается с подготовки базы данных по медицинским исследованиям, включающей в себя не только тематическое насыщение БД, но и форматирование, а также структуризацию данных. ИИ-модель устанавливает последовательность обработки запросов: обращение к базе данных, поиск релевантных фрагментов, их отправка на обработку в модель, выгрузка.
Другой пример: создание цифрового ассистента для оптимизации цепочек поставок (supply chain). Используемый фреймворк SCOR обладает древовидной структурой, что делает предпочтительным использование графовой базы данных для хранения информации.
Процесс работы схож: сначала осуществляется поиск той ноды графа, которая хранит наиболее релевантную информацию, после чего информация из этой ноды и всех дочерних извлекается ретривером и отправляется в контекст модели для формирования ответа.
Это общий шаблон для создания доменно-специфичного чат-бота, который может эффективно работать в узкой области знаний. Использование же open-source компонентов для RAG-архитектуры позволяет построить недорогой инструмент для работы со специфической отраслевой информацией.
Через тернии
Одной из главных задач является проектирование архитектуры, учитывая возможное наличие множества взаимозаменяемых моделей в рамках такой платформы. Кроме того, подготовка данных требует не только их размещения в БД, но и генерации описаний полей в таблицах и других необходимых метаданных - а это кропотливая, нередко почти полностью ручная работа.
Open Source модели генеративного ИИ, у которых до 70 миллиардов параметров, обеспечивают довольно качественное покрытие текущих потребностей. Однако здесь нужно учитывать их стоимость и требования к ИТ-ресурсам по сравнению с использованием API OpenAI.
Тем не менее, при некоторых доработках (fine-tuning, RAG) они отлично справляются с большинством задач текстовой модальности, обеспечивая требуемый уровень информационной безопасности и SLA. Поэтому для отечественной ИИ-отрасли важно скорее не конкурировать с OpenAI, а помогать компаниям интегрировать подобные инструменты в ИТ-ландшафт для быстрого получения бизнес-ценности.
Например, оптимизация работы металлургического предприятия с помощью чат-бота может быть менее интересна крупным игрокам, но она представляет собой уникальный нишевой проект. Он требует специализированного подхода, и тогда на авансцену выходят небольшие, но компетентные в рамках отраслевого направления разработчики и интеграторы.
Сможем?
В России лидеры рынка активно развивают ИИ, и даже если не сотрудничают напрямую, то взаимодействуют и координируют усилия. На уровне инженеров и технических специалистов диалог и взаимодействие происходят на постоянной основе, что позволяет объединять усилия для создания мощных решений.
Кто-то обладает кадрами и технологической базой, кто-то финансовыми ресурсами и GR-поддержкой, кто-то имеет отраслевые компетенции. Объединение усилий может привести к синергетическому эффекту, который может вылиться в успешное решение целого ряда текущих задач.
Наша задача - искать способы скоординированно нагонять это отставание. Вопрос реиндустриализации - крайне острый, комплексный и требует системных решений.
Частные договоренности между компаниями-разработчиками и провайдерами могут стимулировать развитие сегмента ИИ через предоставление льготных тарифов на соответствующий стек - машины в оптимальной конфигурации, софт, биллинг и т.д.
Главное преимущество России - сила горизонтальных связей как между специалистами, так и на уровне компаний.