Как использовать RAG в работе с базами знаний

По прогнозу исследования «Генеративный ИИ в странах БРИКС+: тренды и перспективы» консалтинговой компании «Яков и партнёры», эффект от внедрения технологий генеративного искусственного интеллекта в этих странах к 2030 году может составить 350‑600 млрд. долларов. Около 70% эффекта придется на шесть ключевых отраслей — банковский сектор, розничную торговлю, машиностроение, энергетику, электронику и ИТ.

Реальность пока иная — крупный бизнес пробует генеративный ИИ, но пока реализованных проектов не так много. Среди успешных примеров можно выделить применение ИИ‑помощников на базе генеративного искусственного интеллекта и метода RAG (Retrieval‑Augmented Generation) — генерация с извлечением данных. С его помощью можно в реальном времени осуществлять поиск по внутренней базе знаний компании и быстро получать полные и точные ответы на запросы пользователя.

Как работает RAG

Большие языковые модели (LLM), такие как ChatGPT, создают ответы на основе информации, полученной во время обучения, что ограничивает их способность учитывать изменения в реальном времени.

На практике метод работает следующим образом:

1. Одна или несколько баз знаний компании проходят операцию индексирования.
2. Пользователь задает вопрос большой языковой модели.
3. Большая языковая модель преобразует вопрос в некоторое внутреннее представление для удобства поиска по построенным индексам, это преобразование может включать в себя также классификацию, извлечение атрибутов из вопроса, переформулирование и нормализацию.
4. Полученное представление вопроса отправляется в индекс, и RAG подбирает подходящий ответ, состоящий из нескольких фрагментов информации, а затем добавляет найденную информацию к вопросу пользователя.
5. В языковую модель поступает и сам запрос, и дополнительная релевантная информация от RAG.
6. LLM, получив больше контекста, дает полный ответ — предоставляет суммаризацию данных, отчет по ним и т.д., такой ответ может быть дан в соответствии с тем, как именно был задан вопрос: это могут быть бинарные ответы, инструкции, разъяснения и даже оформленные по шаблону документы.

Таким образом, RAG позволяет большим языковым моделям преодолеть ограничения, связанные с устареванием данных и галлюцинациями.

Из чего состоит RAG

RAG состоит из нескольких ключевых компонентов, каждый из которых играет важную роль в процессе обработки запросов:

Поиск (retriever) — cервис, отвечающий за поиск релевантных запросу фрагментов. В случае, если подходящей информации не будет, модель не будет придумывать запрос и ответит, что у нее нет нужной информации. На этом же этапе происходит контроль прав доступа.

Большая языковая модель (LLM) — отвечает за генерацию ответа как по общим знаниям, так и по найденным фрагментам. Во время ответа она учитывает разные промпты — инструкции о том, в каком формате предоставить ответ или что отвечать, если необходимой информации не нашлось.

Модуль статистики: в нашем решении есть также сервис по обработке полученных результатов, который позволяет оценивать полученные ответы и формировать отчеты по качеству работы нейросети.

Благодаря такому подходу RAG обеспечивает высокую релевантность ответов, что делает его идеальным решением для задач, требующих работы с постоянно обновляемой информацией.

Сценарий 1. Клиентская поддержка, чат‑боты и виртуальные помощники

RAG используется для автоматизации ответов на вопросы клиентов и особенно полезен в чат‑ботах и различных виртуальных помощниках. Этот сценарий применим во всех отраслях. Например, клиент банка спрашивает: «Какие условия для получения ипотеки?» Система находит актуальную информацию из внутренних документов банка (условия кредитования) и генерирует точный и понятный ответ, в т.ч. на основе нескольких документов, при этом ссылки на оригиналы также могут быть предоставлены.

Сценарий 2. Онбординг и обучение сотрудников

Это один из самых популярных сценариев. RAG позволяет получить быстрый доступ к базе знаний компании.

Машиностроение. Новый сотрудник спрашивает: «Как работает система охлаждение шпинделя станка ЧПУ?» RAG находит информацию из технического руководства и генерирует понятное объяснение.

IT. Если программист не может исправить ошибку в коде на Python, то RAG находит похожие решения в базах знаний (например, Stack Overflow), кодовой базе компании и создаёт пример исправленного кода.

Телеком. Сотрудник колл‑центра ищет правила переноса номера с одного оператора на другой — RAG выдаёт актуальный алгоритм действий.

Сценарий 3. Техническая поддержка

Когда клиент обращается в техподдержку с вопросом, система RAG сначала анализирует запрос и ищет подходящую информацию в базах знаний, документации, FAQ или других источниках. Например, если пользователь спрашивает: «Как сбросить телевизор до заводских настроек?», модель RAG ищет инструкции в технической документации или статьях поддержки.

Ещё одно преимущество RAG — доступ к прецедентам. Проще говоря, у сотрудника есть возможность оперативно посмотреть, как аналогичные случаи решались в прошлом. Например, частная клиника хочет создать ИИ‑помощника с RAG, чтобы не только следить за результатами анализов и историей болезни пациента, а затем дополнять их сведениями о лекарствах, исследованиях или услугах клиники, но и получать данные об аналогичных случаях с другими пациентами.

Машиностроение. Инженер задает вопрос: «Как устранить ошибку в работе станка Fanuc DS0300 — села батарейка?» RAG находит соответствующую документацию или инструкции и создаёт пошаговое руководство для решения проблемы.

Сценарий 4. Анализ рисков

В этом случае RAG работает как универсальный слой доступа к информации, который формирует выводы на естественном языке или по шаблону, опираясь на наиболее полную информацию о заёмщике. Сама по себе строгая аналитика, алгоритмы больших данных или прогнозные модели не являются частью RAG, но пользуются полученной с его помощью преобразованной информацией, а также передают ему результаты для генерации понятного сотруднику банка ответа и аргументации.

Сценарий 5. Обращения граждан

RAG‑поиск как шаблон проектирования универсален, когда речь идёт об обработке и подготовке любой информации внутри компании или организации. Сценарии похожи друг на друга и отличаются тематикой документов, характером запросов и требованиями к ответу.

Такой поиск может быть многоступенчатым, как в сценарии обращений граждан, где сначала полученное обращение разбивается LLM на несколько запросов, каждый из которых классифицируется, при обращении к одной базе знаний RAG определяет ответственный департамент или сотрудника, при обращении к другой — подбирается фактура для ответа на основе нормативных актов, иных регламентов и истории обращений, при обращений к третьей — подбирается шаблон ответа, который обогащается полученной информацией. На выходе мы имеем проект ответа по существу всех перечисленных в общении запросов и проблем, переданный ответственному сотруднику на проверку и подпись.

Взгляд в будущее

Уже сейчас идет работа над улучшением технологии RAG и созданием дополнительных функций, которые позволят ей решать принципиально новые задачи.

Среди них:

1. Понимание контекста — программа учитывает контекст разговора или задачи, чтобы дать более подходящий ответ. Это как мы с друзьями обсуждаем новый фильм, они помнят, о чем мы говорили раньше, и отвечают в рамках этой темы.
2. Мультимодальный поиск — способность искать не только тексты, но и изображения и видео.
3. Интерактивный поиск — возможность запрашивать и вносить уточнения после отправления запроса.
4. Мультиагентные сценарии — возможность объединения самостоятельно принимающих решение поисковых агентов, каждый из которых решает часть общей поисковой задачи, выбирает источники данных и язычковые модели для подготовки ответов.

Важно помнить, что внедрение любых инноваций — это процесс, требующий значительных усилий. Однако с учетом потенциала улучшений, которые принесет технология RAG, инвестиции оправданы. Новая функциональность поможет превратить RAG в незаменимый инструмент для автоматизации процессов, улучшения качества услуг и повышения эффективности работы в самых разных сферах.