RAG-система: нейросеть, которая ищет ответы в ваших документах

Что такое RAG и почему это надёжнее обычного чат-бота

Обычный чат-бот отвечает по тому, что заложено в модель или в сценарий. Как только вопрос выходит за эти рамки, он либо отказывается, либо — что хуже — придумывает правдоподобный ответ.

RAG (Retrieval-Augmented Generation) добавляет между вопросом и ответом шаг поиска: система находит в вашей базе фрагменты, подходящие к вопросу, и передаёт модели только их. Ответ строится на этих фрагментах, а рядом показывается источник.

• меньше выдумок: модель отвечает по документу, а не по общим представлениям;
• ответ можно проверить — видно файл и фрагмент, откуда взята формулировка;
• база обновляется загрузкой файла, переобучение модели не нужно;
• если ответа в документах нет, система говорит об этом прямо.

Как устроена RAG-система RAGSTONE

Три шага — индексация, поиск, генерация — и всё это на вашей инфраструктуре, без выгрузки документов наружу.

• Индексация: файл режется на фрагменты, для каждого считается векторное представление (эмбеддинг), плюс строится полнотекстовый индекс.
• Поиск: на вопрос система ищет совпадения сразу двумя способами — по смыслу и по словам, затем объединяет результаты.
• Ответ: модель получает вопрос и найденные фрагменты и формулирует ответ, указывая источники.
• Хранение: метаданные и права — в PostgreSQL, документы — в файловом хранилище на вашем сервере.
• Доступ: у каждого пользователя своя база знаний, администратор управляет документами и людьми.

Что это даёт компании

Знания перестают зависеть от того, кто сегодня на связи.

• единая точка входа вместо папок, чатов и «спроси у Марины»;
• ответ за секунды — и для клиента, и для сотрудника;
• новичок отвечает на уровне опытного коллеги, потому что опирается на те же документы;
• поддержка работает по инструкциям, а не по памяти;
• журнал вопросов показывает, каких документов в базе не хватает.

Где разворачивается

На вашем сервере — тогда документы и вопросы не покидают контур. Для моделей доступны локальный сервер llama.cpp и облачные провайдеры с OpenAI-совместимым API: первый вариант дороже по железу, зато единственно возможный, когда в документах персональные данные или коммерческая тайна.

• Docker или systemd, PostgreSQL и файловое хранилище;
• чат в браузере, виджет на сайте, бот в MAX и API для своих систем;
• модель и провайдер переключаются в админке без переустановки.

С чего начать

Не нужно загружать весь архив сразу. Начните с трёх-пяти документов, по которым чаще всего спрашивают: прайс, регламент, инструкция. Проверьте ответы на реальных вопросах — сразу станет видно, каких документов не хватает. База расширяется загрузкой файлов, без переустановки системы.