Что такое RAG и как это работает: руководство для компаний, которые хотят ИИ по своим документам

ChatGPT много знает о мире и ничего о вашей компании. Он не знает ваших регламентов, договоров, прайс-листа, технической документации или решений, принятых в прошлом году. А когда он чего-то не знает, он часто это выдумывает. RAG это техника, которая решает обе проблемы.

RAG в одном предложении

RAG (Retrieval Augmented Generation) означает, что ИИ ищет по вашим документам перед тем, как ответить, берет самые релевантные фрагменты и пишет ответ на их основе, ссылаясь на источник.

Представьте коллегу, который прочитал всю документацию вашей компании, обладает идеальной памятью и всегда говорит: "это в Справочнике сотрудника, раздел 12". Именно таким и является хороший RAG-ассистент.

Как это работает, шаг за шагом

1. Сбор документов: PDF, Word, Excel, сканы, интранет, Confluence, SharePoint, электронная почта.
2. Подготовка: очистка текста, OCR для сканов, удаление дубликатов, добавление метаданных (дата, автор, тип, версия).
3. Разбиение на фрагменты (chunking): документы делятся на смысловые единицы, например по статьям закона или главам инструкции.
4. Векторизация: каждый фрагмент превращается в набор чисел, который описывает его смысл (эмбеддинг), и сохраняется в векторной базе данных.
5. Поиск: вопрос пользователя тоже превращается в вектор, и система находит фрагменты с наиболее близким смыслом.
6. Генерация: модель ИИ получает вопрос и найденные фрагменты и пишет ответ только на их основе.
7. Ссылки на источники: источники показываются вместе с ответом, чтобы пользователь мог проверить информацию.

Что означает "векторизация данных" и почему это важно

Классический поиск ищет те же самые слова. Если в документе написано "срок предупреждения", а вы спрашиваете "сколько мне нужно работать после увольнения", поиск по ключевым словам, скорее всего, ничего не найдет. Векторный поиск найдет, потому что он сравнивает смысл, а не слова. Именно поэтому RAG кажется "умным".

Почему RAG не выдумывает факты (насколько это возможно)

Модель получает четкую инструкцию: отвечать только по предоставленным фрагментам, а если ответа там нет, сказать, что она не знает. Кроме того:

• у каждого ответа есть источник,
• система измеряет, насколько релевантен найденный контент,
• вопросы без ответа фиксируются, чтобы можно было улучшить документацию.

Где RAG приносит больше всего пользы

• Право и налоги: поиск по нормативным актам, официальным разъяснениям и судебной практике. Мы построили такую систему для крупной консалтинговой компании.
• Внутренняя база знаний: регламенты, политики, вопросы HR, онбординг.
• Техническая документация: производство, сервис, ИТ-поддержка.
• Продажи и поддержка клиентов: характеристики продуктов, прайс-листы, условия.
• Договоры: поиск пунктов, сравнение версий, сроки.

RAG или fine-tuning?

Fine-tuning меняет поведение модели (стиль, формат), но это не лучший способ "научить" модель фактам, которые меняются. Для корпоративных знаний лучше подходит RAG, потому что документы обновляются мгновенно, без переобучения. Подробнее в статье RAG или fine-tuning.

Безопасность и конфиденциальность

Хорошая система RAG учитывает права доступа: пользователи получают ответы только по тем документам, к которым у них есть доступ. Данные могут храниться в облаке ЕС, на вашем сервере или полностью на вашей инфраструктуре (on-premise) с помощью локальных моделей.

Стоимость и сроки

Мы создаем прототип на выборке ваших документов за 2-4 недели, MVP примерно за 2 месяца, а более крупные системы за 3-5 месяцев. Оцените стоимость векторизации с помощью нашего калькулятора RAG.

Следующий шаг

Посмотрите нашу услугу ИИ-ассистент по документам или отправьте нам запрос с кратким описанием вашей документации. Мы создадим прототип на выборке, чтобы вы увидели результат до принятия решения.