RAG-калькулятор: сколько стоит векторизация документов

Что такое чанк и зачем документы делят на части

Когда вы создаёте AI-ассистента по документам, модель не может «прочитать» весь архив сразу. Поэтому каждый документ сначала делится на более мелкие единицы, которые называются чанками. Чанк это чаще всего несколько абзацев, один раздел или часть страницы, которая имеет смысл сама по себе.

Логика простая: когда пользователь задаёт вопрос, система не ищет по всему документу, а находит наиболее похожие чанки и отправляет только их AI-модели как контекст. Меньшие чанки означают более точный поиск, но и больше векторов, которые нужно рассчитать и сохранить. Большие чанки уменьшают количество векторов, но могут «размыть» информацию, и модель получит полстраницы текста, в которой релевантно только одно предложение.

Хороший RAG-калькулятор поэтому принимает три входных параметра: количество документов, средний размер чанка и цену модели эмбеддингов. Из этого он рассчитывает общее количество чанков, стоимость векторизации и место, которое эти векторы занимают в базе. Это полезно прежде всего для планирования, потому что многие недооценивают, сколько чанков получается из нескольких тысяч документов.

Как рассчитать количество чанков и стоимость эмбеддингов

Порядок действий на практике такой:

1. Оцените общее количество токенов в корпусе. Грубый ориентир: одна страница текста содержит около 500 до 700 слов, что примерно 700 до 1000 токенов.
2. Выберите размер чанка, например 500 токенов.
3. Добавьте перекрытие, например 15 процентов, тогда эффективный размер шага составит около 425 токенов.
4. Разделите общее количество токенов на шаг, чтобы получить количество чанков.
5. Умножьте количество чанков на цену модели эмбеддингов за токен.

Конкретный пример: 200 документов по 20 страниц дают около 4 миллионов токенов. При чанке в 500 токенов и перекрытии 15 процентов получается примерно 9400 чанков. Если модель тарифицирует векторизацию по токену, стоимость рассчитывается на эти 4 миллиона токенов, а не на количество чанков, потому что из-за перекрытия часть текста обрабатывается дважды.

Место в векторной базе зависит от размерности вектора и типа данных. Вектор с 1536 измерениями в записи по 4 байта занимает около 6 КБ, поэтому 9400 чанков требуют около 56 МБ только для векторов, плюс метаданные и индексы.

Какое перекрытие и размер чанка выбрать

Перекрытие существует, чтобы не терялся смысл на границе между двумя чанками. Если предложение обрывается на половине, модель, которая получит только вторую часть, может не понять, о чём речь. Поэтому последние 10 до 20 процентов текста повторяются в начале следующего чанка.

Практические советы:

• Для общей документации и блогов начинайте с 400 до 600 токенов с перекрытием от 10 до 15 процентов.
• Для технических инструкций и частых списков используйте меньшие чанки, потому что пользователи ищут конкретный шаг.
• Для договоров и правовых норм делите по структуре, например по статье и пункту, а не по количеству токенов. Чанк, содержащий целую статью, имеет гораздо больше смысла, чем фрагмент в произвольном месте.
• Всегда сохраняйте метаданные: название документа, номер страницы и заголовок раздела. Без этого у ответа AI-ассистента нет источника, который пользователь может проверить.

Совет эксперта: размер чанка не выбирают раз и навсегда. Сделайте небольшой тест с 20 до 30 реальными вопросами и сравните, находит ли система правильный чанк. Если она часто промахивается, проблема чаще всего в разбиении текста, а не в модели.

Самые частые ошибки при планировании векторизации

Первая ошибка это расчёт стоимости по документу вместо расчёта по токену. Цена эмбеддингов зависит от количества текста, а не от числа файлов, поэтому PDF со сканированными изображениями и PDF с чистым текстом имеют разную стоимость.

Вторая ошибка это игнорирование повторной векторизации. Когда вы меняете модель эмбеддингов или способ разбиения, всё нужно обрабатывать заново. Поэтому заранее планируйте версионирование и возможность заменить старые векторы новыми без остановки работы.

Третья ошибка это фокус только на цене векторизации. Она обычно составляет малую часть общей работы, тогда как больше всего времени уходит на очистку документов, удаление колонтитулов и сносок и проверку качества поиска.

Если корпус растёт до десятков тысяч документов или у вас несколько источников, которые часто меняются, планирование pipeline для обработки и обновления становится сложнее самого расчёта. В таких ситуациях EVI Solutions может помочь с архитектурой RAG-системы и автоматизацией подготовки данных.