RAG калкулатор: колико кошта векторизација докумената

Шта је цхунк и зашто се документи деле на делове

Када правите AI асистента над документима, модел не може да "прочита" целу архиву одједном. Зато се сваки документ прво дели на мање целине које се зову цхункови. Цхунк је најчешће неколико пасуса, једна секција или део странице који има смисла сам за себе.

Логика је једноставна: када корисник постави питање, систем не претражује цео документ, већ тражи најсличније цхункове и само њих шаље AI моделу као контекст. Мањи цхункови значе прецизнију претрагу, али и више вектора које треба израчунати и сачувати. Већи цхункови смањују број вектора, али могу да "разблаже" информацију, па модел добије пола стране текста у којој је релевантна само једна реченица.

Добар RAG калкулатор зато узима три улаза: број докумената, просечну величину цхунка и цену embedding модела. Из тога израчуна укупан број цхункова, трошак векторизације и простор који ти вектори заузимају у бази. То је корисно пре свега за планирање, јер многи потцене колико цхункова настане из неколико хиљада докумената.

Како израчунати број цхункова и трошак embeddinga

Поступак је у пракси следећи:

1. Процените укупан број токена у корпусу. Груба смерница: једна страница текста има око 500 до 700 речи, што је приближно 700 до 1000 токена.
2. Изаберите величину цхунка, на пример 500 токена.
3. Додајте преклапање, на пример 15 процената, па је ефективна величина корака око 425 токена.
4. Поделите укупан број токена кораком да добијете број цхункова.
5. Помножите број цхункова са ценом embedding модела по токену.

Конкретан пример: 200 докумената са по 20 страница даје око 4 милиона токена. Уз цхунк од 500 токена и преклапање од 15 процената добија се приближно 9400 цхункова. Ако модел наплаћује векторизацију по токену, трошак се рачуна на тих 4 милиона токена, а не на број цхункова, јер преклапање значи да се део текста обрађује два пута.

Простор у векторској бази зависи од димензије вектора и типа података. Вектор са 1536 димензија у запису од 4 бајта заузима око 6 KB, па 9400 цхункова тражи око 56 MB само за векторе, плус метаподатке и индексе.

Које преклапање и величину цхунка изабрати

Преклапање постоји да се не изгуби смисао на граници између два цхунка. Ако се реченица прекине на пола, модел који добије само други део можда неће разумети о чему се говори. Зато се последњих 10 до 20 процената текста понавља на почетку следећег цхунка.

Практични савети:

• За општу документацију и блогове почните од 400 до 600 токена са преклапањем од 10 до 15 процената.
• За техничка упутства и честе листе користите мање цхункове, јер корисници траже конкретан корак.
• За уговоре и правне прописе делите по структури, на пример по члану и ставу, а не по броју токена. Цхунк који садржи цео члан има много већи смисао од исечка на произвољном месту.
• Увек сачувајте метаподатке: назив документа, број странице и наслов секције. Без тога одговор AI асистента нема извор који корисник може да провери.

Стручни савет: величину цхунка не бирате једном заувек. Направите мали тест са 20 до 30 стварних питања и упоредите да ли систем проналази прави цхунк. Ако често промашује, проблем је најчешће у дељењу текста, а не у моделу.

Најчешће грешке при планирању векторизације

Прва грешка је рачунање трошка по документу уместо по токену. Цена embeddinga зависи од количине текста, а не од броја фајлова, па PDF са скенираним сликама и PDF са чистим текстом немају исти трошак.

Друга грешка је занемаривање поновне векторизације. Када промените модел embeddinga или начин дељења, све мора поново да се обради. Зато унапред планирајте верзионисање и могућност да старе векторе замените новим без прекида рада.

Трећа грешка је фокус само на цени векторизације. Она је обично мали део укупног посла, док највише времена одлази на чишћење докумената, уклањање заглавља и фуснота и проверу квалитета претраге.

Ако корпус расте на десетине хиљада докумената или имате више извора који се често мењају, планирање пипелине-а за обраду и ажурирање постаје захтевније од самог израчуна. У таквим ситуацијама EVI Solutions може да помогне око архитектуре RAG система и аутоматизације припреме података.