Калкулатор трошка AI API-ја (токени)

Како израчунати месечни трошак AI API-ја

Обрачун почиње од три броја која морате знати пре него што уопште погледате ценовник: колико захтева дневно имате, колико токена просечно улази у сваки захтев и колико токена модел враћа. Већина људи погреши тако што процени само дужину питања, а заборави контекст који се шаље уз свако питање: системска упутства, претходне поруке у разговору, извучене делове докумената. У разговорним апликацијама контекст често чини 70 до 90 процената улазних токена.

Поступак:

1. Узмите десет стварних захтева из продукције или тестова и препишите их у текстуални фајл.
2. Измерите улазне токене алатом провајдера (токенизер) или грубом проценом: број карактера подељен са 3 за српски.
3. Измерите излазне токене на исти начин, али само за одговоре које модел заиста враћа.
4. Помножите просеке са бројем захтева дневно, па са 30 за месец.
5. Примените цене по милион токена за улаз и излаз одвојено и саберите.

Пример: 2.000 захтева дневно, 1.500 улазних и 300 излазних токена. То је 3 милиона улазних и 600 хиљада излазних токена дневно, односно 90 милиона улазних и 18 милиона излазних месечно. Ако је улаз 1 новчана јединица по милиону токена, а излаз 4, месечни трошак је 90 + 72 = 162 јединице. Овакав рашчлањен обрачун одмах показује где треба сећи.

Шта је токен и зашто српски текст кошта више

Токен није реч ни слово, него комад текста који модел обрађује као једну јединицу. Енглеске речи се често деле на један токен, док се дуже српске речи са наставцима деле на два или три. Зато исти садржај на српском заузме више токена него на енглеском, а разлика је највећа код падежних облика, сложеница и речи са дијакритицима.

Практична последица: ако преводите prompt са енглеског и не прилагодите га, плаћате више него што мислите. Кратке инструкције на српском су у реду, али дугачке шаблоне и описе производа исплати се писати што сажетије. Исто важи за JSON излаз: сваки кључ, наводник и заграда се броје.

Савет за напредне: уместо да погађате, направите мали тестни скуп од 20 до 30 примера и мерите токене програмски пре сваког позива. Та мерења вам касније служе као основа за буџет и за поређење модела, јер се разлика између два модела често види тек на стварним подацима, не на демо промпту.

Најчешће грешке у процени трошка

• Рачунање само последњег питања. Заборавља се историја разговора која се поново шаље при сваком захтеву.
• Занемаривање излазних токена. Људи унесу цену улаза и помисле да је то цео трошак, а излаз је обично неколико пута скупљи.
• Просеци без репова. Ретки захтеви са огромним документом могу надмашити стотине обичних. Проверите и највеће захтеве, не само просек.
• Застареле цене. Провајдери мењају ценовнике и уводе нове класе модела, па обрачун стар месец дана може бити погрешан.
• Ситни захтеви у великом броју. Код веома кратких одговора трошак по захтеву је мали, али 50.000 захтева дневно и даље прави озбиљан рачун.

Како смањити трошак без губитка квалитета

Прво проверите да ли сваки захтев заиста мора да иде на најјачи модел. Рутинске задатке као што су класификација, издвајање поља из текста и кратки сажеци често одради мањи модел уз сличан резултат. Друго, скратите контекст: уместо целог документа пошаљите само релевантне одломке, а историју разговора ограничите на последњих неколико порука. Треће, кеширајте одговоре на поновљена питања и поставите тврдо ограничење броја излазних токена, јер се time спречавају ретки али скупи „романи" у одговору.

Ако трошак расте брже од броја корисника, проблем је обично у архитектури позива, а не у цени модела. EVI Solutions може помоћи када треба увести праћење потрошње по кориснику и пројекту и поставити буџете на нивоу апликације.