Да ли ваш рачунар може да покрене локални AI модел?

Колико VRAM-а треба за локални AI модел

VRAM графичке карте је најважнији ресурс јер модел треба да стоји у њој да bi радио брзо. Груба рачуница за моделе са 7 до 8 милијарди параметара у 4-бит квантизацији је око 5 до 6 GB, за моделе од 14Б око 9 до 10 GB, а за 70Б око 40 GB. На то додајте резерву за контекст и радни простор, па у пракси увек рачунајте 1 до 2 GB више од саме тежине модела.

Када модел не стане у VRAM, део се пребацује у системски RAM. Тада све ради, али осетно спорије, јер се подаци стално премештају преко ПЦИе магистрале. Зато је питање "колико VRAM-а" увек и питање брзине, не само могућности покретања.

Практичан редослед провере:

1. Погледајте тачан модел графичке карте и количину VRAM-а (не само назив серије).
2. Проверите укупан RAM рачунара.
3. Изаберите величину модела и квантизацију.
4. Оставите резерву за контекст и оперативни систем.
5. Тек онда процените да ли ће радити течно или уз повремено пребацивање у RAM.

На Mac рачунарима са Apple Силицон чипом нема одвојене VRAM, јер процесор и графика деле исту меморију. Ту рачунајте укупну меморију, али имајте у виду да део остаје за систем и апликације.

Шта је квантизација и коју да изаберем

Квантизација је смањење прецизије бројева којима је модел записан. Уместо 16 бита по параметру, модел се чува са 8, 4 или мање бита. Time се потрошња меморије драстично смањује, а квалитет одговора опада само благо, посебно код 4-битних варијанти.

Пример: модел од 8 милијарди параметара у 16-битном запису тражи око 16 GB, у 8-битном око 8 GB, а у 4-битном око 4 до 5 GB. Зато 4-битна квантизација (ознаке попут Q4_К_М) практично омогућава локални AI на графичким картама са 8 GB VRAM-а.

Савет за почетнике: почните са 4-битном квантизацијом и проверите квалитет на својим задацима. Ако вам одговори нису довољно прецизни, а имате меморије, пробајте 5 или 6 бита. За превођење, сажимање и једноставније разговоре 4 бита су најчешће сасвим довољна.

Како контекст утиче на потрошњу меморије

Контекст је количина текста коју модел држи "у глави" током разговора, мерена у токенима. Већи контекст значи да модел може да обради дужи документ или дужи разговор, али и да троши више меморије. За сваких неколико хиљада токена контекста потрошња расте, па модел који је једва стао у VRAM лако пређе границу када подигнете контекст.

Практично: ако желите да модел чита дуге документе, планирајте додатну меморију или смањите величину модела. Ако водите кратке разговоре, мањи контекст је довољан и оставља простор за брзину.

Најчешће грешке при процени

Прва грешка је гледање само назива графичке карте. Две картице истог имена могу имати различиту количину VRAM-а, посебно код лаптоп верзија. Друга је заборављање системског RAM-а: ако је модел већи од VRAM-а, RAM постаје уско грло, а 8 GB укупно је данас тесно за озбиљнији рад.

Трећа грешка је очекивање да ће све радити исто као у цлоуду. Локални модели су одлични за приватност и рад без интернета, али брзина зависи од хардвера. Четврта је занемаривање драјвера и подршке: без исправних драјвера графичка карта се неће користити за убрзање.

Ако процена покаже да ваш рачунар не може да покрене модел који вам треба, решења су смањење модела, нижа квантизација или прелазак на јачи хардвер. Када је у питању пословно окружење са више корисника и документима, EVI Solutions може да помогне око приватног AI сервера који ради потпуно локално.