Кратак одговор
За локални AI пресудан је VRAM графичке картице, а не снага процесора. За моделе од 7 до 8 милијарди параметара довољно је 8 GB, за 13 до 14 милијарди треба 12 до 16 GB, а за моделе од 30 милијарди и више реално је 24 GB или више. Ако радите само повремено, 16 GB је разуман компромис.
Како се проблем препознаје
- Модел се учитава споро или уопште не стаје у меморију графичке
- Рачунар почиње да кочи и „штека“ чим AI модел почне да одговара
- Вентилатори раде пуном снагом, а одговори касне по неколико секунди
- Нека апликација ради, а друга јавља грешку о недовољној меморији
- Купили сте скупу графичку, а модел и даље ради из меморије процесора
Најчешћи узроци
Модел је већи од VRAM-а
Када модел не стаје у меморију графичке, део се пребацује у системски RAM или на диск, па брзина пада и по десет пута.
Погрешан формат и квантизација
Исти модел у пуној прецизности тражи вишеструко више меморије од квантизоване верзије, па избор фајла често значи више од саме картице.
Произвођач графичке и подршка
Неке картице раде са локалним AI алатима уз додатно подешавање, а неке су подржане одмах, што утиче на то колико се VRAM-а реално може искористити.
Остали програми држе меморију
Прегледач са много картица, игре и апликације за обраду видеа заузимају део VRAM-а пре него што модел уопште крене да се учитава.
Недовољно системског RAM-а
Ако је модел већи од VRAM-а, рачунар користи системску меморију, па 16 GB укупно брзо постане уско грло.
Решење корак по корак
- 1
Дефинишите шта ћете покретати
Прво одредите намену: цхат и превођење, генерисање слика, транскрипција звука или рад са документима. За разговор и текст довољан је мањи модел, док генерисање слика и видеа тражи више меморије. Запишите два или три конкретна модела која желите да користите, јер се према њима бира картица, а не обрнуто.
- 2
Израчунајте потребан VRAM
Груба рачуница: број параметара модела у милијардама помножен са величином по параметру. У квантизацији од око 4 бита то је отприлике 0,6 GB по милијарди параметара, па модел од 8 милијарди тражи око 5 GB, а од 14 милијарди око 9 GB. Додајте 2 до 3 GB за контекст и рад апликације. У 16-битној прецизности рачунајте око 2 GB по милијарди параметара.
- 3
Изаберите разред VRAM-а
За моделе до 8 милијарди параметара довољно је 8 GB. За 13 до 14 милијарди уз дужи контекст реално је 12 до 16 GB. За моделе од 30 милијарди и више, као и за захтевније генерисање слика и видеа, препоручује се 24 GB или више. Ако повремено користите и веће моделе, 16 GB је најбољи компромис између цене и корисности.
- 4
Проверите подршку за ваш систем
На Windows рачунару проверите у
Task Manager > Performance > GPUколико меморије картица има и колико је тренутно заузето. За NVIDIA картице инсталирајте актуелни драјвер са званичног сајта произвођача, јер локални AI алати најчешће најбоље раде са CUDA подршком. AMD и Интел картице су подржане у новијим алатима, али уз више подешавања. - 5
Ускладите остатак конфигурације
Уз графичку обезбедите најмање 32 GB системског RAM-а ако планирате моделе веће од VRAM-а, јер се тада део модела држи у системској меморији. Напајање мора да поднесе вршно оптерећење картице, а кућиште мора да има довољан проток ваздуха. SSD од најмање 1 TB је практичан јер модели заузимају по неколико десетина GB.
- 6
Тестирајте пре куповине
Ако имате рачунар са било којом новијом графичком, покрените жељени модел и пратите у
Task Manager > Performance > GPUколико меморије користи и да ли се прелива у системску меморију. То вам даје реалну слику о томе колико вам VRAM-а треба. Ако картица нема довољно меморије, алат који подржава преливање радиће знатно спорије, а неки алати ће пријавити грешку. - 7
Одлучите између картице и готовог рачунара
Десктоп картица се уграђује у постојеће кућиште и лако мења касније, али проверите дужину картице, број пинова напајања и снагу напајања. Преносни рачунари са јаком графичком су скупљи и теже се надограђују, а истоимена картица у преносном рачунару често има мање VRAM-а од десктоп верзије. За стални рад код куће или у канцеларији десктоп је исплативији.
- 8
Инсталирајте алат и проверите рад
Инсталирајте алат за локално покретање модела са званичног сајта и учитајте модел који одговара вашој меморији. Пратите време до првог одговора и брзину генерисања; ако је све у реду, модел остаје у VRAM-у. Ако алат јави грешку о недовољној меморији, смањите величину модела или дужину контекста пре него што размишљате о новој картици.
Када је боље ићи на цлоуд или делити један рачунар
Локални AI има смисла када подаци не смеју да напусте рачунар или када модел користите свакодневно. Ако модел покрећете неколико пута месечно, плаћање по потрошњи на цлоуд сервису често је јефтиније од картице од 24 GB. У фирми са више корисника размислите о једном јачем рачунару који дели модел преко локалне мреже, уместо да свако купује јаку графичку. За експерименте је довољна и картица са 12 GB уз мање моделе, а касније се надограђује. Не купујте најјачу картицу унапред: прво проверите које моделе заиста користите.
Како да спречите да се понови
- Пре куповине проверите тачан модел картице и количину VRAM-а, не само назив серије
- Одржавајте драјвере графичке ажурним са званичног сајта произвођача
- Затворите непотребне програме пре покретања већег модела
- Обезбедите најмање 32 GB системског RAM-а ако користите моделе веће од VRAM-а
Када је боље позвати стручњака
Обратите се IT подршци ако нисте сигурни које моделе ћете користити, ако бирате рачунар за више корисника у фирми или ако алат пријављује грешке о меморији и после смањења модела.
Одржавање IT инфраструктуре · Сервери, мреже, backup, безбедност и хелпдескЧеста питања
Да ли је 8 GB VRAM-а довољно за локални AI?
За моделе до 8 милијарди параметара у квантизованој верзији јесте, уз краћи контекст. За веће моделе или дуже разговоре биће потребно више меморије, иначе модел ради знатно спорије.
Да ли је важнија графичка или процесор?
За локални AI пресудна је графичка картица и количина VRAM-а. Процесор и брзина диска утичу на учитавање модела, али не на брзину одговора када модел стаје у меморију картице.
Могу ли да користим интегрисану графичку?
Можете за мање моделе, али су брзине знатно ниже, а интегрисана графика дели меморију са системском. За озбиљнији рад препоручује се наменска картица са сопственим VRAM-ом.