Kratak odgovor
Za lokalni AI presudan je VRAM grafičke kartice, a ne snaga procesora. Za modele od 7 do 8 milijardi parametara dovoljno je 8 GB, za 13 do 14 milijardi treba 12 do 16 GB, a za modele od 30 milijardi i više realno je 24 GB ili više. Ako radite samo povremeno, 16 GB je razuman kompromis.
Kako se problem prepoznaje
- Model se učitava sporo ili uopšte ne staje u memoriju grafičke
- Računar počinje da koči i „šteka“ čim AI model počne da odgovara
- Ventilatori rade punom snagom, a odgovori kasne po nekoliko sekundi
- Neka aplikacija radi, a druga javlja grešku o nedovoljnoj memoriji
- Kupili ste skupu grafičku, a model i dalje radi iz memorije procesora
Najčešći uzroci
Model je veći od VRAM-a
Kada model ne staje u memoriju grafičke, deo se prebacuje u sistemski RAM ili na disk, pa brzina pada i po deset puta.
Pogrešan format i kvantizacija
Isti model u punoj preciznosti traži višestruko više memorije od kvantizovane verzije, pa izbor fajla često znači više od same kartice.
Proizvođač grafičke i podrška
Neke kartice rade sa lokalnim AI alatima uz dodatno podešavanje, a neke su podržane odmah, što utiče na to koliko se VRAM-a realno može iskoristiti.
Ostali programi drže memoriju
Pregledač sa mnogo kartica, igre i aplikacije za obradu videa zauzimaju deo VRAM-a pre nego što model uopšte krene da se učitava.
Nedovoljno sistemskog RAM-a
Ako je model veći od VRAM-a, računar koristi sistemsku memoriju, pa 16 GB ukupno brzo postane usko grlo.
Rešenje korak po korak
- 1
Definišite šta ćete pokretati
Prvo odredite namenu: chat i prevođenje, generisanje slika, transkripcija zvuka ili rad sa dokumentima. Za razgovor i tekst dovoljan je manji model, dok generisanje slika i videa traži više memorije. Zapišite dva ili tri konkretna modela koja želite da koristite, jer se prema njima bira kartica, a ne obrnuto.
- 2
Izračunajte potreban VRAM
Gruba računica: broj parametara modela u milijardama pomnožen sa veličinom po parametru. U kvantizaciji od oko 4 bita to je otprilike 0,6 GB po milijardi parametara, pa model od 8 milijardi traži oko 5 GB, a od 14 milijardi oko 9 GB. Dodajte 2 do 3 GB za kontekst i rad aplikacije. U 16-bitnoj preciznosti računajte oko 2 GB po milijardi parametara.
- 3
Izaberite razred VRAM-a
Za modele do 8 milijardi parametara dovoljno je 8 GB. Za 13 do 14 milijardi uz duži kontekst realno je 12 do 16 GB. Za modele od 30 milijardi i više, kao i za zahtevnije generisanje slika i videa, preporučuje se 24 GB ili više. Ako povremeno koristite i veće modele, 16 GB je najbolji kompromis između cene i korisnosti.
- 4
Proverite podršku za vaš sistem
Na Windows računaru proverite u
Task Manager > Performance > GPUkoliko memorije kartica ima i koliko je trenutno zauzeto. Za NVIDIA kartice instalirajte aktuelni drajver sa zvaničnog sajta proizvođača, jer lokalni AI alati najčešće najbolje rade sa CUDA podrškom. AMD i Intel kartice su podržane u novijim alatima, ali uz više podešavanja. - 5
Uskladite ostatak konfiguracije
Uz grafičku obezbedite najmanje 32 GB sistemskog RAM-a ako planirate modele veće od VRAM-a, jer se tada deo modela drži u sistemskoj memoriji. Napajanje mora da podnese vršno opterećenje kartice, a kućište mora da ima dovoljan protok vazduha. SSD od najmanje 1 TB je praktičan jer modeli zauzimaju po nekoliko desetina GB.
- 6
Testirajte pre kupovine
Ako imate računar sa bilo kojom novijom grafičkom, pokrenite željeni model i pratite u
Task Manager > Performance > GPUkoliko memorije koristi i da li se preliva u sistemsku memoriju. To vam daje realnu sliku o tome koliko vam VRAM-a treba. Ako kartica nema dovoljno memorije, alat koji podržava prelivanje radiće znatno sporije, a neki alati će prijaviti grešku. - 7
Odlučite između kartice i gotovog računara
Desktop kartica se ugrađuje u postojeće kućište i lako menja kasnije, ali proverite dužinu kartice, broj pinova napajanja i snagu napajanja. Prenosni računari sa jakom grafičkom su skuplji i teže se nadograđuju, a istoimena kartica u prenosnom računaru često ima manje VRAM-a od desktop verzije. Za stalni rad kod kuće ili u kancelariji desktop je isplativiji.
- 8
Instalirajte alat i proverite rad
Instalirajte alat za lokalno pokretanje modela sa zvaničnog sajta i učitajte model koji odgovara vašoj memoriji. Pratite vreme do prvog odgovora i brzinu generisanja; ako je sve u redu, model ostaje u VRAM-u. Ako alat javi grešku o nedovoljnoj memoriji, smanjite veličinu modela ili dužinu konteksta pre nego što razmišljate o novoj kartici.
Kada je bolje ići na cloud ili deliti jedan računar
Lokalni AI ima smisla kada podaci ne smeju da napuste računar ili kada model koristite svakodnevno. Ako model pokrećete nekoliko puta mesečno, plaćanje po potrošnji na cloud servisu često je jeftinije od kartice od 24 GB. U firmi sa više korisnika razmislite o jednom jačem računaru koji deli model preko lokalne mreže, umesto da svako kupuje jaku grafičku. Za eksperimente je dovoljna i kartica sa 12 GB uz manje modele, a kasnije se nadograđuje. Ne kupujte najjaču karticu unapred: prvo proverite koje modele zaista koristite.
Kako da sprečite da se ponovi
- Pre kupovine proverite tačan model kartice i količinu VRAM-a, ne samo naziv serije
- Održavajte drajvere grafičke ažurnim sa zvaničnog sajta proizvođača
- Zatvorite nepotrebne programe pre pokretanja većeg modela
- Obezbedite najmanje 32 GB sistemskog RAM-a ako koristite modele veće od VRAM-a
Kada je bolje pozvati stručnjaka
Obratite se IT podršci ako niste sigurni koje modele ćete koristiti, ako birate računar za više korisnika u firmi ili ako alat prijavljuje greške o memoriji i posle smanjenja modela.
Održavanje IT infrastrukture · Serveri, mreže, backup, bezbednost i helpdeskČesta pitanja
Da li je 8 GB VRAM-a dovoljno za lokalni AI?
Za modele do 8 milijardi parametara u kvantizovanoj verziji jeste, uz kraći kontekst. Za veće modele ili duže razgovore biće potrebno više memorije, inače model radi znatno sporije.
Da li je važnija grafička ili procesor?
Za lokalni AI presudna je grafička kartica i količina VRAM-a. Procesor i brzina diska utiču na učitavanje modela, ali ne na brzinu odgovora kada model staje u memoriju kartice.
Mogu li da koristim integrisanu grafičku?
Možete za manje modele, ali su brzine znatno niže, a integrisana grafika deli memoriju sa sistemskom. Za ozbiljniji rad preporučuje se namenska kartica sa sopstvenim VRAM-om.