Kratak odgovor
Lokalni AI pokrećete tako što instalirate program za rad modela (na primer Ollama ili LM Studio), preuzmete model prilagođen količini RAM-a i pokrenete ga u tom programu ili kroz njegov interfejs. Sve ostaje na računaru, ali brzina i kvalitet zavise od procesora, grafike i memorije, pa je za početak najbolji manji model.
Kako se problem prepoznaje
- Želite da koristite AI, ali ne smete da šaljete podatke u oblak
- AI alat u pregledaču ne radi ili je nedostupan
- Firma traži obradu dokumenata bez slanja na spoljne servere
- Računar je spor kada se pokrene veći model
- Model se preuzima ali ne daje odgovore ili se ruši
Najčešći uzroci
Nedovoljno RAM-a ili VRAM-a
Modeli se učitavaju u radnu memoriju, a veći modeli traže i nekoliko desetina GB. Ako nema dovoljno memorije, program prelazi na disk i rad postaje veoma spor.
Pogrešan izbor modela
Model sa više parametara daje bolje odgovore, ali je za kućni računar često pretežak. Manji modeli rade brže uz malo slabiji kvalitet.
Nema podrške za grafičko ubrzanje
Bez odgovarajućeg drajvera ili sa nepodržanom grafikom, model radi samo na procesoru, što je znatno sporije.
Nedovoljno prostora na disku
Svaki model zauzima nekoliko GB, a programi čuvaju i privremene fajlove. Bez slobodnog prostora preuzimanje ili rad se prekidaju.
Mreža ili prekid preuzimanja
Prvo preuzimanje modela je veliko, pa slaba veza ili prekid dovode do nepotpunog fajla i greške pri pokretanju.
Rešenje korak po korak
- 1
Proverite hardver
Otvorite stranicu sa osnovnim podacima o sistemu: na Windowsu
Podešavanja > Sistem > O sistemu, na macOS-uApple meni > O ovom Macu, a na Linuxu pregledajte podešavanja sistema ili u terminalu pokrenitefree -h. Pogledajte količinu RAM-a i tip procesora. Za manji model od oko 3 do 4 milijarde parametara preporučuje se 8 GB RAM-a, a za modele od 7 do 8 milijardi parametara 16 GB. Proverite i slobodan prostor na disku, najmanje 10 do 20 GB. - 2
Izaberite program za lokalni rad
Najjednostavniji put su programi koji sami preuzimaju i pokreću modele, kao što su Ollama (radi u komandnoj liniji) ili LM Studio (ima grafički interfejs). Instalirajte jedan od njih sa zvaničnog sajta, prema uputstvu za vaš sistem. Ne preuzimajte instalacije sa nepoznatih sajtova i linkova iz mejlova.
- 3
Preuzmite manji model
U LM Studio-u otvorite karticu za pretragu modela, ukucajte naziv porodice modela i izaberite verziju sa oznakom veličine koja odgovara vašem RAM-u. U Ollama-i to radite komandom u terminalu, na primer
ollama pullpraćeno nazivom modela. Počnite sa manjim modelom, pa kasnije probajte veći. - 4
Pokrenite model i postavite prvo pitanje
U LM Studio-u izaberite preuzeti model i kliknite na dugme za učitavanje, pa u polje za razgovor upišite kratko pitanje. U Ollama-i pokrenite model komandom
ollama runsa nazivom modela, pa kucajte pitanje u istoj liniji. Prvi odgovor može da potraje duže jer se model učitava u memoriju. - 5
Proverite da li radi bez interneta
Isključite Wi-Fi ili iskopčajte mrežni kabl i ponovite pitanje. Ako odgovor i dalje stiže, model radi lokalno i podaci ne napuštaju računar. Ako program traži vezu, proverite da li ste slučajno izabrali opciju rada preko oblaka.
- 6
Podesite ubrzanje na grafici
U LM Studio-u u podešavanjima modela potražite opciju za broj slojeva koji se šalju na grafiku i povećavajte je postepeno dok ne dobijete brži rad bez greške. Na Windowsu i macOS-u prvo ažurirajte drajver grafike, odnosno sistem. Ako računar počne da se ruši ili zamrzava, smanjite broj slojeva.
- 7
Prilagodite dužinu odgovora
Dugački odgovori troše vreme i memoriju. U podešavanjima razgovora smanjite maksimalan broj tokena i temperaturu na umerenu vrednost. Za sažetke i prepisivanje teksta tražite kraće odgovore i postavljajte konkretna pitanja.
- 8
Sačuvajte podešavanja i napravite rezervnu kopiju
Zapišite koji model i koja podešavanja koristite, da biste ih lako vratili. Ako program čuva razgovore u lokalnom folderu, povremeno napravite kopiju tog foldera. Modele možete ponovo preuzeti, ali podešavanja i istoriju razgovora ne.
Kada lokalni model nije dovoljan
Lokalni modeli su dobri za prepisivanje, sažimanje kraćih tekstova, prevod i rad sa osetljivim podacima koji ne smeju da napuste računar. Za složene analize, dugačke dokumente i najnovije informacije često su slabiji od cloud alata, jer ne poznaju događaje posle trenutka treniranja i nemaju pristup internetu. Ako vam treba bolji kvalitet, prvo probajte veći model na računaru sa više RAM-a, a zatim razmotrite namenski server u firmi. Za poslovnu upotrebu unapred definišite ko sme da pokreće modele, gde se čuvaju fajlovi i koje podatke smete da unosite, čak i kada sve ostaje lokalno.
Kako da sprečite da se ponovi
- Preuzimajte programe i modele samo sa zvaničnih sajtova i iz zvaničnih izvora
- Pre pokretanja većeg modela proverite slobodan RAM i prostor na disku
- Redovno ažurirajte drajvere grafike i sam program za lokalni rad
- Čuvajte kopiju podešavanja i istorije razgovora koja vam je važna
Kada je bolje pozvati stručnjaka
Obratite se IT podršci ako model ne može da se učita ni posle smanjenja veličine, ako se računar ruši pri radu sa grafikom ili ako u firmi treba uspostaviti pravila za lokalnu obradu osetljivih podataka.
AI automatizacija · AI agenti koji obrađuju dokumente, emailove i podatkeČesta pitanja
Da li lokalni AI zaista radi bez interneta?
Da, kada je model preuzet i učitan, odgovori se obrađuju na vašem računaru. Internet je potreban samo za prvo preuzimanje programa i modela, kao i za kasnija ažuriranja.
Koliko RAM-a mi treba za lokalni model?
Za manji model od oko 3 do 4 milijarde parametara dovoljno je 8 GB RAM-a, a za modele od 7 do 8 milijardi parametara preporučuje se 16 GB. Veći modeli traže znatno više memorije i jaču grafiku.
Da li su moji podaci bezbedni ako koristim lokalni model?
Podaci ostaju na računaru i ne šalju se provajderu, ali to ne znači da su automatski zaštićeni. Pristup računaru, kopije fajlova i eventualno deljenje rezultata i dalje podležu pravilima firme.