Кратак одговор
Локални AI покрећете тако што инсталирате програм за рад модела (на пример Ollama или LM Studio), преузмете модел прилагођен количини RAM-а и покренете га у том програму или кроз његов интерфејс. Све остаје на рачунару, али брзина и квалитет зависе од процесора, графике и меморије, па је за почетак најбољи мањи модел.
Како се проблем препознаје
- Желите да користите AI, али не смете да шаљете податке у облак
- AI алат у прегледачу не ради или је недоступан
- Фирма тражи обраду докумената без слања на спољне сервере
- Рачунар је спор када се покрене већи модел
- Модел се преузима али не даје одговоре или се руши
Најчешћи узроци
Недовољно RAM-а или VRAM-а
Модели се учитавају у радну меморију, а већи модели траже и неколико десетина GB. Ако нема довољно меморије, програм прелази на диск и рад постаје веома спор.
Погрешан избор модела
Модел са више параметара даје боље одговоре, али је за кућни рачунар често претежак. Мањи модели раде брже уз мало слабији квалитет.
Нема подршке за графичко убрзање
Без одговарајућег драјвера или са неподржаном графиком, модел ради само на процесору, што је знатно спорије.
Недовољно простора на диску
Сваки модел заузима неколико GB, а програми чувају и привремене фајлове. Без слободног простора преузимање или рад се прекидају.
Мрежа или прекид преузимања
Прво преузимање модела је велико, па слаба веза или прекид доводе до непотпуног фајла и грешке при покретању.
Решење корак по корак
- 1
Проверите хардвер
Отворите страницу са основним подацима о систему: на Windowsu
Podešavanja > Sistem > O sistemu, на macOS-uApple meni > O ovom Macu, а на Linuxu прегледајте подешавања система или у терминалу покренитеfree -h. Погледајте количину RAM-а и тип процесора. За мањи модел од око 3 до 4 милијарде параметара препоручује се 8 GB RAM-а, а за моделе од 7 до 8 милијарди параметара 16 GB. Проверите и слободан простор на диску, најмање 10 до 20 GB. - 2
Изаберите програм за локални рад
Најједноставнији пут су програми који сами преузимају и покрећу моделе, као што су Ollama (ради у командној линији) или LM Studio (има графички интерфејс). Инсталирајте један од њих са званичног сајта, према упутству за ваш систем. Не преузимајте инсталације са непознатих сајтова и линкова из мејлова.
- 3
Преузмите мањи модел
У LM Studio-у отворите картицу за претрагу модела, укуцајте назив породице модела и изаберите верзију са ознаком величине која одговара вашем RAM-у. У Ollama-i то радите командом у терминалу, на пример
ollama pullпраћено називом модела. Почните са мањим моделом, па касније пробајте већи. - 4
Покрените модел и поставите прво питање
У LM Studio-у изаберите преузети модел и кликните на дугме за учитавање, па у поље за разговор упишите кратко питање. У Ollama-i покрените модел командом
ollama runса називом модела, па куцајте питање у истој линији. Први одговор може да потраје дуже јер се модел учитава у меморију. - 5
Проверите да ли ради без интернета
Искључите Wi-Fi или ископчајте мрежни кабл и поновите питање. Ако одговор и даље стиже, модел ради локално и подаци не напуштају рачунар. Ако програм тражи везу, проверите да ли сте случајно изабрали опцију рада преко облака.
- 6
Подесите убрзање на графици
У LM Studio-у у подешавањима модела потражите опцију за број слојева који се шаљу на графику и повећавајте је постепено док не добијете бржи рад без грешке. На Windowsu и macOS-u прво ажурирајте драјвер графике, односно систем. Ако рачунар почне да се руши или замрзава, смањите број слојева.
- 7
Прилагодите дужину одговора
Дугачки одговори троше време и меморију. У подешавањима разговора смањите максималан број токена и температуру на умерену вредност. За сажетке и преписивање текста тражите краће одговоре и постављајте конкретна питања.
- 8
Сачувајте подешавања и направите резервну копију
Запишите који модел и која подешавања користите, да бисте их лако вратили. Ако програм чува разговоре у локалном фолдеру, повремено направите копију тог фолдера. Моделе можете поново преузети, али подешавања и историју разговора не.
Када локални модел није довољан
Локални модели су добри за преписивање, сажимање краћих текстова, превод и рад са осетљивим подацима који не смеју да напусте рачунар. За сложене анализе, дугачке документе и најновије информације често су слабији од цлоуд алата, јер не познају догађаје после тренутка тренирања и немају приступ интернету. Ако вам треба бољи квалитет, прво пробајте већи модел на рачунару са више RAM-а, а затим размотрите наменски server у фирми. За пословну употребу унапред дефинишите ко сме да покреће моделе, где се чувају фајлови и које податке смете да уносите, чак и када све остаје локално.
Како да спречите да се понови
- Преузимајте програме и моделе само са званичних сајтова и из званичних извора
- Пре покретања већег модела проверите слободан RAM и простор на диску
- Редовно ажурирајте драјвере графике и сам програм за локални рад
- Чувајте копију подешавања и историје разговора која вам је важна
Када је боље позвати стручњака
Обратите се IT подршци ако модел не може да се учита ни после смањења величине, ако се рачунар руши при раду са графиком или ако у фирми треба успоставити правила за локалну обраду осетљивих података.
AI аутоматизација · AI агенти који обрађују документе, емаилове и податкеЧеста питања
Да ли локални AI заиста ради без интернета?
Да, када је модел преузет и учитан, одговори се обрађују на вашем рачунару. Интернет је потребан само за прво преузимање програма и модела, као и за каснија ажурирања.
Колико RAM-а ми треба за локални модел?
За мањи модел од око 3 до 4 милијарде параметара довољно је 8 GB RAM-а, а за моделе од 7 до 8 милијарди параметара препоручује се 16 GB. Већи модели траже знатно више меморије и јачу графику.
Да ли су моји подаци безбедни ако користим локални модел?
Подаци остају на рачунару и не шаљу се провајдеру, али то не значи да су аутоматски заштићени. Приступ рачунару, копије фајлова и евентуално дељење резултата и даље подлежу правилима фирме.