Локални AI (LLM) за фирме: када се исплати и који хардвер треба

За већину фирми цлоуд AI (OpenAI, Anthropic, Google) са пословним уговором је довољно безбедан и најисплативији. Али постоје ситуације када подаци једноставно не смеју да напусте фирму. Тада је решење локални AI.

Када има смисла

• законске или уговорне обавезе (здравство, финансије, јавни сектор, одбрана),
• врло осетљиви документи (уговори, патенти, лични подаци),
• велики број упита где цлоуд трошак постаје висок,
• рад без интернета или у изолованој мрежи.

Који модели

Отворени модели (Llama, Qwen, Mistral, DeepSeek, Gemma и други) данас су веома добри за:

• одговоре из докумената (RAG),
• сажимање и извлачење података,
• класификацију и рутирање,
• интерне цхат асистенте.

За сложено резоновање и кодирање врхунски цлоуд модели су и даље у предности, па често комбинујемо: осетљиви подаци локално, остало кроз цлоуд.

Колико хардвера треба

Оквирно, за 4-бит квантизоване моделе:

• 7 до 8Б параметара: 6 до 8 GB VRAM-а,
• 14Б: око 10 до 12 GB,
• 30 до 32Б: око 20 до 24 GB,
• 70Б: око 40 до 48 GB (две картице или server).

За више истовремених корисника треба додатна меморија за контекст. Проверите ваш рачунар или server у алату Да ли мој рачунар може да покрене локални AI.

Цлоуд или локално: трошак

Локални AI има почетни трошак (server, GPU, подешавање) и мали месечни трошак (струја, одржавање). Цлоуд нема почетни трошак, али плаћате по токену. Преломна тачка зависи од броја упита, а за фирме са стотинама корисника дневно локални AI често се исплати за 12 до 24 месеца. Цлоуд трошак можете проценити у калкулатору трошка AI API-ја.

Како уводимо локални AI

Бирамо модел према задатку и језику (српски је важан критеријум), постављамо server са vLLM или Ollama, повезујемо га са RAG системом и Intrascope радним простором и уводимо мониторинг. Погледајте услугу AI асистента над документима и одржавања IT инфраструктуре, или нам пошаљите упит.