Çoğu şirket için kurumsal sözleşme kapsamındaki bulut yapay zekası (OpenAI, Anthropic, Google) yeterince güvenlidir ve en uygun maliyetli seçenektir. Ancak bazen veriler şirket dışına hiçbir şekilde çıkamaz. İşte o zaman cevap yerel yapay zekadır.
Ne zaman mantıklı
- yasal veya sözleşmesel yükümlülükler (sağlık, finans, kamu sektörü, savunma),
- son derece hassas belgeler (sözleşmeler, patentler, kişisel veriler),
- bulut maliyetinin önemli hale geldiği çok yüksek talep hacimleri,
- çevrimdışı veya hava boşluklu (air-gapped) ortamlar.
Hangi modeller
Açık modeller (Llama, Qwen, Mistral, DeepSeek, Gemma ve diğerleri) artık şu konularda çok iyi:
- belgelerden yanıt verme (RAG),
- özetleme ve veri çıkarma,
- sınıflandırma ve yönlendirme,
- dahili sohbet asistanları.
Karmaşık akıl yürütme ve kodlama söz konusu olduğunda en iyi bulut modelleri hâlâ öndedir, bu nedenle sıklıkla birleştiririz: hassas veriler yerelde, geri kalan her şey bulut üzerinden.
Ne kadar donanım gerekir
Kabaca, 4 bit kuantize modeller için:
- 7 ila 8 milyar parametre: 6 ila 8 GB VRAM,
- 14 milyar: yaklaşık 10 ila 12 GB,
- 30 ila 32 milyar: yaklaşık 20 ila 24 GB,
- 70 milyar: yaklaşık 40 ila 48 GB (iki GPU veya bir sunucu).
Eşzamanlı kullanıcılar için bağlam amacıyla ek bellek gerekir. Makinenizi Bilgisayarım yerel bir yapay zeka modeli çalıştırabilir mi aracıyla kontrol edin.
Bulut mu, yerel mi: maliyet
Yerel yapay zekanın başlangıç maliyeti (sunucu, GPU, kurulum) ve düşük aylık maliyeti (elektrik, bakım) vardır. Bulutun başlangıç maliyeti yoktur, ancak token başına ödeme yaparsınız. Başabaş noktası hacme bağlıdır; günde yüzlerce kullanıcısı olan şirketler için yerel yapay zeka genellikle 12 ila 24 ay içinde kendini amorti eder. Bulut maliyetini LLM API maliyet hesaplayıcısı ile tahmin edin.
Yerel yapay zekayı nasıl kuruyoruz
Göreve ve dile göre bir model seçiyoruz, vLLM veya Ollama ile bir sunucu kuruyoruz, bunu bir RAG sistemine ve Intrascope çalışma alanına bağlıyoruz ve izleme ekliyoruz. Yapay zeka belge asistanı ve BT altyapısı bakımı hizmetlerimize göz atın veya bize bir talep gönderin.
Sık sorulan sorular
Yerel yapay zeka ChatGPT kadar iyi mi?
En iyi bulut modelleri karmaşık akıl yürütmede hâlâ daha güçlü, ancak orta ölçekli açık modeller RAG, sınıflandırma, özetleme ve dahili asistanlar için fazlasıyla yeterli.
Yerel yapay zeka için hangi sunucuya ihtiyacım var?
7 ila 14 milyar parametreli modeller için 16 ila 24 GB VRAM'e sahip tek bir GPU yeterlidir. Daha büyük modeller ve çok sayıda kullanıcı için çok GPU'lu sunucular gerekir.
Sizi neyin yavaşlattığını anlatın
Bir iş günü içinde yanıt veriyoruz. İlk görüşme ve değerlendirme ücretsizdir.
Talep gönder
