Bilgisayarınız yerel bir yapay zeka modelini çalıştırabilir mi?

Yerel bir AI modeli için ne kadar VRAM gerekir

Ekran kartının VRAM'i en önemli kaynaktır çünkü modelin hızlı çalışması için bu bellekte durması gerekir. 7 ila 8 milyar parametreli modeller için 4 bit kuantizasyonda kaba hesap yaklaşık 5 ila 6 GB, 14B modeller için yaklaşık 9 ila 10 GB, 70B için ise yaklaşık 40 GB'dır. Buna bağlam ve çalışma alanı için pay ekleyin, bu yüzden pratikte her zaman modelin kendi ağırlığından 1 ila 2 GB daha fazlasını hesaplayın.

Model VRAM'e sığmadığında bir kısmı sistem RAM'ine aktarılır. O zaman her şey çalışır ama belirgin şekilde daha yavaştır, çünkü veriler sürekli PCIe veri yolundan taşınır. Bu yüzden "ne kadar VRAM" sorusu her zaman aynı zamanda bir hız sorusudur, sadece çalıştırma imkanı sorusu değil.

Pratik kontrol sırası:

1. Ekran kartının tam modeline ve VRAM miktarına bakın (sadece seri adına değil).
2. Bilgisayarın toplam RAM'ini kontrol edin.
3. Model boyutunu ve kuantizasyonu seçin.
4. Bağlam ve işletim sistemi için pay bırakın.
5. Ancak ondan sonra sorunsuz mu çalışacağını yoksa ara sıra RAM'e aktarma ile mi çalışacağını değerlendirin.

Apple Silicon çipli Mac bilgisayarlarda ayrı VRAM yoktur, çünkü işlemci ve grafik aynı belleği paylaşır. Burada toplam belleği hesaplayın, ancak bir kısmının sistem ve uygulamalar için ayrıldığını unutmayın.

Kuantizasyon nedir ve hangisini seçmeliyim

Kuantizasyon, modelin kaydedildiği sayıların hassasiyetinin azaltılmasıdır. Parametre başına 16 bit yerine model 8, 4 veya daha az bit ile saklanır. Böylece bellek tüketimi büyük ölçüde azalır, yanıt kalitesi ise özellikle 4 bit varyantlarda yalnızca hafifçe düşer.

Örnek: 8 milyar parametreli bir model 16 bit kayıtta yaklaşık 16 GB, 8 bit kayıtta yaklaşık 8 GB, 4 bit kayıtta ise yaklaşık 4 ila 5 GB gerektirir. Bu yüzden 4 bit kuantizasyon (Q4_K_M gibi etiketler) 8 GB VRAM'li ekran kartlarında yerel AI'yi pratikte mümkün kılar.

Yeni başlayanlar için tavsiye: 4 bit kuantizasyonla başlayın ve kaliteyi kendi görevlerinizde kontrol edin. Yanıtlar yeterince isabetli değilse ve belleğiniz varsa 5 veya 6 bit deneyin. Çeviri, özetleme ve daha basit sohbetler için 4 bit çoğu zaman tamamen yeterlidir.

Bağlam bellek tüketimini nasıl etkiler

Bağlam, modelin konuşma sırasında "aklında" tuttuğu metin miktarıdır ve token cinsinden ölçülür. Daha büyük bağlam, modelin daha uzun bir belgeyi veya daha uzun bir konuşmayı işleyebileceği anlamına gelir, ancak daha fazla bellek tüketir. Her birkaç bin token bağlam için tüketim artar, bu yüzden VRAM'e zar zor sığan bir model bağlamı yükselttiğinizde kolayca sınırı aşar.

Pratikte: modelin uzun belgeler okumasını istiyorsanız ek bellek planlayın veya model boyutunu küçültün. Kısa konuşmalar yapıyorsanız daha küçük bağlam yeterlidir ve hız için alan bırakır.

Değerlendirmede en sık yapılan hatalar

İlk hata yalnızca ekran kartı adına bakmaktır. Aynı ada sahip iki kart, özellikle dizüstü sürümlerinde farklı VRAM miktarına sahip olabilir. İkincisi sistem RAM'ini unutmaktır: model VRAM'den büyükse RAM darboğaz haline gelir ve bugün toplam 8 GB ciddi bir çalışma için yetersizdir.

Üçüncü hata, her şeyin bulutta olduğu gibi çalışacağını beklemektir. Yerel modeller gizlilik ve internetsiz çalışma için mükemmeldir, ancak hız donanıma bağlıdır. Dördüncüsü sürücüleri ve desteği ihmal etmektir: doğru sürücüler olmadan ekran kartı hızlandırma için kullanılmaz.

Değerlendirme, bilgisayarınızın ihtiyacınız olan modeli çalıştıramayacağını gösteriyorsa çözümler modeli küçültmek, daha düşük kuantizasyon veya daha güçlü donanıma geçmektir. Birden fazla kullanıcının ve belgenin olduğu bir iş ortamı söz konusu olduğunda, EVI Solutions tamamen yerel çalışan özel bir AI sunucusu konusunda yardımcı olabilir.