Kısa cevap
Yerel yapay zeka için belirleyici olan işlemci gücü değil, ekran kartının VRAM'idir. 7 ila 8 milyar parametreli modeller için 8 GB yeterlidir, 13 ila 14 milyar için 12 ila 16 GB gerekir, 30 milyar ve üzeri modeller için gerçekçi olarak 24 GB veya daha fazlası gerekir. Yalnızca ara sıra kullanıyorsanız, 16 GB makul bir uzlaşmadır.
Sorun nasıl anlaşılır
- Model yavaş yükleniyor veya ekran kartı belleğine hiç sığmıyor
- Yapay zeka modeli yanıt vermeye başladığında bilgisayar takılmaya ve donmaya başlıyor
- Fanlar tam güçte çalışıyor ve yanıtlar birkaç saniye gecikiyor
- Bir uygulama çalışıyor, diğeri yetersiz bellek hatası veriyor
- Pahalı bir ekran kartı aldınız ama model hâlâ işlemci belleğinden çalışıyor
En yaygın nedenler
Model VRAM'den daha büyük
Model ekran kartı belleğine sığmadığında bir kısmı sistem RAM'ine veya diske aktarılır, bu da hızın on kata kadar düşmesine neden olur.
Yanlış format ve niceleme
Aynı model tam hassasiyette, nicelenmiş sürümünden kat kat daha fazla bellek gerektirir, bu nedenle dosya seçimi genellikle kartın kendisinden daha önemlidir.
Ekran kartı üreticisi ve destek
Bazı kartlar yerel yapay zeka araçlarıyla ek ayar gerektirerek çalışır, bazıları ise hemen desteklenir; bu da gerçekte ne kadar VRAM kullanılabileceğini etkiler.
Diğer programlar belleği tutuyor
Çok sayıda sekme açık tarayıcı, oyunlar ve video işleme uygulamaları, model yüklenmeye başlamadan önce VRAM'in bir kısmını işgal eder.
Yetersiz sistem RAM'i
Model VRAM'den büyükse bilgisayar sistem belleğini kullanır, bu nedenle toplam 16 GB hızla darboğaz haline gelir.
Adım adım çözüm
- 1
Neyi çalıştıracağınızı belirleyin
Önce amacı belirleyin: sohbet ve çeviri, görsel oluşturma, ses transkripsiyonu veya belgelerle çalışma. Sohbet ve metin için daha küçük bir model yeterlidir, görsel ve video oluşturma daha fazla bellek gerektirir. Kullanmak istediğiniz iki veya üç somut modeli yazın, çünkü kart modellere göre seçilir, tersi değil.
- 2
Gerekli VRAM'i hesaplayın
Kaba hesap: modelin milyar cinsinden parametre sayısı çarpı parametre başına boyut. Yaklaşık 4 bit nicelemede bu, milyar parametre başına yaklaşık 0,6 GB'tır, yani 8 milyar parametreli bir model yaklaşık 5 GB, 14 milyar parametreli ise yaklaşık 9 GB gerektirir. Bağlam ve uygulama çalışması için 2 ila 3 GB ekleyin. 16 bit hassasiyette milyar parametre başına yaklaşık 2 GB hesaplayın.
- 3
VRAM sınıfını seçin
8 milyar parametreye kadar modeller için 8 GB yeterlidir. 13 ila 14 milyar parametre ve daha uzun bağlam için gerçekçi olarak 12 ila 16 GB gerekir. 30 milyar ve üzeri modeller ile daha zorlu görsel ve video oluşturma için 24 GB veya daha fazlası önerilir. Ara sıra daha büyük modeller de kullanıyorsanız, 16 GB fiyat ve kullanışlılık arasındaki en iyi uzlaşmadır.
- 4
Sisteminiz için desteği kontrol edin
Windows bilgisayarda
Task Manager > Performance > GPUbölümünde kartın ne kadar belleği olduğunu ve şu anda ne kadarının kullanıldığını kontrol edin. NVIDIA kartlar için üreticinin resmi sitesinden güncel sürücüyü yükleyin, çünkü yerel yapay zeka araçları en iyi genellikle CUDA desteğiyle çalışır. AMD ve Intel kartlar yeni araçlarda desteklenir, ancak daha fazla ayar gerektirir. - 5
Yapılandırmanın geri kalanını uyumlu hale getirin
VRAM'den büyük modeller planlıyorsanız, ekran kartının yanında en az 32 GB sistem RAM'i sağlayın, çünkü o zaman modelin bir kısmı sistem belleğinde tutulur. Güç kaynağı kartın tepe yükünü kaldırabilmeli ve kasa yeterli hava akışına sahip olmalıdır. En az 1 TB SSD pratiktir çünkü modeller onlarca GB yer kaplar.
- 6
Satın almadan önce test edin
Herhangi bir yeni ekran kartı olan bir bilgisayarınız varsa, istediğiniz modeli çalıştırın ve
Task Manager > Performance > GPUbölümünde ne kadar bellek kullandığını ve sistem belleğine taşıp taşmadığını izleyin. Bu size ne kadar VRAM'e ihtiyacınız olduğu konusunda gerçekçi bir fikir verir. Kartta yeterli bellek yoksa, taşmayı destekleyen araç önemli ölçüde daha yavaş çalışır ve bazı araçlar hata verir. - 7
Kart ile hazır bilgisayar arasında karar verin
Masaüstü kart mevcut kasaya takılır ve daha sonra kolayca değiştirilir, ancak kartın uzunluğunu, güç kaynağı pin sayısını ve güç kaynağının gücünü kontrol edin. Güçlü ekran kartlı dizüstü bilgisayarlar daha pahalıdır ve yükseltilmesi daha zordur; ayrıca dizüstü bilgisayardaki aynı adlı kart genellikle masaüstü sürümünden daha az VRAM'e sahiptir. Evde veya ofiste sürekli çalışma için masaüstü daha karlıdır.
- 8
Aracı yükleyin ve çalışmayı kontrol edin
Yerel model çalıştırma aracını resmi sitesinden yükleyin ve belleğinize uygun modeli yükleyin. İlk yanıt süresini ve oluşturma hızını izleyin; her şey yolundaysa model VRAM'de kalır. Araç yetersiz bellek hatası verirse, yeni bir kart düşünmeden önce model boyutunu veya bağlam uzunluğunu azaltın.
Buluta geçmenin veya tek bir bilgisayarı paylaşmanın daha iyi olduğu durumlar
Yerel yapay zeka, veriler bilgisayardan çıkamıyorsa veya modeli her gün kullanıyorsanız anlamlıdır. Modeli ayda birkaç kez çalıştırıyorsanız, bulut hizmetinde kullandıkça ödeme yapmak genellikle 24 GB'lık bir karttan daha ucuzdur. Birden fazla kullanıcısı olan bir şirkette, herkesin güçlü bir ekran kartı alması yerine modeli yerel ağ üzerinden paylaşan tek bir güçlü bilgisayar düşünün. Deneyler için 12 GB'lık bir kart ve daha küçük modeller yeterlidir, daha sonra yükseltilir. En güçlü kartı önceden almayın: önce gerçekte hangi modelleri kullandığınızı kontrol edin.
Tekrarlanmaması için
- Satın almadan önce yalnızca seri adını değil, kartın tam modelini ve VRAM miktarını kontrol edin
- Ekran kartı sürücülerini üreticinin resmi sitesinden güncel tutun
- Daha büyük bir model çalıştırmadan önce gereksiz programları kapatın
- VRAM'den büyük modeller kullanıyorsanız en az 32 GB sistem RAM'i sağlayın
Ne zaman uzmana başvurmalı
Hangi modelleri kullanacağınızdan emin değilseniz, şirkette birden fazla kullanıcı için bilgisayar seçiyorsanız veya araç modeli küçülttükten sonra bile bellek hatası veriyorsa IT desteğine başvurun.
BT altyapı bakımı · Sunucular, ağlar, yedekleme, güvenlik ve yardım masasıSık sorulan sorular
Yerel yapay zeka için 8 GB VRAM yeterli mi?
8 milyar parametreye kadar modellerin nicelenmiş sürümü için kısa bağlamla evet yeterlidir. Daha büyük modeller veya daha uzun sohbetler için daha fazla bellek gerekir, aksi halde model önemli ölçüde daha yavaş çalışır.
Ekran kartı mı yoksa işlemci mi daha önemli?
Yerel yapay zeka için belirleyici olan ekran kartı ve VRAM miktarıdır. İşlemci ve disk hızı modelin yüklenmesini etkiler, ancak model kart belleğine sığdığında yanıt hızını etkilemez.
Tümleşik ekran kartını kullanabilir miyim?
Daha küçük modeller için kullanabilirsiniz, ancak hızlar önemli ölçüde düşüktür ve tümleşik grafik belleği sistem belleğiyle paylaşır. Daha ciddi çalışma için kendi VRAM'i olan ayrı bir kart önerilir.