Kısa cevap
Yerel AI'ı, model çalıştırmak için bir program (örneğin Ollama veya LM Studio) kurarak, RAM miktarınıza uygun bir model indirerek ve onu bu programda veya arayüzü aracılığıyla çalıştırarak kullanırsınız. Her şey bilgisayarda kalır, ancak hız ve kalite işlemci, grafik kartı ve belleğe bağlıdır, bu nedenle başlangıç için küçük bir model en iyisidir.
Sorun nasıl anlaşılır
- AI kullanmak istiyorsunuz ancak verileri buluta gönderemiyorsunuz
- Tarayıcıdaki AI aracı çalışmıyor veya kullanılamıyor
- Şirket, belgelerin harici sunuculara gönderilmeden işlenmesini istiyor
- Daha büyük bir model başlatıldığında bilgisayar yavaşlıyor
- Model indiriliyor ancak yanıt vermiyor veya çöküyor
En yaygın nedenler
Yetersiz RAM veya VRAM
Modeller çalışma belleğine yüklenir ve daha büyük modeller onlarca GB gerektirir. Yeterli bellek yoksa program diske geçer ve çalışma çok yavaşlar.
Yanlış model seçimi
Daha fazla parametreli bir model daha iyi yanıtlar verir, ancak ev bilgisayarı için genellikle çok ağırdır. Küçük modeller biraz daha düşük kaliteyle daha hızlı çalışır.
Grafik hızlandırma desteği yok
Uygun sürücü olmadan veya desteklenmeyen bir grafik kartıyla model yalnızca işlemcide çalışır, bu da önemli ölçüde yavaştır.
Yetersiz disk alanı
Her model birkaç GB yer kaplar ve programlar geçici dosyalar da saklar. Boş alan yoksa indirme veya çalışma kesilir.
Ağ veya indirme kesintisi
İlk model indirmesi büyüktür, bu nedenle zayıf bağlantı veya kesinti eksik dosyaya ve başlatma hatasına yol açar.
Adım adım çözüm
- 1
Donanımı kontrol edin
Sistemle ilgili temel bilgiler sayfasını açın: Windows'ta
Ayarlar > Sistem > Hakkında, macOS'taApple menüsü > Bu Mac Hakkındave Linux'ta sistem ayarlarını inceleyin veya terminaldefree -hkomutunu çalıştırın. RAM miktarına ve işlemci türüne bakın. Yaklaşık 3 ila 4 milyar parametreli küçük bir model için 8 GB RAM, 7 ila 8 milyar parametreli modeller için 16 GB önerilir. Diskteki boş alanı da kontrol edin, en az 10 ila 20 GB. - 2
Yerel çalışma için program seçin
En basit yol, modelleri kendi indiren ve çalıştıran programlardır: Ollama (komut satırında çalışır) veya LM Studio (grafik arayüzü vardır). Bunlardan birini resmi web sitesinden sisteminize uygun talimatlara göre kurun. Bilinmeyen sitelerden ve e-postalardaki bağlantılardan kurulum dosyaları indirmeyin.
- 3
Küçük bir model indirin
LM Studio'da model arama sekmesini açın, model ailesinin adını yazın ve RAM'inize uygun boyut etiketine sahip sürümü seçin. Ollama'da bunu terminalde bir komutla yaparsınız, örneğin model adıyla birlikte
ollama pull. Küçük bir modelle başlayın, daha sonra daha büyüğünü deneyin. - 4
Modeli başlatın ve ilk soruyu sorun
LM Studio'da indirilen modeli seçin ve yükleme düğmesine tıklayın, ardından sohbet alanına kısa bir soru yazın. Ollama'da modeli
ollama runkomutuyla model adıyla birlikte başlatın ve aynı satıra soruyu yazın. Model belleğe yüklendiği için ilk yanıt daha uzun sürebilir. - 5
İnternet olmadan çalışıp çalışmadığını kontrol edin
Wi-Fi'yi kapatın veya ağ kablosunu çıkarın ve soruyu tekrarlayın. Yanıt hala geliyorsa model yerel olarak çalışıyor ve veriler bilgisayardan ayrılmıyor. Program bağlantı istiyorsa yanlışlıkla bulut üzerinden çalışma seçeneğini seçip seçmediğinizi kontrol edin.
- 6
Grafik kartında hızlandırmayı ayarlayın
LM Studio'da model ayarlarında grafik kartına gönderilen katman sayısı seçeneğini arayın ve hatasız daha hızlı çalışma elde edene kadar kademeli olarak artırın. Windows ve macOS'ta önce grafik kartı sürücüsünü veya sistemi güncelleyin. Bilgisayar çökmeye veya donmaya başlarsa katman sayısını azaltın.
- 7
Yanıt uzunluğunu ayarlayın
Uzun yanıtlar zaman ve bellek tüketir. Sohbet ayarlarında maksimum token sayısını ve sıcaklığı ortalama bir değere düşürün. Özetler ve metin yeniden yazma için daha kısa yanıtlar isteyin ve somut sorular sorun.
- 8
Ayarları kaydedin ve yedekleyin
Hangi modeli ve hangi ayarları kullandığınızı not edin, böylece kolayca geri dönebilirsiniz. Program sohbetleri yerel bir klasörde saklıyorsa ara sıra o klasörün yedeğini alın. Modelleri yeniden indirebilirsiniz, ancak ayarları ve sohbet geçmişini indiremezsiniz.
Yerel model ne zaman yeterli olmaz
Yerel modeller metin yeniden yazma, kısa metinleri özetleme, çeviri ve bilgisayardan ayrılmaması gereken hassas verilerle çalışma için iyidir. Karmaşık analizler, uzun belgeler ve en güncel bilgiler için genellikle bulut araçlarından daha zayıftır, çünkü eğitim anından sonraki olayları bilmezler ve internete erişimleri yoktur. Daha iyi kaliteye ihtiyacınız varsa önce daha fazla RAM'e sahip bir bilgisayarda daha büyük bir model deneyin, ardından şirkette özel bir sunucu düşünün. İş kullanımı için, her şey yerel kalsa bile, kimin model çalıştırabileceğini, dosyaların nerede saklandığını ve hangi verileri girebileceğinizi önceden tanımlayın.
Tekrarlanmaması için
- Programları ve modelleri yalnızca resmi web sitelerinden ve resmi kaynaklardan indirin
- Daha büyük bir modeli çalıştırmadan önce boş RAM ve disk alanını kontrol edin
- Grafik kartı sürücülerini ve yerel çalışma programını düzenli olarak güncelleyin
- Sizin için önemli olan ayarların ve sohbet geçmişinin bir kopyasını saklayın
Ne zaman uzmana başvurmalı
Model boyutu küçültüldükten sonra bile yüklenemiyorsa, bilgisayar grafik kartıyla çalışırken çöküyorsa veya şirkette hassas verilerin yerel olarak işlenmesi için kurallar oluşturulması gerekiyorsa BT desteğine başvurun.
Yapay zeka otomasyonu · Belgeleri, e-postaları ve verileri işleyen yapay zeka ajanlarıSık sorulan sorular
Yerel AI gerçekten internet olmadan çalışır mı?
Evet, model indirilip yüklendiğinde yanıtlar bilgisayarınızda işlenir. İnternet yalnızca programın ve modelin ilk indirmesi ve sonraki güncellemeler için gereklidir.
Yerel bir model için ne kadar RAM'e ihtiyacım var?
Yaklaşık 3 ila 4 milyar parametreli küçük bir model için 8 GB RAM yeterlidir, 7 ila 8 milyar parametreli modeller için 16 GB önerilir. Daha büyük modeller önemli ölçüde daha fazla bellek ve daha güçlü bir grafik kartı gerektirir.
Yerel model kullanırsam verilerim güvende mi?
Veriler bilgisayarda kalır ve sağlayıcıya gönderilmez, ancak bu otomatik olarak korundukları anlamına gelmez. Bilgisayara erişim, dosya kopyaları ve olası sonuç paylaşımı hala şirket kurallarına tabidir.