RAG nedir ve nasıl çalışır: belgeleriniz üzerinde yapay zeka kullanmak isteyen şirketler için rehber

ChatGPT dünya hakkında çok şey bilir, şirketiniz hakkında ise hiçbir şey. Süreçlerinizi, sözleşmelerinizi, fiyat listenizi, teknik dokümantasyonunuzu veya geçen yılın kararlarını bilmez. Bilmediğinde ise sık sık uydurur. RAG, her iki sorunu da çözen tekniktir.

Tek cümleyle RAG

RAG (Retrieval Augmented Generation), yapay zekanın yanıt vermeden önce belgelerinizde arama yapması, en ilgili bölümleri alması ve yanıtı bunlara dayanarak kaynak göstererek yazması anlamına gelir.

Tüm şirket dokümantasyonunuzu okumuş, kusursuz bir hafızaya sahip ve her zaman "bu, Çalışan El Kitabı'nın 12. bölümünde yazıyor" diyen bir meslektaşınızı hayal edin. İyi bir RAG asistanı tam olarak budur.

Adım adım nasıl çalışır

1. Belgelerin toplanması: PDF, Word, Excel, taranmış belgeler, intranet, Confluence, SharePoint, e-posta.
2. Hazırlık: metinlerin temizlenmesi, taramalar için OCR, kopyaların kaldırılması, üst veri eklenmesi (tarih, yazar, tür, sürüm).
3. Parçalama: belgeler anlamlı birimlere ayrılır; örneğin kanun maddelerine veya kılavuz bölümlerine göre.
4. Vektörleştirme: her parça, anlamını tanımlayan bir sayı listesine (embedding) dönüştürülür ve bir vektör veritabanında saklanır.
5. Arama: kullanıcının sorusu da bir vektöre dönüştürülür ve sistem anlam bakımından en yakın parçaları bulur.
6. Üretim: yapay zeka modeli soruyu ve bulunan parçaları alır ve yanıtı yalnızca bunlara dayanarak yazar.
7. Kaynak gösterimi: kullanıcının doğrulayabilmesi için yanıtla birlikte kaynaklar gösterilir.

"Veri vektörleştirme" ne demektir ve neden önemlidir

Klasik arama aynı kelimeleri arar. Bir belgede "ihbar süresi" yazıyorsa ve siz "istifa ettikten sonra ne kadar daha çalışmam gerekiyor" diye sorarsanız, anahtar kelime araması büyük olasılıkla bunu bulamaz. Vektör araması bulur, çünkü kelimeleri değil anlamı karşılaştırır. RAG'in "akıllı" hissettirmesinin nedeni budur.

RAG neden (mümkün olduğunca) uydurmaz

Model net bir talimat alır: yalnızca sağlanan pasajlardan yanıt ver ve yanıt orada yoksa bilmediğini söyle. Buna ek olarak:

• her yanıtın bir kaynağı vardır,
• sistem, bulunan içeriğin ne kadar ilgili olduğunu ölçer,
• yanıtsız kalan sorular, dokümantasyonun iyileştirilebilmesi için kaydedilir.

RAG en çok nerede değer sağlar

• Hukuk ve vergi: mevzuat, resmi görüşler ve içtihatlarda arama. Böyle bir sistemi büyük bir danışmanlık şirketi için geliştirdik.
• Şirket içi bilgi tabanı: süreçler, politikalar, İK soruları, işe alıştırma.
• Teknik dokümantasyon: üretim, servis, BT desteği.
• Satış ve müşteri desteği: ürün özellikleri, fiyat listeleri, koşullar.
• Sözleşmeler: maddelerin bulunması, sürümlerin karşılaştırılması, süreler.

RAG mi, fine-tuning mi?

Fine-tuning modelin davranışını (üslup, biçim) değiştirir, ancak değişen gerçekleri modele "öğretmenin" iyi bir yolu değildir. Şirket bilgisi için RAG daha iyidir çünkü belgeler yeniden eğitim gerektirmeden anında güncellenir. Daha fazlası için RAG mi, fine-tuning mi.

Güvenlik ve gizlilik

İyi bir RAG sistemi yetkilere saygı duyar: kullanıcılar yalnızca erişebildikleri belgelerden yanıt alır. Veriler bir AB bulutunda, kendi sunucunuzda veya yerel modellerle tamamen şirket içinde kalabilir.

Maliyet ve süre

Belgelerinizden bir örnek üzerinde prototipi 2 ila 4 haftada, MVP'yi yaklaşık 2 ayda, daha büyük sistemleri ise 3 ila 5 ayda geliştiriyoruz. Vektörleştirme maliyetini RAG hesaplayıcımızla tahmin edebilirsiniz.

Sonraki adım

Yapay zeka belge asistanı hizmetimize göz atın veya dokümantasyonunuzun kısa bir açıklamasıyla bize bir talep gönderin. Karar vermeden önce sonuçları görmeniz için bir örnek üzerinde prototip geliştirelim.