Was ist RAG und wie funktioniert es: ein Leitfaden für Unternehmen, die KI über ihre Dokumente nutzen wollen

ChatGPT weiß viel über die Welt und nichts über Ihr Unternehmen. Es kennt Ihre Prozesse, Verträge, Preislisten, technischen Dokumentationen oder Entscheidungen aus dem letzten Jahr nicht. Und wenn es etwas nicht weiß, erfindet es oft etwas. RAG ist die Technik, die beide Probleme löst.

RAG in einem Satz

RAG (Retrieval Augmented Generation) bedeutet, dass die KI Ihre Dokumente durchsucht, bevor sie antwortet, die relevantesten Teile herausnimmt und die Antwort auf deren Grundlage schreibt, mit Quellenangabe.

Stellen Sie sich einen Kollegen vor, der Ihre gesamte Unternehmensdokumentation gelesen hat, ein perfektes Gedächtnis besitzt und immer sagt: "Das steht im Mitarbeiterhandbuch, Abschnitt 12". Genau das ist ein guter RAG-Assistent.

So funktioniert es, Schritt für Schritt

1. Dokumente sammeln: PDF, Word, Excel, Scans, Intranet, Confluence, SharePoint, E-Mail.
2. Aufbereitung: Text bereinigen, OCR für Scans, Duplikate entfernen, Metadaten ergänzen (Datum, Autor, Typ, Version).
3. Chunking: Dokumente werden in sinnvolle Einheiten aufgeteilt, zum Beispiel nach Paragrafen oder Handbuchkapiteln.
4. Vektorisierung: Jeder Chunk wird in eine Zahlenfolge umgewandelt, die seine Bedeutung beschreibt (ein Embedding), und in einer Vektordatenbank gespeichert.
5. Retrieval: Auch die Frage eines Nutzers wird in einen Vektor umgewandelt, und das System findet Chunks mit der ähnlichsten Bedeutung.
6. Generierung: Das KI-Modell erhält die Frage und die gefundenen Chunks und schreibt die Antwort ausschließlich auf deren Grundlage.
7. Quellenangaben: Die Quellen werden mit der Antwort angezeigt, damit der Nutzer sie prüfen kann.

Was "Daten vektorisieren" bedeutet und warum es wichtig ist

Die klassische Suche sucht nach denselben Wörtern. Wenn in einem Dokument "Kündigungsfrist" steht und Sie fragen "Wie lange muss ich nach meiner Kündigung noch weiterarbeiten", wird eine Stichwortsuche das wahrscheinlich nicht finden. Eine Vektorsuche schon, denn sie vergleicht Bedeutungen, nicht Wörter. Deshalb wirkt RAG "intelligent".

Warum RAG nichts erfindet (soweit wie möglich)

Das Modell erhält eine klare Anweisung: Antworten Sie nur auf Basis der bereitgestellten Passagen, und wenn die Antwort dort nicht steht, sagen Sie, dass Sie es nicht wissen. Darüber hinaus:

• jede Antwort hat eine Quelle,
• das System misst, wie relevant die gefundenen Inhalte sind,
• unbeantwortete Fragen werden protokolliert, damit die Dokumentation verbessert werden kann.

Wo RAG den größten Nutzen bringt

• Recht und Steuern: Suche in Vorschriften, amtlichen Stellungnahmen und Rechtsprechung. Ein solches System haben wir für eine große Beratungsgesellschaft gebaut.
• Interne Wissensdatenbank: Prozesse, Richtlinien, HR-Fragen, Onboarding.
• Technische Dokumentation: Fertigung, Service, IT-Support.
• Vertrieb und Kundensupport: Produktspezifikationen, Preislisten, AGB.
• Verträge: Klauseln finden, Versionen vergleichen, Fristen.

RAG oder Fine-Tuning?

Fine-Tuning verändert das Verhalten des Modells (Stil, Format), ist aber kein guter Weg, um einem Modell Fakten "beizubringen", die sich ändern. Für Unternehmenswissen ist RAG besser, weil Dokumente sofort aktualisiert werden, ohne Neutraining. Mehr dazu in RAG oder Fine-Tuning.

Sicherheit und Datenschutz

Ein gutes RAG-System respektiert Berechtigungen: Nutzer erhalten nur Antworten aus Dokumenten, auf die sie zugreifen dürfen. Die Daten können in einer EU-Cloud, auf Ihrem Server oder vollständig on-premise mit lokalen Modellen bleiben.

Kosten und Zeitplan

Einen Prototyp auf Basis einer Stichprobe Ihrer Dokumente bauen wir in 2 bis 4 Wochen, ein MVP in etwa 2 Monaten und größere Systeme in 3 bis 5 Monaten. Schätzen Sie die Vektorisierungskosten mit unserem RAG-Rechner.

Nächster Schritt

Sehen Sie sich unsere Leistung KI-Dokumentenassistent an oder senden Sie uns eine Anfrage mit einer kurzen Beschreibung Ihrer Dokumentation. Wir bauen einen Prototyp auf einer Stichprobe, damit Sie Ergebnisse sehen, bevor Sie sich entscheiden.