RAG-Rechner: Was kostet die Vektorisierung von Dokumenten

Was ist ein Chunk und warum werden Dokumente in Teile aufgeteilt

Wenn Sie einen KI-Assistenten für Dokumente erstellen, kann das Modell nicht das gesamte Archiv auf einmal "lesen". Deshalb wird jedes Dokument zunächst in kleinere Einheiten aufgeteilt, die als Chunks bezeichnet werden. Ein Chunk umfasst meist mehrere Absätze, einen Abschnitt oder einen Teil einer Seite, der für sich allein sinnvoll ist.

Die Logik ist einfach: Wenn ein Nutzer eine Frage stellt, durchsucht das System nicht das gesamte Dokument, sondern sucht die ähnlichsten Chunks und sendet nur diese als Kontext an das KI-Modell. Kleinere Chunks bedeuten eine präzisere Suche, aber auch mehr Vektoren, die berechnet und gespeichert werden müssen. Größere Chunks reduzieren die Anzahl der Vektoren, können die Information jedoch "verwässern", sodass das Modell eine halbe Seite Text erhält, in der nur ein Satz relevant ist.

Ein guter RAG-Rechner berücksichtigt deshalb drei Eingaben: die Anzahl der Dokumente, die durchschnittliche Chunk-Größe und den Preis des Embedding-Modells. Daraus berechnet er die Gesamtzahl der Chunks, die Kosten der Vektorisierung und den Speicherplatz, den diese Vektoren in der Datenbank belegen. Das ist vor allem für die Planung nützlich, denn viele unterschätzen, wie viele Chunks aus einigen Tausend Dokumenten entstehen.

So berechnen Sie die Anzahl der Chunks und die Embedding-Kosten

Das Vorgehen ist in der Praxis folgendes:

1. Schätzen Sie die Gesamtzahl der Token im Korpus. Eine grobe Richtlinie: Eine Textseite enthält etwa 500 bis 700 Wörter, was ungefähr 700 bis 1000 Token entspricht.
2. Wählen Sie die Chunk-Größe, zum Beispiel 500 Token.
3. Fügen Sie eine Überlappung hinzu, zum Beispiel 15 Prozent, sodass die effektive Schrittgröße etwa 425 Token beträgt.
4. Teilen Sie die Gesamtzahl der Token durch die Schrittgröße, um die Anzahl der Chunks zu erhalten.
5. Multiplizieren Sie die Anzahl der Chunks mit dem Preis des Embedding-Modells pro Token.

Ein konkretes Beispiel: 200 Dokumente mit je 20 Seiten ergeben etwa 4 Millionen Token. Mit einem Chunk von 500 Token und einer Überlappung von 15 Prozent ergeben sich ungefähr 9400 Chunks. Wenn das Modell die Vektorisierung pro Token abrechnet, werden die Kosten auf diese 4 Millionen Token berechnet und nicht auf die Anzahl der Chunks, da durch die Überlappung ein Teil des Textes zweimal verarbeitet wird.

Der Speicherplatz in der Vektordatenbank hängt von der Dimension des Vektors und dem Datentyp ab. Ein Vektor mit 1536 Dimensionen belegt bei einer Speicherung von 4 Byte etwa 6 KB, sodass 9400 Chunks etwa 56 MB nur für die Vektoren benötigen, plus Metadaten und Indizes.

Welche Überlappung und Chunk-Größe Sie wählen sollten

Die Überlappung existiert, damit der Sinn an der Grenze zwischen zwei Chunks nicht verloren geht. Wenn ein Satz in der Mitte unterbrochen wird, versteht das Modell, das nur den zweiten Teil erhält, möglicherweise nicht, worum es geht. Deshalb werden die letzten 10 bis 20 Prozent des Textes am Anfang des nächsten Chunks wiederholt.

Praktische Tipps:

• Beginnen Sie bei allgemeiner Dokumentation und Blogs mit 400 bis 600 Token und einer Überlappung von 10 bis 15 Prozent.
• Verwenden Sie bei technischen Anleitungen und häufigen Listen kleinere Chunks, da Nutzer einen konkreten Schritt suchen.
• Teilen Sie Verträge und rechtliche Vorschriften nach Struktur auf, zum Beispiel nach Artikel und Absatz, und nicht nach Token-Anzahl. Ein Chunk, der einen ganzen Artikel enthält, ist deutlich sinnvoller als ein Ausschnitt an einer beliebigen Stelle.
• Speichern Sie stets die Metadaten: Dokumentname, Seitenzahl und Abschnittstitel. Ohne diese hat die Antwort des KI-Assistenten keine Quelle, die der Nutzer überprüfen kann.

Fachtipp: Die Chunk-Größe wählen Sie nicht ein für alle Mal. Erstellen Sie einen kleinen Test mit 20 bis 30 echten Fragen und vergleichen Sie, ob das System den richtigen Chunk findet. Wenn es häufig danebenliegt, liegt das Problem meist in der Textaufteilung und nicht im Modell.

Die häufigsten Fehler bei der Planung der Vektorisierung

Der erste Fehler ist die Berechnung der Kosten pro Dokument statt pro Token. Der Preis für das Embedding hängt von der Textmenge ab und nicht von der Anzahl der Dateien, sodass ein PDF mit gescannten Bildern und ein PDF mit reinem Text nicht dieselben Kosten verursachen.

Der zweite Fehler ist die Vernachlässigung der erneuten Vektorisierung. Wenn Sie das Embedding-Modell oder die Art der Aufteilung ändern, muss alles erneut verarbeitet werden. Planen Sie deshalb im Voraus die Versionierung und die Möglichkeit ein, alte Vektoren ohne Betriebsunterbrechung durch neue zu ersetzen.

Der dritte Fehler ist die ausschließliche Konzentration auf die Kosten der Vektorisierung. Diese machen in der Regel nur einen kleinen Teil der Gesamtarbeit aus, während die meiste Zeit für die Bereinigung der Dokumente, das Entfernen von Kopfzeilen und Fußnoten sowie die Qualitätsprüfung der Suche aufgewendet wird.

Wenn der Korpus auf Zehntausende von Dokumenten anwächst oder Sie mehrere Quellen haben, die sich häufig ändern, wird die Planung der Pipeline für die Verarbeitung und Aktualisierung anspruchsvoller als die reine Berechnung. In solchen Situationen kann EVI Solutions bei der Architektur des RAG-Systems und der Automatisierung der Datenaufbereitung helfen.