Kann Ihr Computer ein lokales KI-Modell ausführen?
Wählen Sie Modellgröße, Quantisierung und Kontext und geben Sie VRAM und RAM ein. Sie erhalten den Speicherbedarf und eine klare Bewertung.
Kostenlos, ohne Registrierung. Alles läuft in Ihrem Browser. Ihre Daten verlassen Ihr Gerät nicht.
So funktioniert es
- 1Modellgröße wählen (Anzahl der Parameter).
- 2Quantisierung wählen: 4-Bit ist der übliche Standard.
- 3VRAM der Grafikkarte und Arbeitsspeicher eingeben.
- 4Bewertung und Empfehlung ablesen.
Über dieses Tool
Lokale KI-Modelle laufen auf Ihrem eigenen Rechner, ohne Daten in die Cloud zu senden. Entscheidend ist der VRAM der Grafikkarte. Ein 7- bis 8-Milliarden-Parameter-Modell in 4-Bit benötigt etwa 5 bis 6 GB, ein 14B-Modell etwa 9 bis 10 GB, ein 70B-Modell rund 40 GB.
Passt ein Modell nicht in den VRAM, kann ein Teil im Arbeitsspeicher laufen, aber langsamer. Für Unternehmen bauen wir private KI-Server und Dokumentenassistenten, die komplett lokal laufen.
Wie viel VRAM Sie für ein lokales KI-Modell benötigen
Der VRAM der Grafikkarte ist die wichtigste Ressource, denn das Modell muss darin liegen, um schnell zu arbeiten. Eine grobe Rechnung für Modelle mit 7 bis 8 Milliarden Parametern in 4-Bit-Quantisierung ergibt etwa 5 bis 6 GB, für Modelle mit 14B etwa 9 bis 10 GB und für 70B etwa 40 GB. Dazu kommt eine Reserve für den Kontext und den Arbeitsbereich, sodass Sie in der Praxis immer 1 bis 2 GB mehr einplanen sollten als das reine Modellgewicht.
Wenn das Modell nicht in den VRAM passt, wird ein Teil in den System-RAM ausgelagert. Dann funktioniert alles, aber deutlich langsamer, weil die Daten ständig über den PCIe-Bus verschoben werden. Deshalb ist die Frage "wie viel VRAM" immer auch eine Frage der Geschwindigkeit und nicht nur der Möglichkeit, das Modell zu starten.
Praktische Reihenfolge der Prüfung:
- Prüfen Sie das genaue Modell der Grafikkarte und die Menge des VRAM (nicht nur die Bezeichnung der Serie).
- Prüfen Sie den gesamten RAM des Computers.
- Wählen Sie die Modellgröße und die Quantisierung.
- Lassen Sie eine Reserve für den Kontext und das Betriebssystem.
- Erst dann schätzen Sie ein, ob es flüssig läuft oder mit gelegentlicher Auslagerung in den RAM.
Bei Mac Computern mit Apple Silicon Chip gibt es keinen separaten VRAM, da Prozessor und Grafik denselben Speicher teilen. Dort rechnen Sie mit dem Gesamtspeicher, beachten Sie aber, dass ein Teil für das System und die Anwendungen reserviert bleibt.
Was ist Quantisierung und welche sollten Sie wählen
Quantisierung ist die Verringerung der Präzision der Zahlen, mit denen ein Modell gespeichert ist. Statt 16 Bit pro Parameter wird das Modell mit 8, 4 oder weniger Bit gespeichert. Dadurch sinkt der Speicherverbrauch drastisch, während die Qualität der Antworten nur leicht abnimmt, besonders bei 4-Bit-Varianten.
Beispiel: Ein Modell mit 8 Milliarden Parametern benötigt in 16-Bit-Speicherung etwa 16 GB, in 8-Bit etwa 8 GB und in 4-Bit etwa 4 bis 5 GB. Deshalb ermöglicht die 4-Bit-Quantisierung (Bezeichnungen wie Q4_K_M) praktisch lokale KI auf Grafikkarten mit 8 GB VRAM.
Tipp für Einsteiger: Beginnen Sie mit 4-Bit-Quantisierung und prüfen Sie die Qualität an Ihren eigenen Aufgaben. Wenn Ihnen die Antworten nicht präzise genug sind und Sie Speicher übrig haben, probieren Sie 5 oder 6 Bit. Für Übersetzung, Zusammenfassung und einfachere Gespräche sind 4 Bit meist völlig ausreichend.
Wie der Kontext den Speicherverbrauch beeinflusst
Der Kontext ist die Textmenge, die das Modell während eines Gesprächs "im Kopf" behält, gemessen in Token. Ein größerer Kontext bedeutet, dass das Modell ein längeres Dokument oder ein längeres Gespräch verarbeiten kann, aber auch mehr Speicher verbraucht. Mit jedem weiteren Tausend Token Kontext steigt der Verbrauch, sodass ein Modell, das gerade noch in den VRAM passte, die Grenze leicht überschreitet, wenn Sie den Kontext erhöhen.
Praktisch: Wenn Sie möchten, dass das Modell lange Dokumente liest, planen Sie zusätzlichen Speicher ein oder verkleinern Sie das Modell. Wenn Sie kurze Gespräche führen, ist ein kleinerer Kontext ausreichend und lässt Raum für Geschwindigkeit.
Die häufigsten Fehler bei der Einschätzung
Der erste Fehler ist, nur die Bezeichnung der Grafikkarte zu betrachten. Zwei Karten mit demselben Namen können unterschiedlich viel VRAM haben, besonders bei Laptop-Versionen. Der zweite ist, den System-RAM zu vergessen: Wenn das Modell größer als der VRAM ist, wird der RAM zum Engpass, und 8 GB insgesamt sind heute für ernsthaftes Arbeiten knapp.
Der dritte Fehler ist die Erwartung, dass alles genauso wie in der Cloud funktioniert. Lokale Modelle sind hervorragend für Datenschutz und Arbeiten ohne Internet, aber die Geschwindigkeit hängt von der Hardware ab. Der vierte ist die Vernachlässigung von Treibern und Unterstützung: Ohne korrekte Treiber wird die Grafikkarte nicht zur Beschleunigung genutzt.
Wenn die Einschätzung zeigt, dass Ihr Computer das benötigte Modell nicht starten kann, sind die Lösungen eine Verkleinerung des Modells, eine niedrigere Quantisierung oder der Wechsel zu stärkerer Hardware. Wenn es um ein geschäftliches Umfeld mit mehreren Nutzern und Dokumenten geht, kann EVI Solutions bei einem privaten KI-Server helfen, der vollständig lokal läuft.
Häufige Fragen
Wie viel VRAM brauche ich für lokale KI?
Für 7 bis 8B-Modelle in 4-Bit genügen 8 GB. Für 14B empfehlen wir 12 bis 16 GB, für 70B zwei starke GPUs oder einen Server.
Kann ein Laptop ein KI-Modell ausführen?
Ja, mit mindestens 6 bis 8 GB VRAM oder einem Apple-Silicon-Chip mit 16 GB oder mehr.
Was ist Quantisierung?
Die Kompression eines Modells auf weniger Bits pro Parameter. 4-Bit braucht etwa 4 Mal weniger Speicher als 16-Bit.