Kurze Antwort
Für lokale KI ist der VRAM der Grafikkarte entscheidend, nicht die Prozessorleistung. Für Modelle mit 7 bis 8 Milliarden Parametern reichen 8 GB, für 13 bis 14 Milliarden brauchen Sie 12 bis 16 GB, und für Modelle ab 30 Milliarden sind realistisch 24 GB oder mehr nötig. Wenn Sie nur gelegentlich arbeiten, sind 16 GB ein vernünftiger Kompromiss.
So erkennen Sie das Problem
- Das Modell lädt langsam oder passt gar nicht in den Grafikspeicher
- Der PC beginnt zu ruckeln und zu stocken, sobald das KI-Modell zu antworten beginnt
- Die Lüfter laufen auf Hochtouren, und die Antworten verzögern sich um mehrere Sekunden
- Eine Anwendung funktioniert, eine andere meldet einen Fehler wegen unzureichendem Speicher
- Sie haben eine teure Grafikkarte gekauft, und das Modell läuft trotzdem aus dem Arbeitsspeicher des Prozessors
Häufigste Ursachen
Das Modell ist größer als der VRAM
Wenn das Modell nicht in den Grafikspeicher passt, wird ein Teil in den Systemspeicher oder auf die Festplatte ausgelagert, wodurch die Geschwindigkeit um das Zehnfache sinken kann.
Falsches Format und falsche Quantisierung
Dasselbe Modell benötigt in voller Präzision ein Vielfaches an Speicher im Vergleich zur quantisierten Version, daher ist die Wahl der Datei oft wichtiger als die Karte selbst.
Grafikkartenhersteller und Unterstützung
Einige Karten funktionieren mit lokalen KI-Tools nur mit zusätzlicher Konfiguration, andere werden sofort unterstützt, was beeinflusst, wie viel VRAM tatsächlich genutzt werden kann.
Andere Programme belegen Speicher
Ein Browser mit vielen Tabs, Spiele und Videobearbeitungsanwendungen belegen einen Teil des VRAM, bevor das Modell überhaupt zu laden beginnt.
Unzureichender Systemspeicher
Wenn das Modell größer als der VRAM ist, nutzt der PC den Systemspeicher, sodass 16 GB insgesamt schnell zum Engpass werden.
Lösung Schritt für Schritt
- 1
Definieren Sie, was Sie ausführen werden
Legen Sie zuerst den Zweck fest: Chat und Übersetzung, Bilderzeugung, Audiotranskription oder Arbeit mit Dokumenten. Für Gespräche und Text reicht ein kleineres Modell, während Bilder- und Videogenerierung mehr Speicher erfordert. Notieren Sie zwei oder drei konkrete Modelle, die Sie nutzen möchten, denn danach wird die Karte ausgewählt und nicht umgekehrt.
- 2
Berechnen Sie den benötigten VRAM
Grobe Rechnung: Anzahl der Modellparameter in Milliarden multipliziert mit der Größe pro Parameter. Bei einer Quantisierung von etwa 4 Bit sind das ungefähr 0,6 GB pro Milliarde Parameter, sodass ein Modell mit 8 Milliarden etwa 5 GB und mit 14 Milliarden etwa 9 GB benötigt. Fügen Sie 2 bis 3 GB für den Kontext und den Betrieb der Anwendung hinzu. Bei 16-Bit-Präzision rechnen Sie mit etwa 2 GB pro Milliarde Parameter.
- 3
Wählen Sie die VRAM-Klasse
Für Modelle bis 8 Milliarden Parameter reichen 8 GB. Für 13 bis 14 Milliarden mit längerem Kontext sind realistisch 12 bis 16 GB nötig. Für Modelle ab 30 Milliarden sowie für anspruchsvollere Bild- und Videogenerierung werden 24 GB oder mehr empfohlen. Wenn Sie gelegentlich auch größere Modelle nutzen, sind 16 GB der beste Kompromiss zwischen Preis und Nutzen.
- 4
Prüfen Sie die Unterstützung für Ihr System
Überprüfen Sie unter Windows im
Task Manager > Performance > GPU, wie viel Speicher die Karte hat und wie viel aktuell belegt ist. Installieren Sie für NVIDIA-Karten den aktuellen Treiber von der offiziellen Herstellerseite, da lokale KI-Tools am besten mit CUDA-Unterstützung funktionieren. AMD- und Intel-Karten werden in neueren Tools unterstützt, erfordern jedoch mehr Konfiguration. - 5
Stimmen Sie die restliche Konfiguration ab
Stellen Sie neben der Grafikkarte mindestens 32 GB Systemspeicher bereit, wenn Sie Modelle planen, die größer als der VRAM sind, da dann ein Teil des Modells im Systemspeicher gehalten wird. Das Netzteil muss die Spitzenlast der Karte bewältigen, und das Gehäuse muss einen ausreichenden Luftstrom haben. Eine SSD mit mindestens 1 TB ist praktisch, da Modelle mehrere Dutzend GB belegen.
- 6
Testen Sie vor dem Kauf
Wenn Sie einen PC mit einer neueren Grafikkarte haben, führen Sie das gewünschte Modell aus und beobachten Sie im
Task Manager > Performance > GPU, wie viel Speicher es nutzt und ob es in den Systemspeicher überläuft. Das gibt Ihnen ein realistisches Bild davon, wie viel VRAM Sie benötigen. Wenn die Karte nicht genügend Speicher hat, läuft ein Tool, das Auslagerung unterstützt, deutlich langsamer, und einige Tools melden einen Fehler. - 7
Entscheiden Sie zwischen Karte und Fertig-PC
Eine Desktop-Karte wird in ein vorhandenes Gehäuse eingebaut und lässt sich später leicht austauschen, aber prüfen Sie die Länge der Karte, die Anzahl der Stromanschlüsse und die Leistung des Netzteils. Laptops mit starker Grafikkarte sind teurer und schwerer aufzurüsten, und die gleichnamige Karte in einem Laptop hat oft weniger VRAM als die Desktop-Version. Für den dauerhaften Betrieb zu Hause oder im Büro ist ein Desktop wirtschaftlicher.
- 8
Installieren Sie das Tool und prüfen Sie den Betrieb
Installieren Sie ein Tool zum lokalen Ausführen von Modellen von der offiziellen Website und laden Sie ein Modell, das zu Ihrem Speicher passt. Beobachten Sie die Zeit bis zur ersten Antwort und die Generierungsgeschwindigkeit; wenn alles in Ordnung ist, bleibt das Modell im VRAM. Wenn das Tool einen Fehler wegen unzureichendem Speicher meldet, reduzieren Sie die Modellgröße oder die Kontextlänge, bevor Sie über eine neue Karte nachdenken.
Wann Cloud besser ist oder ein gemeinsamer PC sinnvoll ist
Lokale KI ist sinnvoll, wenn Daten den PC nicht verlassen dürfen oder wenn Sie das Modell täglich nutzen. Wenn Sie das Modell nur einige Male im Monat ausführen, ist die nutzungsbasierte Abrechnung bei einem Cloud-Dienst oft günstiger als eine 24-GB-Karte. In einem Unternehmen mit mehreren Nutzern sollten Sie einen leistungsstärkeren PC in Betracht ziehen, der das Modell über das lokale Netzwerk bereitstellt, anstatt dass jeder eine starke Grafikkarte kauft. Für Experimente reicht auch eine Karte mit 12 GB für kleinere Modelle, die später aufgerüstet werden kann. Kaufen Sie nicht im Voraus die stärkste Karte: Prüfen Sie zuerst, welche Modelle Sie tatsächlich nutzen.
So beugen Sie vor
- Prüfen Sie vor dem Kauf das genaue Kartenmodell und die VRAM-Menge, nicht nur den Seriennamen
- Halten Sie die Grafiktreiber von der offiziellen Herstellerseite aktuell
- Schließen Sie unnötige Programme, bevor Sie ein größeres Modell starten
- Stellen Sie mindestens 32 GB Systemspeicher bereit, wenn Sie Modelle nutzen, die größer als der VRAM sind
Wann Sie einen Profi rufen sollten
Wenden Sie sich an den IT-Support, wenn Sie nicht sicher sind, welche Modelle Sie nutzen werden, wenn Sie einen PC für mehrere Nutzer im Unternehmen auswählen oder wenn das Tool auch nach der Reduzierung des Modells Speicherfehler meldet.
IT-Infrastruktur-Wartung · Server, Netzwerke, Backup, Sicherheit und HelpdeskHäufige Fragen
Reichen 8 GB VRAM für lokale KI?
Für Modelle bis 8 Milliarden Parameter in quantisierter Version ja, bei kürzerem Kontext. Für größere Modelle oder längere Gespräche wird mehr Speicher benötigt, sonst läuft das Modell deutlich langsamer.
Ist die Grafikkarte oder der Prozessor wichtiger?
Für lokale KI sind die Grafikkarte und die VRAM-Menge entscheidend. Prozessor und Festplattengeschwindigkeit beeinflussen das Laden des Modells, aber nicht die Antwortgeschwindigkeit, wenn das Modell in den Kartenspeicher passt.
Kann ich eine integrierte Grafikkarte verwenden?
Für kleinere Modelle ja, aber die Geschwindigkeiten sind deutlich niedriger, und die integrierte Grafik teilt den Speicher mit dem Systemspeicher. Für ernsthaftes Arbeiten wird eine dedizierte Karte mit eigenem VRAM empfohlen.