Ein Leser hat mir geschrieben, und seine Frage dürfte vielen von euch bekannt vorkommen. Michael hat meinen Kurs zur lokalen KI durchgearbeitet, war überzeugt von der Idee – und ist dann in der Praxis gegen eine Wand gelaufen.
Sein MacBook hat lediglich 8 GB RAM. Damit laufen nur die kleinsten Modelle: Ministral 3B, Gemma 2 2B, LFM2 1.2B. Die Ergebnisse nennt er „ernüchternd“.
Größere Modelle quittieren auf seinem Rechner den Start mit der Meldung, dass die Ressourcen nicht reichen. Im Browser dagegen, mit ChatGPT oder Claude, klappt alles auf Anhieb.
Seine völlig berechtigte und nachvollziehbare Frage: Was tun?
Die Antwort hat zwei Teile. Der erste besteht aus Stellschrauben, an denen sich drehen lässt. Der zweite ist unbequemer, aber wichtiger – und er hat mit Erwartungen zu tun.
Warum die Ernüchterung normal ist
Wer ein 3-Milliarden-Parameter-Modell auf dem eigenen Rechner mit einem Cloud-System vergleicht, vergleicht einen Kleinwagen mit einem Sattelschlepper. Die Modelle hinter ChatGPT, Claude oder Gemini bewegen sich im Bereich von mehreren hundert Milliarden Parametern. Sie laufen in Rechenzentren auf Hardware, die so viel kostet wie ein Reihenhaus.
Der Abstand beträgt also nicht ein paar Prozent, sondern zwei Größenordnungen. Kein Konfigurationstrick der Welt schließt diese Lücke. Wenn die Ergebnisse eines 2B-Modells enttäuschen, liegt das nicht an falscher Bedienung – es ist die ehrliche Antwort auf einen unfairen Vergleich.
Wohin die 8 GB verschwinden
Ein kurzer Blick auf die Buchhaltung erklärt viel. macOS selbst belegt im Leerlauf rund 2,5 bis 3 GB. Ein Browser mit einem Dutzend Tabs holt sich locker weitere 2 bis 3 GB. Bleiben im günstigsten Fall vier Gigabyte für die KI.
Davon geht zuerst das Modell ab. Ein 3B-Modell in der Quantisierung Q4 belegt etwa 2 GB. Der Rest gehört dem sogenannten KV-Cache – dem Zwischenspeicher für den Gesprächsverlauf. Und genau dieser Posten wird unterschätzt: Er wächst mit der eingestellten Kontextlänge und kann bei großzügigen Einstellungen mehr Speicher fressen als das Modell selbst.
Fünf Stellschrauben, die etwas bringen
Kontextlänge reduzieren. Der wirksamste Hebel und der am seltensten genutzte. Wer in LM Studio oder Ollama von 16.000 auf 4.000 Token heruntergeht, gewinnt oft über ein Gigabyte. Für Textarbeit an einzelnen Absätzen reicht das völlig.
Die richtige Quantisierung wählen. Q4_K_M ist der Sweet Spot. Darüber (Q6, Q8) kostet jeder Schritt viel Speicher für wenig Qualitätsgewinn. Darunter wird das Modell spürbar dümmer.
MLX statt GGUF. Auf Macs mit M-Chip lohnt sich Apples eigenes Format. MLX nutzt die Architektur der Apple-Prozessoren direkter und geht sparsamer mit dem Speicher um. LM Studio bietet viele Modelle in beiden Varianten an – ein Vergleich dauert zehn Minuten. Wer noch einen Intel-Mac nutzt, hat es deutlich schwerer, weil dort der gemeinsame Speicher von Prozessor und Grafikeinheit fehlt.
Den Speicherdruck im Blick behalten. In der Aktivitätsanzeige unter „Speicher“ zeigt macOS an, wie eng es wird. Solange die Anzeige grün bleibt, läuft alles im RAM. Wird sie gelb oder rot, lagert das System auf die SSD aus – und dann kriecht die KI. Der Browser gehört in dieser Situation geschlossen, so banal das klingt.
Modellnamen nicht blind vertrauen. Michael hatte Gemma 3n E4B ausprobiert. Das „E“ steht für effektive Parameter: Das Modell verhält sich beim Rechnen wie ein 4B-Modell, schleppt im Speicher aber deutlich mehr mit sich herum. Für 8 GB ist es zu groß. Besser geeignet sind Qwen3 4B Instruct oder Gemma 3 4B, beide in Q4. Sie gehören zum Stärksten, was in dieser Gewichtsklasse zu haben ist.
Der eigentliche Hebel liegt woanders
Alle Technik zusammen bringt weniger als eine einzige Einsicht: Kleine Modelle sind keine schlechten großen Modelle. Sie sind etwas anderes.
Ihnen fehlt Weltwissen. Sie können nicht recherchieren. Bei Fakten, Zahlen und Namen erfinden sie fröhlich vor sich hin. Wer sie als Nachschlagewerk benutzt, wird jedes Mal enttäuscht.
Stark sind sie dort, wo das Material mitgeliefert wird und die Aufgabe eng umrissen ist: zusammenfassen, umformulieren, kürzen, Struktur prüfen, Widersprüche finden, Stichwortlisten aus Fließtext ziehen. Michael nutzt genau das für seine Textkritik – und schreibt, dass es funktioniert wie eine Blattkritik. Kein Zufall. Das ist die Disziplin, in der die Kleinen mithalten.
Daraus ergibt sich eine klare Arbeitsteilung: Recherche und Faktenfragen in der Cloud, Textarbeit lokal. Das Lokale spielt seine Stärken dort aus, wo Vertraulichkeit zählt, wo keine Daten das Haus verlassen sollen, wo keine laufenden Kosten entstehen und wo auch ohne Internet gearbeitet wird.
Prompts anpassen
Ein Punkt, der oft übersehen wird: Ein ausgefeilter Prompt, der bei einem großen Modell brillante Ergebnisse liefert, überfordert ein 3B-Modell. Mehrere Anweisungen, verschachtelte Bedingungen, Rollenbeschreibung plus Formatvorgabe plus Beispiele – das ist zu viel auf einmal.
Zerlegt solche Prompts in einzelne Schritte. Erst die Struktur prüfen lassen, dann den Stil, dann die Länge. Nacheinander statt gleichzeitig. Aus den Kleinen holt das erstaunlich viel heraus.
Wann neue Hardware die ehrlichere Antwort ist
Irgendwann ist Schluss mit Optimieren. Ab 16 GB RAM wird die Arbeit spürbar entspannter, weil dann 7B- bis 12B-Modelle in Reichweite kommen – und das ist die Klasse, in der lokale KI anfängt, richtig nützlich zu werden. Ab 24 GB macht es Spaß. Das kostet Geld, ist aber die redlichere Auskunft als das Versprechen, mit dem richtigen Kniff ginge es auch mit acht.
Bis dahin gilt: 8 GB reichen für ein brauchbares Textwerkzeug. Nur eben nicht für ein Universalgenie.
Lokale KI selbst ausprobieren – kostenlos
Wie ihr eine KI auf dem eigenen Rechner installiert, welches Modell zu welcher Hardware passt und wie ihr das Ganze sinnvoll in den Alltag einbaut, zeige ich Schritt für Schritt in meinem kostenlosen Onlinekurs.
Bei dem Tempo den Überblick zu behalten, ist die eigentliche Kunst.
Den Überblick behalten, ohne jeden Hype mitzumachen – dabei hilft dir Superkraft KI Unlimited.
Jetzt Superkraft KI Unlimited entdecken →
