Die besten kleinen LLMs für den lokalen Betrieb: Ein umfassender Leitfaden
MarkdownDie besten kleinen LLMs für den lokalen Betrieb im Jahr 2026 — Qwen3, Gemma 3, Llama 3.2 und Phi-4-mini — außerdem, wie viel RAM Sie brauchen und wie Sie sie mit Ollama ausführen.
Kleine Sprachmodelle haben sich still und leise zu einem der nützlichsten Werkzeuge entwickelt, die Entwickler auf ihrem eigenen Rechner haben können. Sie brauchen weder ein Rack voller GPUs noch eine hohe Cloud-Rechnung, um ein leistungsfähiges Modell Fragen beantworten, Code entwerfen und Dokumente vollständig offline zusammenfassen zu lassen.
Seit den frühen Tagen der offenen Gewichte mit dem ursprünglichen LLaMA, Alpaca und GPT-J hat sich viel verändert. Im Jahr 2026 kann ein Modell mit 4 Milliarden Parametern auf einem Laptop Aufgaben erledigen, für die früher ein zehnmal so großes Modell nötig war. Dieser Leitfaden stellt die besten kleinen LLMs vor, die Sie heute lokal ausführen können, erklärt, welche Hardware sie benötigen, und zeigt die einfachsten Wege, sie zum Laufen zu bringen.
Kurzantwort. Die besten kleinen LLMs für den lokalen Betrieb im Jahr 2026 sind Qwen3 (1.7B–14B), Google Gemma 3 (1B–12B), Meta Llama 3.2 (1B/3B) und Microsoft Phi-4-mini (3.8B). Qwen3 ist die zuverlässigste Standardwahl für den vielseitigen Einsatz. Führen Sie die Modelle mit Ollama oder LM Studio aus; die meisten benötigen nur 8–16 GB RAM.
Was gilt 2026 als kleines LLM?
Ein kleines LLM (manchmal auch kleines Sprachmodell oder SLM genannt) ist ein kompaktes Modell, das Sie auf handelsüblicher Hardware statt auf einem GPU-Cluster in der Cloud ausführen können. Es gibt keine offizielle Grenze, aber kleine Modelle haben heute in der Praxis drei gemeinsame Merkmale:
- Ungefähr 0.5B bis 14B Parameter — klein genug, damit eine quantisierte Version in den Speicher eines normalen Laptops oder einer einzelnen GPU der mittleren Leistungsklasse passt.
- Sie laufen nach einer 4-Bit-Quantisierung gut. Diese senkt den Speicherbedarf um etwa das 4-Fache und führt nur zu einem geringen Qualitätsverlust.
- Sie werden mit offenen Gewichten veröffentlicht. So können Sie sie ohne API-Schlüssel herunterladen, ausführen und oft auch feinabstimmen.
Die entscheidende Veränderung seit 2023 betrifft die Qualität pro Parameter. Ein modernes Modell mit 3–4B Parametern ist auf Anweisungen abgestimmt, mehrsprachig und beim Schlussfolgern oft besser als ein Modell mit 13B Parametern von vor zwei Jahren. Deshalb sind die früheren Favoriten — das unveränderte LLaMA 7B, Alpaca, Vicuna, GPT-J, GPT-Neo und Falcon 7B — den nachfolgend vorgestellten Modellfamilien gewichen.
Warum ein kleines LLM lokal ausführen?
Wenn Sie ein Modell auf Ihrem eigenen Rechner ausführen, profitieren Sie von mehreren Vorteilen, die eine gehostete API nicht bieten kann:
- Datenschutz. Eingaben und Daten verlassen Ihr Gerät nie — wichtig bei proprietärem Code sowie bei juristischen oder medizinischen Aufgaben.
- Kosten. Keine Abrechnung pro Token. Sobald das Modell heruntergeladen ist, ist die Inferenz kostenlos.
- Offline-Nutzung. Funktioniert im Flugzeug, in einem sicheren Netzwerk oder überall dort, wo es keine zuverlässige Internetverbindung gibt.
- Latenz und Kontrolle. Kein Netzwerk-Roundtrip, keine Ratenbegrenzungen. Außerdem können Sie eine bestimmte Version festlegen, sodass sich das Verhalten nicht unbemerkt ändert.
- Anpassung. Sie können das Modell feinabstimmen oder um einen Retrieval-Mechanismus ergänzen, um es an Ihren Fachbereich anzupassen.
Welche kleinen LLMs eignen sich 2026 am besten für den lokalen Betrieb?
Diese Modellfamilien sind 2026 einen Download wert. Sie sind danach gruppiert, wer sie entwickelt und wofür sie sich am besten eignen.
Qwen3 — der vielseitige Standard
Alibabas Qwen3-Familie hat sich still und leise für die meisten Entwickler zur Antwort auf die Frage „Was sollte ich lokal ausführen?“ entwickelt. Sie deckt viele Größen ab — 0.6B, 1.7B, 4B, 8B und 14B bei den dichten Modellen — und steht vollständig unter der freizügigen Apache-2.0-Lizenz ohne kommerzielle Einschränkungen.
- Am besten geeignet für: allgemeine Chats, Programmierhilfe, Refactoring und mehrsprachige Aufgaben.
- Der beste Kompromiss: Qwen3 8B gilt weithin als beste Gesamtwahl für eine 8-GB-GPU; Qwen3 4B ist eine gute Wahl für Laptops ohne GPU.
- Warum das Modell überzeugt: hohe Qualität pro Parameter, eine unkomplizierte Lizenz und hervorragende Unterstützung durch Tools.
Google Gemma 3 — leistungsstark und multimodal
Google Gemma 3 gibt es in den Größen 1B, 4B, 12B und 27B. Die Varianten mit 4B oder mehr Parametern sind multimodal (sie können Bilder lesen) und unterstützen 140+ Sprachen. Dadurch ist Gemma die passende Wahl, wenn Sie visuelle Verarbeitung oder eine breite Sprachabdeckung direkt auf dem Gerät benötigen.
- Am besten geeignet für: multimodale Eingaben, mehrsprachige Aufgaben und den allgemeinen Einsatz auf einem Rechner mit 16 GB (Gemma 3 12B).
- Hinweis: Gemma wird unter Googles eigener Lizenz veröffentlicht — prüfen Sie die Bedingungen für die kommerzielle Nutzung.
Meta Llama 3.2 — der einfache Einstieg
Metas kleine Llama-Modelle — Llama 3.2 1B und 3B — bieten den unkompliziertesten Einstieg. Sie sind winzig, gut dokumentiert, überall unterstützt und für Aufgaben direkt auf dem Gerät geeignet, etwa zum Zusammenfassen oder für einfache Chats.
- Am besten geeignet für: das erste lokale Modell, Zusammenfassungen und Assistenten direkt auf dem Gerät.
- Kompromiss: Bei anspruchsvollem Schlussfolgern liegen die Größen 1B/3B hinter Qwen3 und Phi-4. Bei Geschwindigkeit und Einfachheit sind sie jedoch kaum zu schlagen.
Microsoft Phi-4 und Phi-4-mini — starke Schlussfolgerungen trotz geringer Größe
Microsofts Phi-Modelle werden intensiv mit kuratierten und synthetischen Daten trainiert. Dadurch übertreffen sie bei Mathematik, Logik und strukturiertem Problemlösen die Erwartungen, die ihre Größe nahelegt. Phi-4 ist ein Modell mit 14B Parametern, das bei Aufgaben zum Schlussfolgern regelmäßig mit deutlich größeren Modellen konkurriert. Phi-4-mini (3.8B) ist vermutlich das beste kleine Modell für Schlussfolgerungen, das sich mit minimaler Hardware ausführen lässt — bei 4-Bit etwa 3 GB VRAM. Beide Modelle stehen unter der freizügigen MIT-Lizenz.
- Am besten geeignet für: Mathematik, Logik und schrittweises Schlussfolgern auf bescheidener Hardware.
Mistral 7B — die ausgereifte, codeorientierte Option
Mistral 7B ist nach wie vor ein zuverlässiges Arbeitstier mit einem der größten Ökosysteme für feinabgestimmte Modelle und Integrationen. Es steht unter Apache 2.0, läuft problemlos auf einer 8-GB-GPU und ist weiterhin beliebt für lokale, auf Code ausgerichtete Konfigurationen. Mistrals kleinere Ministral-Modelle (3B und 8B) erweitern die Familie für den Einsatz auf Edge-Geräten.
- Am besten geeignet für: Programmierung, ein gut unterstütztes Allzweckmodell und unkomplizierte Feinabstimmung.
Distillierte DeepSeek-R1-Modelle — für logikintensive Aufgaben
DeepSeek hat destillierte Modelle für Schlussfolgerungen veröffentlicht, die auf Qwen- und Llama-Modellen basieren (meist 7B, 8B und 14B). Sie bringen Schlussfolgerungen im Stil einer Gedankenkette auf Modellgrößen, die sich lokal ausführen lassen, und eignen sich gut für schrittweises Problemlösen. Sie stehen unter der MIT-Lizenz und sind in Ollama verfügbar.
- Am besten geeignet für: Schlussfolgerungen, Mathematik und Aufgaben, bei denen sichtbare Denkschritte hilfreich sind.
SmolLM2 — wenn es unbedingt das kleinste Modell sein muss
Hugging Faces SmolLM2 gibt es in den Größen 135M, 360M und 1.7B. Diese Modelle sind die richtige Wahl für besonders schwache Hardware, für Browser oder für Edge-Geräte. Sie können zusammenfassen und einfache Anweisungen befolgen, sind aber nicht für komplexe Schlussfolgerungen ausgelegt.
- Am besten geeignet für: extrem wenig RAM, eingebettete Systeme und Edge-Geräte sowie Experimente.
Vergleichstabelle für kleine LLMs
Ungefähre Werte für quantisierte Versionen mit 4 Bit (Q4). Der tatsächliche Speicherbedarf hängt von der Kontextlänge und der Laufzeitumgebung ab.
| Modell | Parameter | Ungefährer RAM/VRAM-Bedarf (Q4) | Am besten geeignet für | Lizenz |
|---|---|---|---|---|
| Qwen3 1.7B | 1.7B | ~2 GB | Schnelle Chats auf jedem Laptop | Apache 2.0 |
| Qwen3 4B | 4B | ~3–4 GB | Ausgewogene Chats + einfache Programmieraufgaben | Apache 2.0 |
| Qwen3 8B | 8B | ~6–8 GB | Beste Allround-Wahl auf einer 8-GB-GPU | Apache 2.0 |
| Qwen3 14B | 14B | ~10–12 GB | Programmierung, Refactoring und Schlussfolgern | Apache 2.0 |
| Gemma 3 4B | 4B | ~3–4 GB | Multimodalität / 140+ Sprachen | Gemma |
| Gemma 3 12B | 12B | ~9–10 GB | Vielseitiger Einsatz auf einem Rechner mit 16 GB | Gemma |
| Llama 3.2 3B | 3B | ~3 GB | Einfacher Einstieg | Llama |
| Phi-4-mini | 3.8B | ~3 GB | Schlussfolgern/Mathematik auf schwacher Hardware | MIT |
| Phi-4 | 14B | ~10–12 GB | Mathematik/Logik über den Erwartungen für die Größe | MIT |
| Mistral 7B | 7B | ~5–6 GB | Codeorientierter Einsatz, ausgereiftes Ökosystem | Apache 2.0 |
| DeepSeek-R1 distill 8B | 8B | ~6–8 GB | Logikintensive Aufgaben, schrittweises Schlussfolgern | MIT |
| SmolLM2 1.7B | 1.7B | ~1.5 GB | Edge-Geräte / extrem wenig RAM | Apache 2.0 |
Wie viel RAM und welche Hardware brauchen Sie?
Als Faustregel gilt: Ein mit 4 Bit quantisiertes Modell benötigt ungefähr 0.6–0.75 GB Speicher pro Milliarde Parameter, zuzüglich etwas Spielraum für den Kontext. Ein Modell mit 7B Parametern braucht also etwa 5–6 GB, eines mit 14B etwa 10–12 GB. Welche Modelle für Sie infrage kommen, hängt vom verfügbaren Speicher ab:
| Verfügbar | Komfortable Modellgröße | Gute Optionen |
|---|---|---|
| 8 GB RAM, keine GPU | 1–4B | Qwen3 4B, Phi-4-mini, Gemma 3 1B, Llama 3.2 3B |
| 8-GB-GPU (VRAM) | 7–8B | Qwen3 8B, Mistral 7B, DeepSeek-R1 distill 8B |
| 16 GB RAM / VRAM | 12–14B | Gemma 3 12B, Qwen3 14B, Phi-4 |
| 24 GB+ GPU | 14–32B | Qwen3 32B, größere DeepSeek-Varianten |
Macs mit Apple Silicon sind ein Sonderfall: Dank des gemeinsamen Speichers kann die GPU den größten Teil des System-RAMs nutzen. Ein MacBook der M-Serie mit 16–32 GB kann daher Modelle ausführen, für die ein PC eine eigene GPU bräuchte.
Goldene Regel: Beginnen Sie nicht mit dem größten Modell. Wählen Sie das beste Modell, das Ihre Hardware problemlos ausführen kann. Ein schnelles 4B-Modell ist besser als ein 14B-Modell, das Speicher auslagert und mit einem Token pro Sekunde antwortet.
Wie führen Sie ein kleines LLM lokal aus?
Sie müssen Python nicht anfassen, um loszulegen. Drei Tools decken fast alle Anwendungsfälle ab:
- Ollama — der einfachste Weg. Installieren Sie es und laden Sie dann ein Modell mit einem einzigen Befehl herunter und starten Sie es. Ollama übernimmt den Download und die Quantisierung und stellt unter
localhost:11434eine OpenAI-kompatible API bereit. - LM Studio — eine ausgefeilte Desktop-App mit Chat-Oberfläche, Modellbrowser und Downloads mit einem Klick. Am besten geeignet, wenn Sie eine grafische Oberfläche bevorzugen.
- llama.cpp — die zugrunde liegende C/C++-Engine, auf der ein großer Teil des Ökosystems basiert. Verwenden Sie sie, wenn Sie maximale Kontrolle wünschen oder GGUF-Dateien direkt auf einer CPU oder Apple-Silicon-Hardware ausführen möchten.
Ein erster Start mit Ollama sieht so aus:
# Pull and chat with Qwen3 8B (best all-rounder on an 8 GB GPU)
ollama pull qwen3:8b
ollama run qwen3:8b
# Lighter options for CPU-only laptops
ollama pull qwen3:4b
ollama pull llama3.2:3b
ollama pull phi4-mini
ollama pull gemma3:4b
Sobald ein Modell läuft, stellen sowohl Ollama als auch LM Studio einen OpenAI-kompatiblen Endpunkt bereit. Sie können vorhandene Tools und Skripte mit Ihrem lokalen Modell verwenden, indem Sie einfach die Basis-URL ändern.
Wie wählen Sie das passende kleine LLM aus?
Wählen Sie das Modell passend zur Aufgabe, statt einer Rangliste hinterherzujagen:
- Allgemeine Chats und alltägliche Aufgaben: Qwen3 (4B oder 8B) — die zuverlässigste Standardwahl.
- Programmierung und Refactoring: Qwen3 14B, Mistral oder ein DeepSeek-R1-Distillat auf einer GPU mit 12–16 GB.
- Mathematik, Logik und Schlussfolgerungen auf schwacher Hardware: Phi-4-mini, dann Phi-4, wenn Sie 16 GB haben.
- Bilder oder viele Sprachen: Gemma 3 4B oder 12B.
- Möglichst geringer Speicherbedarf: Llama 3.2 1B, Gemma 3 1B oder SmolLM2.
Wo liegen die Grenzen kleiner lokaler LLMs?
Kleine Modelle sind sehr nützlich, aber Sie sollten wissen, wo ihre Grenzen liegen:
- Weniger Weltwissen. Sie wissen weniger als die führenden Cloud-Modelle und können sehr überzeugend falsche Antworten geben. Überprüfen Sie deshalb wichtige Fakten.
- Schwächer bei sehr anspruchsvollem Schlussfolgern. Ein 3B-Modell kann bei komplexen Problemen mit mehreren Schritten nicht mit einem großen gehosteten Modell mithalten.
- Kompromisse bei Kontext und Geschwindigkeit. Lange Kontexte benötigen mehr Speicher; große Modelle können auf einer CPU langsam sein.
- Die Qualität hängt von der Aufgabe ab. Ein Modell, das bei Chats hervorragend ist, kann beim Programmieren nur mittelmäßig sein. Testen Sie ein paar Modelle, bevor Sie sich festlegen.
Bei vielen Arbeitsabläufen hilft Retrieval (RAG) oder eine schnelle Feinabstimmung mit Ihren eigenen Daten — beides ist lokal deutlich günstiger, als es klingt.
Häufig gestellte Fragen
Welches kleine LLM eignet sich 2026 am besten für den lokalen Betrieb?
Für die meisten ist Qwen3 8B die beste Allround-Wahl auf einer 8-GB-GPU. Qwen3 4B oder Llama 3.2 3B funktionieren gut auf Laptops ohne GPU. Wählen Sie das größte Modell, das Ihre Hardware problemlos ausführen kann, statt einfach das größte verfügbare Modell zu nehmen.
Was ist das kleinste LLM, das sich lokal ausführen lässt?
Modelle wie SmolLM2 (135M–1.7B), Llama 3.2 1B, Gemma 3 1B und Qwen3 0.6B laufen auf fast jedem modernen Laptop. Bei einer 4-Bit-Quantisierung benötigen sie oft weniger als 2 GB RAM. Sie eignen sich für Zusammenfassungen und einfache Chats, sind aber schwach bei komplexen Schlussfolgerungen.
Wie viel RAM brauche ich, um ein kleines LLM lokal auszuführen?
Ein mit 4 Bit quantisiertes Modell mit 3–4B Parametern benötigt ungefähr 3–4 GB freien RAM oder VRAM, ein Modell mit 7–8B etwa 6–8 GB und eines mit 12–14B etwa 10–16 GB. 16 GB System-RAM sind eine komfortable Ausgangsbasis für die meisten kleinen Modelle.
Wie lässt sich ein kleines LLM am einfachsten lokal ausführen?
Installieren Sie Ollama oder LM Studio und laden Sie dann ein Modell mit einem einzigen Befehl herunter (zum Beispiel ollama pull qwen3:8b). Beide Tools übernehmen den Download und die Quantisierung, bieten eine lokale Chat-Oberfläche und stellen eine OpenAI-kompatible API für Ihre eigenen Apps bereit.
Kann ich ein kleines LLM ohne GPU ausführen?
Ja. Mit einer 4-Bit-Quantisierung laufen Modelle bis ungefähr 7–8B auf einer modernen CPU. Auf Macs mit Apple Silicon laufen sie dank des gemeinsamen Speichers deutlich schneller. Rechnen Sie mit niedrigeren Token-Geschwindigkeiten als bei einer dedizierten GPU, für Chats und Textentwürfe sind sie aber gut nutzbar.
Eignen sich kleine lokale LLMs zum Programmieren?
Das kann der Fall sein. Qwen3 und destillierte DeepSeek-R1-Modelle eignen sich unter den kleinen Modellen gut für Code, und Mistral verfügt über ein ausgereiftes, codeorientiertes Ökosystem. Für aufwendigeres Refactoring bietet ein Modell mit 14B Parametern auf einer GPU mit 12–16 GB die beste Qualität, die Sie lokal erreichen können.
Das Wichtigste auf einen Blick
Kleine lokale LLMs haben sich vom Hobbyexperiment zu einem praktischen Werkzeug für den Alltag entwickelt. Beginnen Sie mit Qwen3 als ausgewogener Standardwahl, nutzen Sie Phi-4-mini, wenn Sie Schlussfolgerungen auf schwacher Hardware brauchen, und wählen Sie Gemma 3, wenn Sie visuelle Verarbeitung oder viele Sprachen benötigen — alles über Ollama oder LM Studio in wenigen Minuten. Hilfe zur Verwendung der Ailoot-Dokumentation finden Sie in der Ailoot-Dokumentation.