De beste kleine LLM's om lokaal te draaien: een uitgebreide gids
MarkdownDe beste kleine LLM's om lokaal te draaien in 2026 — Qwen3, Gemma 3, Llama 3.2 en Phi-4-mini — plus hoeveel RAM je nodig hebt en hoe je ze met Ollama uitvoert.
Kleine taalmodellen zijn stilletjes uitgegroeid tot een van de nuttigste hulpmiddelen die een ontwikkelaar op zijn eigen computer kan gebruiken. Je hebt geen rek vol GPU's of een cloudrekening meer nodig om een capabel model volledig offline vragen te laten beantwoorden, code te laten schrijven en documenten samen te laten vatten.
Sinds de begindagen van de open gewichten van de oorspronkelijke LLaMA, Alpaca en GPT-J is er veel veranderd. In 2026 kan een model met 4 miljard parameters op een laptop werk doen waarvoor vroeger iets nodig was dat tien keer zo groot was. Deze gids behandelt de beste kleine LLM's om vandaag lokaal te draaien, hoeveel hardware ze nodig hebben en wat de eenvoudigste manieren zijn om ze aan de praat te krijgen.
Kort antwoord. De beste kleine LLM's om lokaal te draaien in 2026 zijn Qwen3 (1.7B–14B), Google Gemma 3 (1B–12B), Meta Llama 3.2 (1B/3B) en Microsoft Phi-4-mini (3.8B). Qwen3 is de veiligste allround standaardkeuze. Draai ze met Ollama of LM Studio; de meeste hebben slechts 8–16 GB RAM nodig.
Wat geldt in 2026 als een kleine LLM?
Een kleine LLM (soms een small language model of SLM genoemd) is een compact model dat je op consumentenhardware kunt draaien, in plaats van op een cloud-GPU-cluster. Er is geen officiële grens, maar kleine modellen van nu hebben in de praktijk drie kenmerken gemeen:
- Ongeveer 0.5B tot 14B parameters — klein genoeg om met een gekwantiseerde versie in het geheugen van een gewone laptop of één GPU uit het middensegment te passen.
- Ze draaien goed na 4-bit-kwantisatie, die het geheugengebruik met ongeveer een factor 4 verlaagt, met slechts een klein kwaliteitsverlies.
- Ze worden geleverd als open gewichten, zodat je ze zonder API-sleutel kunt downloaden, draaien en vaak ook finetunen.
De belangrijkste verandering sinds 2023 is de kwaliteit per parameter. Een modern model van 3–4B is afgestemd op instructies, meertalig en redeneert vaak beter dan een model van 13B van twee jaar geleden. Daarom hebben de oude favorieten — vanilla LLaMA 7B, Alpaca, Vicuna, GPT-J, GPT-Neo en Falcon 7B — plaatsgemaakt voor de onderstaande modelreeksen.
Waarom een kleine LLM lokaal draaien?
Een model op je eigen computer draaien biedt een aantal voordelen die een gehoste API niet kan bieden:
- Privacy. Prompts en gegevens verlaten je apparaat nooit — belangrijk voor bedrijfseigen code en juridisch of medisch werk.
- Kosten. Geen betaling per token. Zodra het model is gedownload, is inferentie gratis.
- Offlinegebruik. Werkt in een vliegtuig, op een beveiligd netwerk of overal waar geen betrouwbare internetverbinding is.
- Lage latentie en controle. Geen roundtrip via het netwerk, geen snelheidslimieten, en je kunt een specifieke versie vastzetten zodat het gedrag niet ongemerkt verandert.
- Aanpassing. Je kunt het model finetunen of retrieval toevoegen om het aan je eigen domein aan te passen.
Wat zijn in 2026 de beste kleine LLM's om lokaal te draaien?
Deze modelreeksen zijn in 2026 het downloaden waard. Ze zijn ingedeeld op maker en op waar ze het meest geschikt voor zijn.
Qwen3 — de allround standaardkeuze
Qwen3 van Alibaba is stilletjes voor de meeste ontwikkelaars het antwoord geworden op de vraag: "wat moet ik lokaal draaien?" De reeks omvat uiteenlopende formaten — 0.6B, 1.7B, 4B, 8B en 14B voor de dense modellen — allemaal onder een permissieve Apache 2.0-licentie zonder commerciële beperkingen.
- Geschikt voor: algemene chat, hulp bij programmeren, refactoring en meertalig werk.
- Beste balans: Qwen3 8B wordt algemeen beschouwd als de beste algehele keuze op een GPU met 8 GB; Qwen3 4B is een sterke optie voor laptops met alleen een CPU.
- Waarom het de beste keuze is: hoge kwaliteit per parameter, een eenvoudige licentie en uitstekende ondersteuning door tools.
Google Gemma 3 — krachtig en multimodaal
Google Gemma 3 is verkrijgbaar in formaten van 1B, 4B, 12B en 27B. De varianten vanaf 4B zijn multimodaal (ze kunnen afbeeldingen lezen) en ondersteunen meer dan 140 talen. Daarmee is Gemma een goede keuze als je op het apparaat beeldverwerking of brede taalondersteuning nodig hebt.
- Geschikt voor: multimodale invoer, meertalige taken en algemeen gebruik op een apparaat met 16 GB (Gemma 3 12B).
- Let op: Gemma valt onder de eigen licentie van Google — controleer de voorwaarden voor commercieel gebruik.
Meta Llama 3.2 — een gemakkelijke start
De kleine Llama-modellen van Meta — Llama 3.2 1B en 3B — zijn de meest laagdrempelige manier om te beginnen. Ze zijn klein, goed gedocumenteerd, overal ondersteund en geschikt voor taken op het apparaat, zoals samenvatten en eenvoudige chat.
- Geschikt voor: een eerste lokaal model, samenvatten en assistenten op het apparaat.
- Compromis: de formaten 1B/3B blijven achter bij Qwen3 en Phi-4 voor lastige redeneertaken, maar op snelheid en eenvoud zijn ze moeilijk te verslaan.
Microsoft Phi-4 en Phi-4-mini — sterk in redeneren voor hun formaat
De Phi-modellen van Microsoft zijn intensief getraind op samengestelde en synthetische gegevens. Daardoor presteren ze voor hun formaat opvallend goed bij wiskunde, logica en gestructureerde probleemoplossing. Phi-4 is een model van 14B dat bij redeneertaken regelmatig concurreert met veel grotere modellen, terwijl Phi-4-mini (3.8B) misschien wel het beste kleine redeneermodel is dat je op minimale hardware kunt draaien — ongeveer 3 GB VRAM bij 4-bit. Beide worden geleverd onder een permissieve MIT-licentie.
- Geschikt voor: wiskunde, logica en stap-voor-stap redeneren op bescheiden hardware.
Mistral 7B — de volwassen optie die op code is gericht
Mistral 7B is nog steeds een betrouwbare werkpaardmodel met een van de grootste ecosystemen van finetunes en integraties. Het valt onder Apache 2.0, draait probleemloos op een GPU met 8 GB en is nog altijd favoriet voor lokale configuraties die op code zijn gericht. De kleinere Ministral-modellen van Mistral (3B en 8B) breiden de reeks uit voor gebruik op edge-apparaten.
- Geschikt voor: programmeren, een goed ondersteund algemeen model en eenvoudig finetunen.
Gedistilleerde DeepSeek-R1-modellen — voor logica-intensief werk
DeepSeek bracht gedistilleerde redeneermodellen uit op basis van Qwen- en Llama-modellen (doorgaans 7B, 8B en 14B). Daarmee wordt redeneren in de stijl van een gedachteketen mogelijk op formaten die je lokaal kunt draaien. Ze zijn sterk in stap-voor-stapprobleemoplossing. Ze vallen onder de MIT-licentie en zijn beschikbaar in Ollama.
- Geschikt voor: redeneren, wiskunde en problemen waarbij zichtbare denkstappen nuttig zijn.
SmolLM2 — wanneer je het allerkleinste nodig hebt
SmolLM2 van Hugging Face is verkrijgbaar in formaten van 135M, 360M en 1.7B. Deze modellen zijn geschikt voor hardware met de strengste beperkingen, browsers of edge-apparaten. Ze kunnen samenvatten en eenvoudige instructies uitvoeren, maar zijn niet gemaakt voor complexe redeneertaken.
- Geschikt voor: zeer weinig RAM, ingebouwd en edgegebruik, experimenten.
Vergelijkingstabel voor kleine LLM's
Geschatte waarden voor gekwantiseerde versies met 4-bit (Q4). Het werkelijke geheugengebruik varieert met de contextlengte en de runtime.
| Model | Parameters | Geschat RAM/VRAM (Q4) | Geschikt voor | Licentie |
|---|---|---|---|---|
| Qwen3 1.7B | 1.7B | ~2 GB | Snel chatten op elke laptop | Apache 2.0 |
| Qwen3 4B | 4B | ~3–4 GB | Evenwichtige chat en lichte programmeertaken | Apache 2.0 |
| Qwen3 8B | 8B | ~6–8 GB | Beste allroundkeuze op een GPU met 8 GB | Apache 2.0 |
| Qwen3 14B | 14B | ~10–12 GB | Programmeren, refactoring en redeneren | Apache 2.0 |
| Gemma 3 4B | 4B | ~3–4 GB | Multimodaal / meer dan 140 talen | Gemma |
| Gemma 3 12B | 12B | ~9–10 GB | Sterk algemeen gebruik op een apparaat met 16 GB | Gemma |
| Llama 3.2 3B | 3B | ~3 GB | Gemakkelijk om mee te beginnen | Llama |
| Phi-4-mini | 3.8B | ~3 GB | Redeneren/wiskunde op beperkte hardware | MIT |
| Phi-4 | 14B | ~10–12 GB | Wiskunde/logica die sterker presteert dan het formaat doet vermoeden | MIT |
| Mistral 7B | 7B | ~5–6 GB | Codegericht, volwassen ecosysteem | Apache 2.0 |
| DeepSeek-R1 distill 8B | 8B | ~6–8 GB | Logica-intensief, stap-voor-stap redeneren | MIT |
| SmolLM2 1.7B | 1.7B | ~1.5 GB | Edge / zeer weinig RAM | Apache 2.0 |
Hoeveel RAM en welke hardware heb je nodig?
Een handige vuistregel: een gekwantiseerd model met 4-bit heeft ongeveer 0.6–0.75 GB geheugen per miljard parameters nodig, plus een beetje extra ruimte voor de context. Een model van 7B heeft dus ongeveer 5–6 GB nodig, en een model van 14B ongeveer 10–12 GB. Je mogelijkheden hangen af van de hoeveelheid geheugen die je hebt:
| Je hebt | Comfortabele modelgrootte | Goede keuzes |
|---|---|---|
| 8 GB RAM, geen GPU | 1–4B | Qwen3 4B, Phi-4-mini, Gemma 3 1B, Llama 3.2 3B |
| GPU met 8 GB (VRAM) | 7–8B | Qwen3 8B, Mistral 7B, DeepSeek-R1 distill 8B |
| 16 GB RAM / VRAM | 12–14B | Gemma 3 12B, Qwen3 14B, Phi-4 |
| GPU met 24 GB of meer | 14–32B | Qwen3 32B, grotere DeepSeek-varianten |
Apple Silicon-Macs zijn een bijzonder geval: dankzij hun unified memory kan de GPU het grootste deel van het systeem-RAM gebruiken. Daardoor kan een MacBook uit de M-serie met 16–32 GB modellen draaien waarvoor op een pc een aparte GPU nodig zou zijn.
Gouden regel: begin niet met het grootste model. Begin met het beste model dat je hardware comfortabel aankan. Een snel model van 4B is beter dan een model van 14B dat geheugen naar schijf verplaatst en één token per seconde antwoordt.
Hoe draai je lokaal een kleine LLM?
Je hoeft niet met Python aan de slag om te beginnen. Drie tools dekken vrijwel alle toepassingen:
- Ollama — de eenvoudigste manier. Installeer het en haal daarna met één commando een model op en start het. Ollama regelt het downloaden en kwantiseren en biedt een OpenAI-compatibele API op
localhost:11434. - LM Studio — een verzorgde desktopapp met een chatinterface, modelbrowser en downloads met één klik. Het beste als je de voorkeur geeft aan een grafische interface.
- llama.cpp — de onderliggende C/C++-engine waarop een groot deel van het ecosysteem draait. Kies deze als je maximale controle wilt of GGUF-bestanden rechtstreeks op een CPU of Apple Silicon wilt uitvoeren.
Een eerste keer starten met Ollama ziet er zo uit:
# Pull and chat with Qwen3 8B (best all-rounder on an 8 GB GPU)
ollama pull qwen3:8b
ollama run qwen3:8b
# Lighter options for CPU-only laptops
ollama pull qwen3:4b
ollama pull llama3.2:3b
ollama pull phi4-mini
ollama pull gemma3:4b
Zodra een model draait, bieden zowel Ollama als LM Studio een OpenAI-compatibel endpoint. Je kunt bestaande tools en scripts dus op je lokale model richten door alleen de basis-URL te wijzigen.
Hoe kies je de juiste kleine LLM?
Kies een model dat bij de taak past in plaats van achter een ranglijst aan te lopen:
- Algemene chat en dagelijkse taken: Qwen3 (4B of 8B) — de veiligste standaardkeuze.
- Programmeren en refactoring: Qwen3 14B, Mistral of een DeepSeek-R1 distill op een GPU met 12–16 GB.
- Wiskunde, logica en redeneren op beperkte hardware: Phi-4-mini, en daarna Phi-4 als je 16 GB hebt.
- Afbeeldingen of veel talen: Gemma 3 4B of 12B.
- De kleinst mogelijke voetafdruk: Llama 3.2 1B, Gemma 3 1B of SmolLM2.
Wat zijn de beperkingen van kleine lokale LLM's?
Kleine modellen zijn echt nuttig, maar het helpt om te weten waar hun grenzen liggen:
- Minder kennis van de wereld. Ze weten minder dan geavanceerde cloudmodellen en kunnen met overtuiging fouten maken. Controleer daarom feiten die belangrijk zijn.
- Minder sterk in heel moeilijke redeneertaken. Een model van 3B kan een groot gehost model niet evenaren bij complexe problemen met meerdere stappen.
- Compromissen tussen context en snelheid. Lange contexten gebruiken meer geheugen; grote modellen kunnen op een CPU traag zijn.
- De kwaliteit verschilt per taak. Een model dat uitstekend is in chat kan matig zijn in programmeren. Test er een paar voordat je een keuze maakt.
Voor veel werkprocessen is retrieval (RAG) of een snelle finetune met je eigen gegevens de oplossing — beide zijn lokaal veel goedkoper dan ze misschien lijken.
Veelgestelde vragen
Wat is in 2026 de beste kleine LLM om lokaal te draaien?
Voor de meeste mensen is Qwen3 8B de beste allroundkeuze op een GPU met 8 GB, en werken Qwen3 4B of Llama 3.2 3B goed op laptops met alleen een CPU. Kies het grootste model dat je hardware comfortabel aankan, niet het grootste beschikbare model.
Wat is de kleinste LLM die je lokaal kunt draaien?
Modellen als SmolLM2 (135M–1.7B), Llama 3.2 1B, Gemma 3 1B en Qwen3 0.6B draaien op vrijwel elke moderne laptop, vaak met minder dan 2 GB RAM wanneer ze met 4-bit zijn gekwantiseerd. Ze kunnen samenvatten en eenvoudige chat voeren, maar zijn zwak in complexe redeneertaken.
Hoeveel RAM heb ik nodig om lokaal een kleine LLM te draaien?
Een gekwantiseerd model van 3–4B met 4-bit heeft ongeveer 3–4 GB vrije RAM of VRAM nodig, een model van 7–8B ongeveer 6–8 GB en een model van 12–14B 10–16 GB. 16 GB systeem-RAM is een comfortabele basis voor de meeste kleine modellen.
Wat is de eenvoudigste manier om lokaal een kleine LLM te draaien?
Installeer Ollama of LM Studio en haal daarna met één commando een model op (bijvoorbeeld ollama pull qwen3:8b). Beide regelen het downloaden en kwantiseren, bieden een lokale chatinterface en stellen een OpenAI-compatibele API beschikbaar voor je eigen apps.
Kan ik een kleine LLM zonder GPU draaien?
Ja. Met 4-bit-kwantisatie draaien modellen tot ongeveer 7–8B op een moderne CPU. Op Apple Silicon-Macs draaien ze dankzij unified memory merkbaar sneller. Verwacht een lagere tokensnelheid dan met een aparte GPU, maar de modellen zijn bruikbaar voor chat en het opstellen van teksten.
Zijn kleine lokale LLM's goed voor programmeren?
Dat kunnen ze zijn. Qwen3 en gedistilleerde DeepSeek-R1-modellen zijn sterk in programmeren voor kleine modellen, en Mistral heeft een volwassen ecosysteem dat op code is gericht. Voor zwaardere refactoring levert een model van 14B op een GPU met 12–16 GB de beste kwaliteit die je lokaal kunt krijgen.
Samengevat
Kleine lokale LLM's zijn veranderd van een hobbyproject in een praktisch dagelijks hulpmiddel. Begin met Qwen3 als evenwichtige standaardkeuze, kies Phi-4-mini als je op lichte hardware redeneervermogen nodig hebt en neem Gemma 3 als je beeldverwerking of ondersteuning voor veel talen nodig hebt — alles binnen enkele minuten via Ollama of LM Studio. Raadpleeg voor hulp bij het gebruik van de Ailoot-documentatie de Ailoot-documentatie.