Blog

Kleine taalmodellen uitgelegd

Markdown

Wat een taalmodel klein maakt, wat parameters en effectieve parameters betekenen, waarom kleine modellen op telefoons passen en welke mogelijkheden ze inleveren.

Wat is een klein taalmodel?

Een klein taalmodel (SLM) is een taalmodel dat compact genoeg is om op alledaagse hardware te draaien, zoals een telefoon of laptop, in plaats van in een datacenter. Er is geen afgesproken grens: modellen met enkele miljarden parameters of minder worden meestal klein genoemd; één overzicht uit 2024 hanteert een bereik van 100 miljoen tot 5 miljard.

Kleine en grote taalmodellen werken op dezelfde manier. Beide zijn neurale netwerken, vrijwel altijd transformers, die zijn getraind om het volgende teksttoken te voorspellen. Na de pretraining worden beide aangepast om instructies op te volgen; het hierboven genoemde overzicht behandelt precies dit soort transformers met alleen een decoder. Het verschil zit in de schaal. Een model voor een telefoon heeft enkele miljarden parameters, terwijl geavanceerde cloudmodellen veel groter zijn. Een klein model bevat dus minder kennis en heeft minder redeneervermogen (zie ‘Waar schieten kleine modellen tekort?’). Kleine modellen maken AI op het apparaat zelf praktisch.

Omvang is niet de enige factor die de kwaliteit bepaalt. De kwaliteit van een klein model hangt daarom net zo goed af van de training als van de omvang. Het kan leren van een groter model via distillatie, waarbij het wordt getraind om de uitvoer van het grotere model na te bootsen. Zorgvuldig geselecteerde data helpen ook: phi-1, een codemodel met 1,3 miljard parameters dat grotendeels is getraind op data van ‘leerboekkwaliteit’, behaalde 50,6% pass@1 op de programmeerbenchmark HumanEval.

Wat betekenen ‘parameters’ en ‘effectieve parameters’?

Parameters zijn de getallen die een model tijdens de training leert; het aantal ervan is de gebruikelijke maat voor de omvang. De ‘1.7B’ in Qwen3 1.7B betekent ongeveer 1,7 miljard. ‘Effectieve parameters’, de ‘E’ in Googles Gemma 4 E2B en E4B, is het aantal parameters waarmee het model berekeningen uitvoert, waarbij grote embeddingtabellen die het alleen opzoekt buiten beschouwing blijven.

De meeste parameters zitten in de gewichtsmatrices van de aandacht- en feed-forwardlagen van een transformer, waar elk token doorheen gaat. Een apart blok, de embeddings, koppelt elk token in de woordenschat aan een vector; bij een klein model kan dat een groot deel van het totaal zijn. De embeddingtabel van Qwen3 1.7B heeft 151.936 rijen (de ingestelde woordenschat, aangevuld tot meer dan de 151.669 items van de tokenizer) met 2.048 dimensies: ongeveer 311 miljoen embeddingparameters. Dat komt overeen met de modelkaart, die in totaal 1,7 miljard parameters vermeldt en 1,4 miljard buiten de embeddings 7. Onderzoeken naar schaalvergroting tellen vaak alleen de parameters buiten de embeddings.

De E-serie van Gemma 4 bouwt verder op dit idee. De modelkaart van Google legt uit: ‘De “E” in E2B en E4B staat voor “effectieve” parameters’: de modellen gebruiken Per-Layer Embeddings (PLE), waarbij ‘elke decoderlaag zijn eigen kleine embedding voor elk token heeft’, en ‘deze embeddingtabellen zijn groot, maar worden alleen gebruikt voor snelle opzoekacties. Daarom is het effectieve aantal parameters veel kleiner dan het totaal’ 8. De kaart vermeldt voor Gemma 4 E2B 2,3 miljard effectieve parameters en 5,1 miljard inclusief embeddings; voor E4B zijn dat 4,5 miljard effectieve parameters en 8 miljard inclusief embeddings.

Dit onderscheid is belangrijk op een telefoon: opzoeken kost geheugen maar weinig rekenkracht, en een runtime kan de tabellen in de opslag laten staan. ‘Effectief’ verschilt ook van ‘actief’: Gemma 4 26B A4B is een mixture-of-expertsmodel met 25,2 miljard parameters, waarvan er tijdens inferentie 3,8 miljard actief zijn 8.

Waarom passen kleine modellen op telefoons?

Voor de gewichten van een model is ruwweg het aantal parameters vermenigvuldigd met het aantal opgeslagen bits per parameter en gedeeld door acht nodig. Bij 4 bits hebben 1,7 miljard parameters ongeveer 0,85 GB nodig. Op een telefoon met 4 GB RAM blijft dan ruimte over voor Android en andere apps.

Het aantal parameters en de precisie zijn de twee knoppen waaraan je kunt draaien. Figuur 1 laat de berekening voor Qwen3 1.7B zien, van 32-bits floating point tot een modelbestand met 4-bits gewichten.

  1. Opgeslagen als 32-bits floating-pointgetallen nemen 1,7 miljard parameters 6,8 GB in beslag.
  2. Bij 16 bits nemen ze 3,4 GB in beslag.
  3. Bij 8 bits nemen ze 1,7 GB in beslag. Elke halvering van het aantal bits per gewicht halveert het benodigde geheugen voor de gewichten.
  4. Bij 4 bits is ongeveer 0,85 GB nodig. Een halve byte per gewicht maakt een model van deze omvang praktisch op een telefoon met 4 GB.
  5. Een modelbestand met 4-bits gewichten kan groter zijn dan de ruwe gewichten. Blokschalen en andere opgeslagen gegevens vergroten het bestand.
Figuur 1. Geheugen dat nodig is om de gewichten van Qwen3 1.7B op te slaan, in decimale gigabytes. De blauwe balken zijn berekend als aantal parameters × aantal bits ÷ 8 voor 1,7 miljard parameters en tellen alleen de gewichten mee; een draaiend model heeft ook geheugen nodig voor zijn key-valuecache en runtime. De oranje balk is het gedownloade modelbestand.
PrecisieBits per parameterGeschat geheugen voor gewichten
32-bits float326,8 GB
16-bits float163,4 GB
8-bits integer81,7 GB
4-bits integer40,85 GB

Daarom combineren modellen voor telefoons enkele miljarden parameters met gewichten van 4 bits of met gemengde precisie; quantisatie vermindert de opslagruimte die de gewichten nodig hebben.

De gewichten vormen niet het volledige geheugengebruik. Een draaiend model heeft ook geheugen nodig voor zijn key-valuecache, die groeit naarmate het contextvenster langer wordt, en voor de runtime zelf. De snelheid volgt dezelfde rekenregel: voor elk nieuw token moeten de gewichten van het model uit het geheugen worden gelezen. Minder en kleinere gewichten betekenen dus snellere antwoorden op dezelfde telefoon.

Waar zijn kleine modellen goed in?

Kleine modellen zijn goed in taken waarvoor de benodigde informatie in de prompt staat of tot algemene kennis behoort: herschrijven, samenvatten, concepten opstellen, uitleggen en antwoorden op basis van aangeleverde passages. Omdat ze op het apparaat draaien, kunnen ze ook antwoorden zonder netwerkverbinding en zonder de prompt naar een server te sturen.

De modelkaart van Google noemt de Gemma 4-familie ‘zeer geschikt voor redeneren, agentische workflows, programmeren en multimodaal begrip’. E2B en E4B kunnen tekst, afbeeldingen en audio als invoer verwerken 8. Dit zijn de beschrijvingen en benchmarks van de ontwikkelaars zelf; hoe goed een specifieke taak op een specifieke telefoon werkt, moet nog steeds worden getest.

De juiste tekst aanleveren helpt een klein model met wat het niet weet. Retrieval-augmented generation voegt passages toe die op het moment van de vraag zijn opgehaald, zodat het model werkt met bronnen in plaats van met zijn geheugen. Kleine modellen zijn ook voorspelbaar in gebruik: er zijn geen serverkosten per vraag, geen wachtrij en na het downloaden geen afhankelijkheid van een verbinding.

Waar schieten kleine modellen tekort?

Kleine modellen bevatten minder kennis, zijn zwakker in lang of meerstaps redeneren en verwerken lange contexten minder goed dan grotere modellen. En net als alle taalmodellen kunnen ze vloeiend onjuiste dingen beweren.

Dit patroon is te zien binnen één familie. Volgens de modelkaart van Google scoort Gemma 4 E2B 60,0% op de kennis- en redeneerbenchmark MMLU Pro en E4B 69,4%, tegenover 85,2% voor het Gemma 4-model met 31 miljard parameters. Op GPQA Diamond, een verzameling wetenschappelijke vragen op universitair masterniveau, zijn de scores respectievelijk 43,4%, 58,6% en 84,3% 8. Dit zijn de resultaten van Google voor zijn eigen modellen.

Kleine modellen kunnen ook in herhalingen blijven hangen. De modelkaart van Qwen waarschuwt dat greedy decoding ‘kan leiden tot slechtere prestaties en eindeloze herhalingen’ 7.

Waarom nemen kleine modellen de vorm van hun instructies over?

Kleine modellen bootsen vaak zowel de vorm van een prompt als de inhoud ervan na. Daardoor kan een lange, gestructureerde systeemprompt terugkomen als structuur in elk antwoord.

Een model kreeg de prompt ‘begin met het directe antwoord en geef daarna nuttige details’. Het antwoord bestond uit onderdelen met de vetgedrukte labels ‘Direct antwoord:’ en ‘Nuttige details:’. De instructie was bedoeld als advies over de inhoud, maar het model behandelde haar als een sjabloon.

Hoe werken denkmodi in kleine modellen?

In een denkmodus schrijft het model eerst tussenliggende redeneringen uit en geeft daarna het definitieve antwoord. Dat kost meer tijd en tokens, maar kan zorgvuldiger resultaten opleveren bij problemen met meerdere stappen. Qwen3 en Gemma 4 bieden deze modus allebei aan als een schakelaar binnen één model, niet als een afzonderlijk redeneermodel.

Het idee komt voort uit chain-of-thought prompting. Nieuwere kleine modellen worden getraind om te redeneren; in het geval van Qwen3 gebeurt dat deels door te leren van grotere modellen.

De schakelaar is onderdeel van de prompt. Qwen3 1.7B denkt standaard na en schrijft zijn redenering in een <think>…</think>-blok; ontwikkelaars zetten het denken uit met de instelling enable_thinking, en gebruikers kunnen /think of /no_think aan een bericht toevoegen om de modus per beurt te wijzigen 7. Gemma 4 schakelt het denken in wanneer de systeemprompt begint met een <|think|>-token 8.

Denken kost tijd en context, omdat redeneertokens deel uitmaken van de uitvoer van het model en ruimte innemen in het contextvenster. Als een model zo is ingesteld dat het de redenering toont, verschijnt die vóór het antwoord. Het gedrag hangt echter af van het model en de toepassing.

Hoe verschillen Qwen3 1.7B, Gemma 4 E2B en Gemma 4 E4B?

De drie modellen verschillen in omvang, invoer en contextlengte. Qwen3 1.7B heeft 1,7 miljard parameters en verwerkt alleen tekst. Google vermeldt voor Gemma 4 E2B en E4B respectievelijk 2,3 en 4,5 miljard effectieve parameters; beide kunnen tekst, afbeeldingen en audio verwerken. Alle drie zijn uitgebracht onder Apache 2.0.

Qwen3 1.7BGemma 4 E2BGemma 4 E4B
OntwikkelaarAlibaba (Qwen-team)Google DeepMindGoogle DeepMind
Parameters1,7B, waarvan 1,4B buiten de embeddings2,3B effectief, 5,1B inclusief embeddings4,5B effectief, 8B inclusief embeddings
Lagen283542
Contextlengte32.768 tokens128K tokens128K tokens
InvoerTekstTekst, afbeelding, audioTekst, afbeelding, audio
DenkmodusJa, standaard ingeschakeldJaJa
LicentieApache 2.0Apache 2.0Apache 2.0

Tabel 1. Specificaties zoals gepubliceerd in de modelkaart van Qwen3-1.7B van Qwen en de modelkaart van Gemma 4 van Google; gecontroleerd op 5 oktober 2026 7 8.

Bronnen

  1. Qwen. ‘Qwen3-1.7B.’ Modelkaart en configuratie, Hugging Face. Geraadpleegd op 5 oktober 2026. huggingface.co/Qwen/Qwen3-1.7B
  2. Google DeepMind. ‘Modelkaart van Gemma 4.’ Google AI for Developers. Geraadpleegd op 5 oktober 2026. ai.google.dev/gemma/docs/core/model_card_4

Pas deze gids toe met Ailoot

Verbind AI-modellen via één Ailoot API met je applicaties, agents en automatiseringen. Kies het model dat bij je taak past en volg de Ailoot-documentatie om aan de slag te gaan.