Små språkmodeller forklart
MarkdownHva som gjør en språkmodell liten, hva parametere og effektive parametere betyr, hvorfor små modeller får plass på telefoner, og hvilke egenskaper de gir avkall på.
Hva er en liten språkmodell?
En liten språkmodell (SLM) er en språkmodell som er kompakt nok til å kjøre på vanlig maskinvare, for eksempel en telefon eller bærbar PC, i stedet for et datasenter. Det finnes ingen omforent grense: Modeller med noen få milliarder parametere eller færre kalles vanligvis små, og en oversikt fra 2024 bruker et spenn på 100 millioner til 5 milliarder.
Små og store språkmodeller fungerer på samme måte. Begge er nevrale nettverk, nesten alltid transformere, som er trent til å forutsi neste teksttoken, og begge tilpasses etter forhåndstreningen slik at de følger instruksjoner; oversikten nevnt over dekker dekoderbaserte transformere av akkurat denne typen. Forskjellen er størrelsen. En modell som får plass på en telefon, har noen få milliarder parametere, mens de ledende skymodellene er langt større. Derfor inneholder en liten modell mindre kunnskap og har mindre kapasitet til resonnering (se «Hvor kommer små modeller til kort?»). Små modeller gjør KI på enheten praktisk mulig.
Størrelse er ikke den eneste faktoren som påvirker kvaliteten. Kvaliteten til en liten modell avhenger derfor like mye av treningen som av størrelsen. Den kan lære fra en større modell gjennom destillasjon, der den trenes til å etterligne resultatene fra den større modellen, og den drar nytte av nøye utvalgte data: phi-1, en kodemodell med 1,3 milliarder parametere som i stor grad ble trent på data av «lærebokkvalitet», oppnådde 50,6 % pass@1 på kodingsreferansen HumanEval.
Hva betyr «parametere» og «effektive parametere»?
Parametere er tallene en modell lærer under trening, og antallet er det vanlige målet på størrelsen: «1.7B» i Qwen3 1.7B betyr omtrent 1,7 milliarder. «Effektive parametere», «E-en» i Googles Gemma 4 E2B og E4B, teller parameterne modellen regner med og utelater store embeddingtabeller som den bare slår opp i.
De fleste parameterne ligger i vektmatrisene i en transformermodells oppmerksomhets- og feed-forward-lag, som hvert token går gjennom. En separat blokk, embeddingene, mapper hvert token i ordforrådet til en vektor, og i en liten modell kan den utgjøre en stor del av totalen. Embeddingtabellen i Qwen3 1.7B har 151 936 rader (det konfigurerte ordforrådet, utfylt utover tokenisererens 151 669 oppføringer) med 2 048 dimensjoner, altså omtrent 311 millioner embeddingparametere. Dette samsvarer med modellkortet, som oppgir totalt 1,7 milliarder parametere og 1,4 milliarder utenfor embeddingene 7. Skaleringsstudier teller ofte bare parametere utenom embeddingene.
E-serien i Gemma 4 går videre med denne ideen. Googles modellkort forklarer at «E-en i E2B og E4B står for “effective”»: Modellene bruker Per-Layer Embeddings (PLE), som gir «hvert dekoderlag sin egen lille embedding for hvert token», og «disse embeddingtabellene er store, men brukes bare til raske oppslag, og derfor er antallet effektive parametere mye mindre enn totalen» 8. Kortet oppgir at Gemma 4 E2B har 2,3 milliarder effektive parametere og 5,1 milliarder med embeddingene, mens E4B har henholdsvis 4,5 milliarder effektive og 8 milliarder med embeddingene.
Dette skillet er viktig på en telefon fordi oppslag krever minne, men lite datakraft, og kjøretidsmiljøet kan la tabellene ligge i lagringen. «Effektiv» er igjen noe annet enn «aktiv»: Gemma 4 26B A4B er en modell med blanding av eksperter, med 25,2 milliarder parametere, hvorav 3,8 milliarder er aktive under inferens 8.
Hvorfor får små modeller plass på telefoner?
Vektene i en modell tar omtrent antallet parametere multiplisert med antallet bits som lagres per parameter, delt på åtte. Ved 4 bits trenger 1,7 milliarder parametere omtrent 0,85 GB, noe som gir plass til Android og andre apper på en telefon med 4 GB RAM.
Antall parametere og presisjon er de to faktorene. Figur 1 viser regnestykket for Qwen3 1.7B, fra 32-bits flyttall ned til en 4-bits modellfil.
- Lagret som 32-bits flyttall tar 1,7 milliarder parametere 6,8 GB.
- Ved 16 bits tar de 3,4 GB.
- Ved 8 bits tar de 1,7 GB. Hver halvering av antallet bits per vekt halverer minnet vektene trenger.
- Ved 4 bits tar de omtrent 0,85 GB. En halv byte per vekt gjør en modell av denne størrelsen praktisk på en telefon med 4 GB.
- En 4-bits modellfil kan være større enn de rå vektene. Blokkskalaer og andre lagrede data øker størrelsen.
| Presisjon | Bits per parameter | Omtrentlig minne for vektene |
|---|---|---|
| 32-bits flyttall | 32 | 6,8 GB |
| 16-bits flyttall | 16 | 3,4 GB |
| 8-bits heltall | 8 | 1,7 GB |
| 4-bits heltall | 4 | 0,85 GB |
Telefonvennlige modeller kombinerer derfor noen få milliarder parametere med 4-bits vekter eller blandet presisjon; kvantisering reduserer lagringsplassen vektene trenger.
Vektene utgjør ikke hele minnebruken. En modell som kjører, trenger også minne til nøkkel–verdi-bufferen, som vokser med lengden på kontekstvinduet, og til selve kjøretidsmiljøet. Hastigheten følger den samme logikken: Hver nye token krever at vektene i modellen leses fra minnet, så færre og mindre vekter gir raskere svar på samme telefon.
Hva er små modeller gode til?
Små modeller egner seg godt til oppgaver der informasjonen de trenger, finnes i ledeteksten eller i generell kunnskap: omskriving, oppsummering, utkast, forklaringer og svar basert på tekstutdrag som er gitt. Fordi de kjører på enheten, kan de også svare uten nettforbindelse og uten å sende ledeteksten til en server.
Googles modellkort beskriver Gemma 4-familien som «godt egnet for resonnering, agentbaserte arbeidsflyter, koding og multimodal forståelse», og E2B og E4B tar imot tekst-, bilde- og lydinndata 8. Dette er utviklernes egne beskrivelser og referanseresultater; hvor godt en bestemt oppgave fungerer på en bestemt telefon, må fortsatt testes.
Riktig teksttilførsel kan hjelpe med det en liten modell ikke vet. Hentingsforsterket generering legger til tekstutdrag hentet når spørsmålet stilles, slik at modellen arbeider ut fra kilder i stedet for hukommelsen. Små modeller er også forutsigbare i drift: Det koster ikke noe per spørsmål til en server, det er ingen kø, og etter nedlasting er de ikke avhengige av en forbindelse.
Hvor kommer små modeller til kort?
Små modeller inneholder mindre kunnskap, er svakere på lange resonnementer eller resonnementer med flere trinn, og håndterer lange kontekster dårligere enn større modeller. Som alle språkmodeller kan de også formulere uriktige påstander på en overbevisende måte.
Mønsteret viser seg innenfor én og samme familie. I Googles modellkort får Gemma 4 E2B 60,0 % på kunnskaps- og resonneringsreferansen MMLU Pro, og E4B får 69,4 %, mot 85,2 % for Gemma 4-modellen med 31 milliarder parametere. På GPQA Diamond, et sett med naturvitenskapelige spørsmål på høyere grads nivå, er resultatene 43,4 %, 58,6 % og 84,3 % 8. Dette er Googles resultater for egne modeller.
Små modeller kan også låse seg i gjentakelser. Qwens modellkort advarer om at grådig dekoding «kan føre til dårligere ytelse og endeløse gjentakelser» 7.
Hvorfor etterligner små modeller formen på instruksjonene sine?
Små modeller har en tendens til å etterligne formen på en ledetekst samtidig som de følger innholdet, så en lang, strukturert systemledetekst kan føre til at strukturen gjentas i hvert svar.
En ledetekst som ba modellen om å «begynne med det direkte svaret, og deretter gi nyttige detaljer», ga svar med uthevede etiketter: «Direkte svar:» og «Nyttige detaljer:». Instruksjonen var ment som råd om innholdet, men modellen behandlet den som en mal.
Hvordan fungerer tenkemoduser i små modeller?
En tenkemodus får modellen til å skrive ut mellomliggende resonnement før det endelige svaret, noe som krever mer tid og flere tokener for mer gjennomtenkte resultater på problemer med flere trinn. Både Qwen3 og Gemma 4 tilbyr dette som en bryter i én og samme modell, i stedet for som en separat resonneringsmodell.
Ideen kommer fra «chain-of-thought»-ledetekster. Nyere små modeller trenes til å resonnere, i Qwen3s tilfelle delvis ved å lære fra de større modellene.
Bryteren er en del av ledeteksten. Qwen3 1.7B tenker som standard og skriver resonnementet sitt i en <think>…</think>-blokk; utviklere slår av tenking med innstillingen enable_thinking, og brukere kan legge til /think eller /no_think i en melding for å endre modus fra én tur til den neste 7. Gemma 4 aktiverer tenking når systemledeteksten begynner med et <|think|>-token 8.
Tenking koster tid og kontekst fordi resonnementstokener er en del av modellens utdata og bruker av kontekstvinduet. Resonnementet vises før svaret når modellen er satt opp til å vise det, men atferden avhenger av modellen og applikasjonen.
Hvordan skiller Qwen3 1.7B, Gemma 4 E2B og Gemma 4 E4B seg fra hverandre?
De tre modellene varierer i størrelse, inndata og kontekstlengde. Qwen3 1.7B har 1,7 milliarder parametere og tar bare imot tekst; Google oppgir at Gemma 4 E2B og E4B har henholdsvis 2,3 og 4,5 milliarder effektive parametere, og de tar imot tekst, bilde og lyd. Alle tre er utgitt under Apache 2.0.
| Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B | |
|---|---|---|---|
| Utvikler | Alibaba (Qwen-teamet) | Google DeepMind | Google DeepMind |
| Parametere | 1.7B, hvorav 1,4 milliarder utenfor embeddingene | 2,3B effektive, 5,1B med embeddingene | 4,5B effektive, 8B med embeddingene |
| Lag | 28 | 35 | 42 |
| Kontekstlengde | 32 768 tokener | 128K tokener | 128K tokener |
| Inndata | Tekst | Tekst, bilde, lyd | Tekst, bilde, lyd |
| Tenkemodus | Ja, på som standard | Ja | Ja |
| Lisens | Apache 2.0 | Apache 2.0 | Apache 2.0 |
Tabell 1. Spesifikasjoner slik de er publisert i modellkortene for Qwen3-1.7B fra Qwen og Gemma 4 fra Google, kontrollert 5. oktober 2026 7 8.
Referanser
- Qwen. «Qwen3-1.7B.» Modellkort og konfigurasjon, Hugging Face. Hentet 5. oktober 2026. huggingface.co/Qwen/Qwen3-1.7B
- Google DeepMind. «Gemma 4-modellkort.» Google AI for Developers. Hentet 5. oktober 2026. ai.google.dev/gemma/docs/core/model_card_4
Ta denne veiledningen i bruk med Ailoot
Koble AI-modeller til appene, agentene og automatiseringene dine gjennom ett Ailoot API. Velg modellen som passer til oppgaven, og følg Ailoot-dokumentasjonen for å komme i gang.