# Små sprogmodeller forklaret

> Hvad der gør en sprogmodel lille, hvad parametre og effektive parametre betyder, hvorfor små modeller passer på telefoner, og hvad de giver afkald på i funktionsevne.

Source: https://ailoot.ai/blog/da/small-language-models-explained/
Canonical: https://ailoot.ai/blog/da/small-language-models-explained/
Language: da
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100072
Revision: sha256-c6edc254b314453212cc63de273c10fe873c7f1aea836077cd2408490028d557


## Hvad er en lille sprogmodel?

En lille sprogmodel (SLM) er en sprogmodel, der er kompakt nok til at køre på almindelig hardware, f.eks. en telefon eller bærbar computer, i stedet for et datacenter. Der er ingen fast grænse: Modeller med nogle få milliarder parametre eller færre kaldes normalt små, og en undersøgelse fra 2024 bruger et interval på 100 millioner til 5 milliarder.

Små og store sprogmodeller fungerer på samme måde. Begge er neurale netværk, næsten altid transformers, der er trænet til at forudsige den næste teksttoken, og begge tilpasses efter prætræningen, så de kan følge instruktioner; undersøgelsen ovenfor omhandler decoder-only-transformers af netop denne type. Forskellen er skalaen. En model på størrelse med en telefon har nogle få milliarder parametre, mens førende cloudmodeller er langt større, så en lille model rummer mindre viden og har mindre kapacitet til ræsonnement (se »Hvor kommer små modeller til kort?«). Små modeller er det, der gør AI på enheden praktisk.

Størrelsen er ikke den eneste faktor, der påvirker kvaliteten. Kvaliteten af en lille model afhænger derfor lige så meget af dens træning som af dens størrelse. Den kan lære af en større model gennem destillation, hvor den trænes til at efterligne den større models output, og den får gavn af nøje udvalgte data: phi-1, en kodemodel med 1.3 milliarder parametre, der hovedsageligt blev trænet på data af »lærebogskvalitet«, opnåede 50.6% pass@1 på kodningsbenchmarket HumanEval.

## Hvad betyder parametre og »effektive parametre«?

Parametre er de tal, en model lærer under træningen, og antallet er det sædvanlige mål for dens størrelse: »1.7B« i Qwen3 1.7B betyder omkring 1.7 milliarder. »Effektive parametre«, »E'et« i Googles Gemma 4 E2B og E4B, tæller de parametre, modellen beregner med, og udelader store embeddingtabeller, som den kun slår værdier op i.

De fleste parametre findes i vægtmatricerne i en transformers attention- og feed-forward-lag, som hver token passerer gennem. En separat blok, embeddingene, knytter hver token i ordforrådet til en vektor, og i en lille model kan den udgøre en stor del af det samlede antal. Qwen3 1.7B's embeddingtabel har 151,936 rækker (modellens konfigurerede ordforråd, udfyldt ud over tokenizerens 151,669 poster) med 2,048 dimensioner, omkring 311 millioner embeddingparametre, i overensstemmelse med modellens kort, der angiver i alt 1.7 milliarder parametre og 1.4 milliarder uden for embeddingene 7. Skaleringsstudier tæller ofte kun parametrene uden for embeddingene.

Gemma 4's E-serie fører idéen videre. Googles modelkort forklarer, at »E'et i E2B og E4B står for ’effektive’ parametre«: Modellerne bruger Per-Layer Embeddings (PLE), som giver »hvert decoderlag sin egen lille embedding for hver token«, og »Disse embeddingtabeller er store, men bruges kun til hurtige opslag, hvilket er grunden til, at antallet af effektive parametre er meget mindre end det samlede antal« 8. Kortet angiver, at Gemma 4 E2B har 2.3 milliarder effektive parametre og 5.1 milliarder med embeddingene, mens E4B har 4.5 milliarder effektive parametre og 8 milliarder med embeddingene.

Forskellen er vigtig på en telefon, fordi opslag kræver hukommelse, men kun lidt beregningskraft, og et runtime-miljø kan lade tabellerne blive liggende i lageret. »Effektive« er også noget andet end »aktive«: Gemma 4 26B A4B er en mixture-of-experts-model med 25.2 milliarder parametre, hvoraf 3.8 milliarder er aktive under inferens 8.

## Hvorfor passer små modeller på telefoner?

En models vægte fylder omtrent antallet af parametre gange antallet af lagrede bit pr. parameter divideret med otte. Ved 4 bit kræver 1.7 milliarder parametre omkring 0.85 GB, hvilket efterlader plads til Android og andre apps på en telefon med 4 GB RAM.

Antallet af parametre og præcisionen er de to faktorer. Figur 1 gennemgår regnestykket for Qwen3 1.7B, fra 32-bit flydende tal til en 4-bit modelfil.

<figure id="la-fit">
<ol>
<li><strong>Lagret som 32-bit flydende tal fylder 1.7 milliarder parametre 6.8 GB.</strong></li>
<li><strong>Ved 16 bit fylder de 3.4 GB.</strong></li>
<li><strong>Ved 8 bit fylder de 1.7 GB.</strong> Hver halvering af antallet af bit pr. vægt halverer den hukommelse, vægtene kræver.</li>
<li><strong>Ved 4 bit er det omkring 0.85 GB.</strong> En halv byte pr. vægt er det, der gør en model af denne størrelse praktisk på en telefon med 4 GB.</li>
<li><strong>En 4-bit modelfil kan være større end de rå vægte.</strong> Blokskalaer og andre lagrede data øger dens størrelse.</li>
</ol>
<figcaption>Figur 1. Hukommelse, der kræves for at lagre vægtene i Qwen3 1.7B, i decimale gigabyte. De blå søjler beregnes som parametre × bit ÷ 8 for 1.7 milliarder parametre og omfatter kun vægtene; en model, der kører, kræver også hukommelse til sin nøgle-værdi-cache og runtime. Den orange søjle viser den downloadede modelfil.</figcaption>
</figure>

| Præcision | Bit pr. parameter | Omtrentlig hukommelse til vægte |
|---|---:|---:|
| 32-bit flydende tal | 32 | 6.8 GB |
| 16-bit flydende tal | 16 | 3.4 GB |
| 8-bit heltal | 8 | 1.7 GB |
| 4-bit heltal | 4 | 0.85 GB |

Telefonstore modeller kombinerer derfor nogle få milliarder parametre med 4-bit vægte eller vægte med blandet præcision; kvantisering reducerer den lagerplads, vægtene kræver.

Vægtene udgør ikke hele hukommelsesforbruget. En model, der kører, kræver også hukommelse til sin nøgle-værdi-cache, som vokser med kontekstvinduets længde, og til selve runtime-miljøet. Hastigheden følger samme regnestykke: Hver ny token kræver, at modellens vægte læses fra hukommelsen, så færre og mindre vægte giver hurtigere svar på den samme telefon.

## Hvad er små modeller gode til?

Små modeller er gode til opgaver, hvor det nødvendige står i prompten eller hører til almindelig viden: at omskrive, opsummere, udarbejde udkast, forklare og besvare spørgsmål ud fra angivne tekststykker. Fordi de kører på enheden, kan de også svare uden netværksforbindelse og uden at sende prompten til en server.

Googles modelkort beskriver Gemma 4-familien som »velegnet til ræsonnement, agentiske arbejdsgange, kodning og multimodal forståelse« og angiver, at E2B og E4B accepterer tekst, billeder og lyd som input 8. Det er udviklernes egne beskrivelser og benchmarks; hvor godt en bestemt opgave fungerer på en bestemt telefon, skal stadig afprøves.

Ved at give modellen den rette tekst kan man hjælpe med det, en lille model ikke ved. Retrieval-augmented generation tilføjer tekststykker, der hentes, når spørgsmålet stilles, så modellen arbejder ud fra kilder i stedet for hukommelsen. Små modeller er også forudsigelige at køre: Der er ingen serveromkostning pr. spørgsmål, ingen kø og ingen afhængighed af en forbindelse efter download.

## Hvor kommer små modeller til kort?

Små modeller rummer mindre viden, er svagere til lange ræsonnementer eller ræsonnement i flere trin og håndterer lange kontekster dårligere end større modeller. Ligesom alle sprogmodeller kan de formulere usande ting flydende.

Mønstret ses inden for en enkelt familie. Ifølge Googles modelkort får Gemma 4 E2B 60.0% på videns- og ræsonnementsbenchmarket MMLU Pro, og E4B får 69.4%, mod 85.2% for Gemma 4-modellen med 31 milliarder parametre; på GPQA Diamond, et sæt videnskabelige spørgsmål på kandidatniveau, er resultaterne 43.4%, 58.6% og 84.3% 8. Det er Googles resultater for virksomhedens modeller.

Små modeller kan også gå i stå og gentage sig selv. Qwens modelkort advarer om, at greedy-dekodning »kan føre til forringet ydeevne og uendelige gentagelser« 7.

## Hvorfor kopierer små modeller formen på deres instruktioner?

Små modeller har en tendens til at efterligne en prompts form såvel som at følge dens indhold, så en lang, struktureret systemprompt kan dukke op som struktur i hvert svar.

En prompt, der bad en model om at »begynde med det direkte svar og derefter give nyttige detaljer«, førte til svar med etiketter i fed skrift, hvor der stod »Direkte svar:« og »Nyttige detaljer:«. Instruktionen var tænkt som råd om indholdet; modellen behandlede den som en skabelon.

## Hvordan fungerer tænketilstande i små modeller?

En tænketilstand får modellen til at skrive mellemliggende ræsonnementer ud før sit endelige svar, hvilket kræver mere tid og flere tokens for at give mere omhyggelige resultater på problemer i flere trin. Både Qwen3 og Gemma 4 tilbyder det som en indstilling i den samme model i stedet for som en separat ræsonnementsmodel.

Idéen stammer fra chain-of-thought-prompting. Nyere små modeller trænes til at ræsonnere; Qwen3 lærer delvist dette fra sine større modeller.

Indstillingen er en del af prompten. Qwen3 1.7B tænker som standard og skriver sit ræsonnement i en `<think>…</think>`-blok; udviklere slår tænkning fra med indstillingen `enable_thinking`, og brugere kan føje `/think` eller `/no_think` til en besked for at skifte tilstand fra tur til tur 7. Gemma 4 aktiverer tænkning, når dens systemprompt begynder med tokenet `<|think|>` 8.

Tænkning koster tid og kontekst, fordi ræsonnementstokens er en del af modellens output og deler dens vindue. Ræsonnementet vises før svaret, når modellen er indstillet til at vise det, men adfærden afhænger af modellen og applikationen.

## Hvordan adskiller Qwen3 1.7B, Gemma 4 E2B og Gemma 4 E4B sig?

De tre modeller adskiller sig i størrelse, input og kontekstlængde. Qwen3 1.7B har 1.7 milliarder parametre og tager kun tekst som input; Google angiver, at Gemma 4 E2B og E4B har henholdsvis 2.3 og 4.5 milliarder effektive parametre og tager tekst, billeder og lyd som input. Alle tre udgives under Apache 2.0.

|  | Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B |
|---|---|---|---|
| Udvikler | Alibaba (Qwen-teamet) | Google DeepMind | Google DeepMind |
| Parametre | 1.7B, hvoraf 1.4B er uden for embeddingene | 2.3B effektive, 5.1B med embeddingene | 4.5B effektive, 8B med embeddingene |
| Lag | 28 | 35 | 42 |
| Kontekstlængde | 32,768 tokens | 128K tokens | 128K tokens |
| Input | Tekst | Tekst, billede, lyd | Tekst, billede, lyd |
| Tænketilstand | Ja, slået til som standard | Ja | Ja |
| Licens | Apache 2.0 | Apache 2.0 | Apache 2.0 |

Tabel 1. Specifikationer som offentliggjort i Qwens modelkort for Qwen3-1.7B og Googles modelkort for Gemma 4, kontrolleret 5. oktober 2026 7 8.



## Referencer

7. Qwen. »Qwen3-1.7B.« Modelkort og konfiguration, Hugging Face. Tilgået 5. oktober 2026. [huggingface.co/Qwen/Qwen3-1.7B](https://huggingface.co/Qwen/Qwen3-1.7B)
8. Google DeepMind. »Gemma 4-modelkort.« Google AI for Developers. Tilgået 5. oktober 2026. [ai.google.dev/gemma/docs/core/model_card_4](https://ai.google.dev/gemma/docs/core/model_card_4)

## Brug denne guide med Ailoot

Forbind AI-modeller med dine applikationer, agenter og automatiseringer via ét Ailoot-API. Vælg den model, der passer til din opgave, og følg [Ailoot-dokumentationen](https://ailoot.ai/docs/) for at komme i gang.

## Ailoot · Virksomheden og dens projektportefølje

Ailoot bygger på solid driftserfaring, en stor kundebase, stabil service og løbende kontrol af KPI.

Virksomheden og dens projektportefølje: millioner af kunder; månedligt salg for milliarder.

Ailoot bruger denne driftserfaring til API-adgang til AI-funktioner i kundernes produkter, agenter, applikationer og automatiseringer.
