Blogg

Små språkmodeller, förklarade

Markdown

Vad som gör en språkmodell liten, vad parametrar och effektiva parametrar betyder, varför små modeller ryms i telefoner och vad de ger upp i fråga om förmåga.

Vad är en liten språkmodell?

En liten språkmodell (SLM) är en språkmodell som är tillräckligt kompakt för att köras på vanlig maskinvara, till exempel en telefon eller bärbar dator, i stället för i ett datacenter. Det finns ingen överenskommen gräns: modeller med några miljarder parametrar eller färre brukar kallas små, och en undersökning från 2024 använder intervallet 100 miljoner till 5 miljarder.

Små och stora språkmodeller fungerar på samma sätt. Båda är neurala nätverk, nästan alltid transformers, som tränats för att förutsäga nästa texttoken, och båda anpassas efter förträningen för att följa instruktioner; undersökningen ovan omfattar decoder-only-transformers av just den här typen. Skillnaden är skalan. En telefonstor modell har några miljarder parametrar, medan banbrytande molnmodeller är mycket större, så en liten modell rymmer mindre kunskap och har mindre kapacitet för resonemang (se ”Var brister små modeller?”). Små modeller är det som gör AI på enheten praktisk.

Storleken är inte den enda faktorn som påverkar kvaliteten. Kvaliteten hos en liten modell beror därför lika mycket på träningen som på storleken. Den kan lära sig från en större modell genom destillering, där den tränas att efterlikna den större modellens resultat, och den gynnas av noggrant utvalda data: phi-1, en kodmodell med 1.3 miljarder parametrar som till stor del tränades på data av ”lärobokskvalitet”, nådde 50.6% pass@1 på kodningsbenchmarken HumanEval.

Vad betyder parametrar och ”effektiva parametrar”?

Parametrar är de tal som en modell lär sig under träningen, och antalet är det vanligaste måttet på modellens storlek: ”1.7B” i Qwen3 1.7B betyder ungefär 1.7 miljarder. ”Effektiva parametrar”, ”E” i Googles Gemma 4 E2B och E4B, räknar de parametrar som modellen beräknar med och lämnar ut stora embeddingtabeller som den bara slår upp värden i.

De flesta parametrarna finns i viktmatriserna i en transformers uppmärksamhets- och feed-forward-lager, som varje token passerar genom. Ett separat block, embeddingarna, mappar varje token i ordförrådet till en vektor, och i en liten modell kan det stå för en stor del av totalen. Qwen3 1.7B:s embeddingtabell har 151,936 rader (modellens konfigurerade ordförråd, utfyllt utöver tokeniserarens 151,669 poster) med 2,048 dimensioner, cirka 311 miljoner embeddingparametrar, vilket stämmer med modellkortet som anger totalt 1.7 miljarder parametrar och 1.4 miljarder utanför embeddingarna 7. Skalningsstudier räknar ofta bara parametrarna utanför embeddingarna.

Gemma 4:s E-serie tar idén ett steg längre. Googles modellkort förklarar att ”E:et i E2B och E4B står för ’effektiva’ parametrar”: modellerna använder Per-Layer Embeddings (PLE), som ger ”varje decoderlager en egen liten embedding för varje token”, och ”Dessa embeddingtabeller är stora men används bara för snabba uppslag, vilket är varför antalet effektiva parametrar är mycket mindre än det totala antalet” 8. Kortet anger att Gemma 4 E2B har 2.3 miljarder effektiva parametrar och 5.1 miljarder med embeddingar, och att E4B har 4.5 miljarder effektiva parametrar och 8 miljarder med embeddingar.

Skillnaden spelar roll i en telefon eftersom uppslag kräver minne men lite beräkningskraft, och en körmiljö kan låta tabellerna ligga kvar i lagringen. ”Effektiva” betyder också något annat än ”aktiva”: Gemma 4 26B A4B är en blandning-av-experter-modell med 25.2 miljarder parametrar, varav 3.8 miljarder är aktiva under inferens 8.

Varför ryms små modeller i telefoner?

En modells vikter tar ungefär modellens antal parametrar multiplicerat med antalet lagrade bitar per parameter, dividerat med åtta. Vid 4 bitar behöver 1.7 miljarder parametrar cirka 0.85 GB, vilket lämnar plats för Android och andra appar i en telefon med 4 GB RAM.

Antalet parametrar och precisionen är de två faktorerna. Figur 1 visar beräkningen för Qwen3 1.7B, från 32-bitars flyttal till en 4-bitars modellfil.

  1. Lagrade som 32-bitars flyttal tar 1.7 miljarder parametrar 6.8 GB.
  2. Vid 16 bitar tar de 3.4 GB.
  3. Vid 8 bitar tar de 1.7 GB. Varje halvering av antalet bitar per vikt halverar minnet som vikterna behöver.
  4. Vid 4 bitar blir det cirka 0.85 GB. En halv byte per vikt är det som gör en modell av den här storleken praktisk i en telefon med 4 GB.
  5. En 4-bitars modellfil kan vara större än de råa vikterna. Blockskalor och annan lagrad data ökar storleken.
Figur 1. Minne som krävs för att lagra vikterna i Qwen3 1.7B, i decimala gigabyte. De blå staplarna beräknas som parametrar × bitar ÷ 8 för 1.7 miljarder parametrar och omfattar endast vikterna; en modell som körs behöver också minne för sin nyckel–värde-cache och körmiljön. Den orange stapeln visar den nedladdade modellfilen.
PrecisionBitar per parameterUngefärligt viktminne
32-bitars flyttal326.8 GB
16-bitars flyttal163.4 GB
8-bitars heltal81.7 GB
4-bitars heltal40.85 GB

Telefonstora modeller kombinerar därför några miljarder parametrar med 4-bitars vikter eller vikter med blandad precision; kvantisering minskar lagringsutrymmet som vikterna behöver.

Vikterna utgör inte hela minnesbehovet. En modell som körs behöver också minne för sin nyckel–värde-cache, som växer med kontextfönstrets längd, och för själva körmiljön. Hastigheten följer samma beräkning: varje ny token kräver att modellens vikter läses från minnet, så färre och mindre vikter ger snabbare svar på samma telefon.

Vad är små modeller bra på?

Små modeller är bra på uppgifter där det de behöver finns i prompten eller i allmänkunskapen: att skriva om, sammanfatta, utforma utkast, förklara och besvara frågor utifrån tillhandahållna avsnitt. Eftersom de körs på enheten kan de också svara utan nätverksanslutning och utan att skicka prompten till en server.

Googles modellkort beskriver Gemma 4-familjen som ”väl lämpad för resonemang, agentiska arbetsflöden, kodning och multimodal förståelse”, och anger att E2B och E4B tar emot text, bilder och ljud som indata 8. Det här är utvecklarnas egna beskrivningar och benchmarkresultat; hur väl en viss uppgift fungerar på en viss telefon behöver fortfarande testas.

Att tillhandahålla rätt text hjälper med sådant en liten modell inte känner till. Retrieval-augmented generation lägger till avsnitt som hämtas när frågan ställs, så att modellen arbetar utifrån källor i stället för minnet. Små modeller är också förutsägbara att köra: det tillkommer ingen serverkostnad per fråga, ingen kö och inget beroende av en anslutning efter nedladdningen.

Var brister små modeller?

Små modeller rymmer mindre kunskap, är sämre på långt eller flerstegligt resonemang och hanterar långa kontexter sämre än större modeller. Precis som alla språkmodeller kan de dessutom formulera falska påståenden flytande.

Mönstret syns inom en och samma familj. Enligt Googles modellkort får Gemma 4 E2B 60.0% på kunskaps- och resonemangsbenchmarken MMLU Pro och E4B får 69.4%, jämfört med 85.2% för Gemma 4-modellen med 31 miljarder parametrar; på GPQA Diamond, en uppsättning vetenskapliga frågor på forskarnivå, är resultaten 43.4%, 58.6% och 84.3% 8. Det här är Googles resultat för företagets modeller.

Små modeller kan också fastna i upprepningar. Qwens modellkort varnar för att greedy-avkodning ”kan leda till försämrade prestanda och oändliga upprepningar” 7.

Varför kopierar små modeller formen på sina instruktioner?

Små modeller tenderar att efterlikna formen på en prompt utöver att följa dess innehåll, så en lång och strukturerad systemprompt kan dyka upp som struktur i varje svar.

En prompt som sade åt en modell att ”börja med det direkta svaret och sedan lägga till användbara detaljer” resulterade i svar med etiketter i fetstil som löd ”Direkt svar:” och ”Användbara detaljer:”. Instruktionen var tänkt som råd om innehållet; modellen behandlade den som en mall.

Hur fungerar tänklägen i små modeller?

Ett tänkläge får modellen att skriva ut mellanliggande resonemang före sitt slutliga svar, vilket tar mer tid och fler token för noggrannare resultat på problem i flera steg. Både Qwen3 och Gemma 4 erbjuder det som en växel i en och samma modell i stället för som en separat resonemangsmodell.

Idén kommer från chain-of-thought-promptning. Nyare små modeller tränas till att resonera; i Qwen3:s fall delvis genom att lära sig från dess större modeller.

Växeln är en del av prompten. Qwen3 1.7B tänker som standard och skriver sitt resonemang i ett <think>…</think>-block; utvecklare stänger av tänkandet med inställningen enable_thinking, och användare kan lägga till /think eller /no_think i ett meddelande för att byta läge mellan turer 7. Gemma 4 aktiverar tänkandet när systemprompten börjar med tokenen <|think|> 8.

Tänkande kostar tid och kontext, eftersom resonemangstoken ingår i modellens utdata och delar dess fönster. Resonemanget visas före svaret när modellen är inställd på att visa det, men beteendet beror på modellen och programmet.

Hur skiljer sig Qwen3 1.7B, Gemma 4 E2B och Gemma 4 E4B åt?

De tre modellerna skiljer sig åt i storlek, indata och kontextlängd. Qwen3 1.7B har 1.7 miljarder parametrar och tar endast text som indata; Google anger att Gemma 4 E2B och E4B har 2.3 respektive 4.5 miljarder effektiva parametrar och tar emot text, bilder och ljud. Alla tre ges ut under Apache 2.0.

Qwen3 1.7BGemma 4 E2BGemma 4 E4B
UtvecklareAlibaba (Qwen-teamet)Google DeepMindGoogle DeepMind
Parametrar1.7B, varav 1.4B utanför embeddingarna2.3B effektiva, 5.1B med embeddingar4.5B effektiva, 8B med embeddingar
Lager283542
Kontextlängd32,768 token128K token128K token
IndataTextText, bild, ljudText, bild, ljud
TänklägeJa, på som standardJaJa
LicensApache 2.0Apache 2.0Apache 2.0

Tabell 1. Specifikationer enligt Qwens modellkort för Qwen3-1.7B och Googles modellkort för Gemma 4, kontrollerade 5 oktober 2026 7 8.

Referenser

  1. Qwen. ”Qwen3-1.7B.” Modellkort och konfiguration, Hugging Face. Hämtad 5 oktober 2026. huggingface.co/Qwen/Qwen3-1.7B
  2. Google DeepMind. ”Modellkort för Gemma 4.” Google AI for Developers. Hämtad 5 oktober 2026. ai.google.dev/gemma/docs/core/model_card_4

Använd den här guiden med Ailoot

Anslut AI-modeller till dina appar, agenter och automatiseringar via ett enda Ailoot-API. Välj den modell som passar din uppgift och följ Ailoot-dokumentationen för att komma igång.