Blogg

De beste små LLM-ene å kjøre lokalt: En omfattende guide

Markdown

De beste små LLM-ene å kjøre lokalt i 2026 — Qwen3, Gemma 3, Llama 3.2 og Phi-4-mini — pluss hvor mye RAM du trenger og hvordan du kjører dem med Ollama.

Små språkmodeller har i det stille blitt et av de mest nyttige verktøyene en utvikler kan ha på sin egen maskin. Du trenger ikke lenger et rack med GPU-er eller en skyregning for å få en kapabel modell til å svare på spørsmål, skrive kodeutkast og oppsummere dokumenter helt frakoblet.

Situasjonen har endret seg mye siden de første dagene med åpne vekter og den opprinnelige LLaMA, Alpaca og GPT-J. I 2026 kan en modell med 4 milliarder parametere på en bærbar PC utføre arbeid som tidligere krevde noe ti ganger så stort. Denne guiden dekker de beste små LLM-ene du kan kjøre lokalt i dag, hvor mye maskinvare de trenger, og de enkleste måtene å få dem i gang på.

Kort svar. De beste små LLM-ene å kjøre lokalt i 2026 er Qwen3 (1.7B–14B), Google Gemma 3 (1B–12B), Meta Llama 3.2 (1B/3B) og Microsoft Phi-4-mini (3.8B). Qwen3 er det tryggeste standardvalget til allsidig bruk. Kjør dem med Ollama eller LM Studio; de fleste trenger bare 8–16 GB RAM.

Hva regnes som en liten LLM i 2026?

En liten LLM (noen ganger kalt en liten språkmodell, eller SLM) er en kompakt modell du kan kjøre på forbrukermaskinvare i stedet for en GPU-klynge i skyen. Det finnes ingen offisiell grense, men i praksis har dagens små modeller tre fellestrekk:

  • Omtrent 0.5B til 14B parametere — lite nok til at en kvantisert versjon får plass i minnet på en vanlig bærbar PC eller én mellomklasse-GPU.
  • De fungerer godt etter 4-bits kvantisering, som reduserer minnebruken med omtrent 4x med bare et lite kvalitetstap.
  • De leveres med åpne vekter, slik at du kan laste dem ned, kjøre dem og ofte finjustere dem uten en API-nøkkel.

Det viktigste skiftet siden 2023 er kvalitet per parameter. En moderne modell med 3–4B parametere er instruksjonstrent, flerspråklig og ofte bedre til resonnering enn en modell med 13B parametere fra to år tidligere. Derfor er de gamle favorittene — standard LLaMA 7B, Alpaca, Vicuna, GPT-J, GPT-Neo og Falcon 7B — erstattet av modellfamiliene nedenfor.

Hvorfor kjøre en liten LLM lokalt?

Når du kjører en modell på din egen maskin, får du flere fordeler som et driftet API ikke kan tilby:

  • Personvern. Spørsmål og data forlater aldri enheten din — viktig for proprietær kode og juridisk eller medisinsk arbeid.
  • Kostnad. Ingen betaling per token. Når modellen er lastet ned, er inferensen gratis.
  • Bruk uten nett. Fungerer på et fly, i et sikkert nettverk eller hvor som helst uten pålitelig internett.
  • Ventetid og kontroll. Ingen rundtur over nettverket, ingen hastighetsbegrensninger, og du kan låse modellen til en bestemt versjon slik at oppførselen aldri endres under deg.
  • Tilpasning. Du kan finjustere modellen eller koble til informasjonsinnhenting for å tilpasse den til ditt eget fagområde.

Hvilke små LLM-er er best å kjøre lokalt i 2026?

Dette er modellfamiliene det er verdt å laste ned i 2026, gruppert etter hvem som lager dem og hva de egner seg best til.

Qwen3 — den allsidige standardmodellen

Alibabas Qwen3-familie har i det stille blitt svaret på «hva bør jeg kjøre lokalt?» for de fleste utviklere. Den dekker et bredt utvalg størrelser — 0.6B, 1.7B, 4B, 8B og 14B i den tette modellvarianten — og alt er utgitt under en tillatende Apache 2.0-lisens uten kommersielle begrensninger.

  • Best til: generell chat, kodehjelp, refaktorering og flerspråklig arbeid.
  • Beste kompromiss: Qwen3 8B regnes ofte som det beste totalvalget på en 8 GB GPU; Qwen3 4B er et godt valg for bærbare PC-er uten GPU.
  • Hvorfor den vinner: høy kvalitet per parameter, en ryddig lisens og utmerket støtte i verktøy.

Google Gemma 3 — kraftig og multimodal

Googles Gemma 3 kommer i størrelsene 1B, 4B, 12B og 27B. Variantene på 4B og større er multimodale (de kan lese bilder) og støtter 140+ språk. Derfor er Gemma et godt valg når du trenger visuell forståelse eller bred språkdekning på enheten.

  • Best til: multimodale inndata, flerspråklige oppgaver og generell bruk på en maskin med 16 GB (Gemma 3 12B).
  • Merk: Gemma leveres under Googles egen lisens — sjekk vilkårene for kommersiell bruk.

Meta Llama 3.2 — en enkel start

Metas små Llama-modeller — Llama 3.2 1B og 3B — er den enkleste måten å komme i gang på. De er små, godt dokumentert, støttes overalt og egner seg til oppgaver på enheten, som oppsummering og enkel chat.

  • Best til: den første lokale modellen, oppsummering og assistenter på enheten.
  • Ulempe: størrelsene 1B/3B ligger bak Qwen3 og Phi-4 på krevende resonnering, men de er vanskelige å slå når det gjelder hastighet og enkelhet.

Microsoft Phi-4 og Phi-4-mini — resonnering i en mindre modell

Microsofts Phi-modeller er i stor grad trent på kuraterte og syntetiske data, noe som gjør at de presterer over forventningene ut fra størrelsen sin på matematikk, logikk og strukturert problemløsing. Phi-4 er en modell med 14B parametere som jevnlig konkurrerer med langt større modeller på resonneringsoppgaver, mens Phi-4-mini (3.8B) trolig er den beste lille modellen for resonnering du kan kjøre på minimalt med maskinvare — omtrent 3 GB VRAM ved 4-bits kvantisering. Begge leveres under en tillatende MIT-lisens.

  • Best til: matematikk, logikk og trinnvis resonnering på beskjeden maskinvare.

Mistral 7B — det modne, kodeorienterte alternativet

Mistral 7B er fortsatt en pålitelig arbeidshest med et av de største økosystemene av finjusterte modeller og integrasjoner. Den er Apache 2.0, kjører komfortabelt på en 8 GB GPU og er fortsatt en favoritt for lokale oppsett med vekt på kode. Mistrals mindre Ministral-modeller (3B og 8B) utvider familien mot bruk på kantenheter.

  • Best til: koding, en godt støttet generell modell og enkel finjustering.

DeepSeek-R1 destillerte modeller — for logikkintensive oppgaver

DeepSeek lanserte destillerte resonneringsmodeller basert på Qwen- og Llama-modeller (vanligvis 7B, 8B og 14B). Disse gjør resonnering i kjede-av-tanker-stil tilgjengelig i størrelser du kan kjøre lokalt, og de er gode til trinnvis problemløsing. De har MIT-lisens og er tilgjengelige i Ollama.

  • Best til: resonnering, matematikk og problemer som har nytte av synlige tanketrinn.

SmolLM2 — når du trenger den aller minste modellen

Hugging Faces SmolLM2 kommer i størrelsene 135M, 360M og 1.7B. Dette er modellene du bør velge for den mest begrensede maskinvaren, i nettlesere eller på kantenheter. De håndterer oppsummering og enkle instruksjoner, men er ikke laget for kompleks resonnering.

  • Best til: svært lite RAM, innebygde systemer og bruk på kantenheter, samt eksperimentering.

Sammenligningstabell for små LLM-er

Omtrentlige tall for kvantiserte versjoner med 4-bit (Q4). Det faktiske minneforbruket varierer med kontekstlengde og kjøremiljø.

ModellParametereOmtrentlig RAM/VRAM (Q4)Best tilLisens
Qwen3 1.7B1.7B~2 GBRask chat på enhver bærbar PCApache 2.0
Qwen3 4B4B~3–4 GBBalansert chat + lett kodingApache 2.0
Qwen3 8B8B~6–8 GBBeste allsidige valg på en 8 GB GPUApache 2.0
Qwen3 14B14B~10–12 GBKoding, refaktorering og resonneringApache 2.0
Gemma 3 4B4B~3–4 GBMultimodal bruk / 140+ språkGemma
Gemma 3 12B12B~9–10 GBGod til generell bruk på 16 GBGemma
Llama 3.2 3B3B~3 GBEnkel startLlama
Phi-4-mini3.8B~3 GBResonnering/matematikk på liten maskinvareMIT
Phi-414B~10–12 GBMatematikk/logikk over forventningene ut fra størrelsenMIT
Mistral 7B7B~5–6 GBKodeorientert bruk, modent økosystemApache 2.0
DeepSeek-R1 distill 8B8B~6–8 GBLogikkintensive oppgaver, trinnvis resonneringMIT
SmolLM2 1.7B1.7B~1.5 GBKantenheter / svært lite RAMApache 2.0

Hvor mye RAM og maskinvare trenger du?

En nyttig tommelfingerregel: En 4-bits kvantisert modell trenger omtrent 0.6–0.75 GB minne per milliard parametere, pluss litt ekstra kapasitet til konteksten. En modell med 7B parametere trenger altså omtrent 5–6 GB, og en modell med 14B trenger omtrent 10–12 GB. Hvilke modeller du kan bruke, avhenger av hvor mye minne du har:

Du harKomfortabel modellstørrelseGode valg
8 GB RAM, ingen GPU1–4BQwen3 4B, Phi-4-mini, Gemma 3 1B, Llama 3.2 3B
8 GB GPU (VRAM)7–8BQwen3 8B, Mistral 7B, DeepSeek-R1 distill 8B
16 GB RAM / VRAM12–14BGemma 3 12B, Qwen3 14B, Phi-4
24 GB+ GPU14–32BQwen3 32B, større DeepSeek-varianter

Mac-er med Apple Silicon er et særtilfelle: Det delte minnet gjør at GPU-en kan bruke det meste av system-RAM-en, slik at en MacBook i M-serien med 16–32 GB kan kjøre modeller som ville krevd en dedikert GPU på en PC.

Gyllen regel: Ikke start med den største modellen. Start med den beste modellen maskinvaren din kjører komfortabelt. En rask 4B-modell slår en 14B-modell som bruker diskminne og svarer med ett token i sekundet.

Hvordan kjører du en liten LLM lokalt?

Du trenger ikke å bruke Python for å komme i gang. Tre verktøy dekker nesten alle bruksområder:

  • Ollama — den enkleste veien. Installer programmet, og last deretter ned og kjør en modell med én kommando. Det håndterer nedlasting, kvantisering og et OpenAI-kompatibelt API på localhost:11434.
  • LM Studio — et gjennomført skrivebordsprogram med et chatgrensesnitt, en modelloversikt og nedlasting med ett klikk. Best hvis du foretrekker et grafisk grensesnitt.
  • llama.cpp — den underliggende C/C++-motoren som driver store deler av økosystemet. Velg den når du vil ha maksimal kontroll eller kjøre GGUF-filer direkte på CPU eller Apple Silicon.

En første kjøring med Ollama ser slik ut:

# Pull and chat with Qwen3 8B (best all-rounder on an 8 GB GPU)
ollama pull qwen3:8b
ollama run qwen3:8b

# Lighter options for CPU-only laptops
ollama pull qwen3:4b
ollama pull llama3.2:3b
ollama pull phi4-mini
ollama pull gemma3:4b

Når en modell kjører, tilbyr både Ollama og LM Studio et OpenAI-kompatibelt endepunkt. Du kan derfor bruke eksisterende verktøy og skript med den lokale modellen ved ganske enkelt å endre basis-URL-en.

Hvordan velger du riktig liten LLM?

Tilpass modellen til oppgaven i stedet for å jage en toppliste:

  • Generell chat og hverdagsoppgaver: Qwen3 (4B eller 8B) — det tryggeste standardvalget.
  • Koding og refaktorering: Qwen3 14B, Mistral eller en DeepSeek-R1 distill på en 12–16 GB GPU.
  • Matematikk, logikk og resonnering på liten maskinvare: Phi-4-mini, deretter Phi-4 hvis du har 16 GB.
  • Bilder eller mange språk: Gemma 3 4B eller 12B.
  • Minst mulig størrelse: Llama 3.2 1B, Gemma 3 1B eller SmolLM2.

Hva er begrensningene til små lokale LLM-er?

Små modeller er virkelig nyttige, men det er greit å vite hvor grensene går:

  • Mindre kunnskap om verden. De vet mindre enn de fremste skymodellene og kan ta feil med stor sikkerhet, så kontroller fakta når noe er viktig.
  • Svakere på svært krevende resonnering. En modell med 3B parametere matcher ikke en stor driftet modell på komplekse problemer med mange trinn.
  • Avveininger mellom kontekst og hastighet. Lange kontekster bruker mer minne; store modeller kan være trege på CPU.
  • Kvaliteten varierer etter oppgave. En modell som er god til chat, kan være middels til koding. Test et par før du bestemmer deg.

For mange arbeidsflyter er løsningen informasjonsinnhenting (RAG) eller en rask finjustering med dine egne data — begge deler er langt billigere lokalt enn de høres ut.

Vanlige spørsmål

Hvilken liten LLM er best å kjøre lokalt i 2026?

For de fleste er Qwen3 8B det beste allsidige valget på en 8 GB GPU, og Qwen3 4B eller Llama 3.2 3B fungerer godt på bærbare PC-er uten GPU. Velg den største modellen maskinvaren din kjører komfortabelt, i stedet for den største modellen som finnes.

Hva er den minste LLM-en du kan kjøre lokalt?

Modeller som SmolLM2 (135M–1.7B), Llama 3.2 1B, Gemma 3 1B og Qwen3 0.6B kjører på nesten enhver moderne bærbar PC, ofte med under 2 GB RAM når de er kvantisert til 4-bit. De håndterer oppsummering og enkel chat, men er svake på kompleks resonnering.

Hvor mye RAM trenger jeg for å kjøre en liten LLM lokalt?

En 4-bits kvantisert modell med 3–4B parametere trenger omtrent 3–4 GB ledig RAM eller VRAM, en modell med 7–8B trenger omtrent 6–8 GB, og en modell med 12–14B trenger 10–16 GB. 16 GB system-RAM er et godt utgangspunkt for de fleste små modeller.

Hva er den enkleste måten å kjøre en liten LLM lokalt på?

Installer Ollama eller LM Studio, og last deretter ned en modell med én kommando (for eksempel ollama pull qwen3:8b). Begge håndterer nedlasting, kvantisering og et lokalt chatgrensesnitt, og tilbyr et OpenAI-kompatibelt API for dine egne apper.

Kan jeg kjøre en liten LLM uten GPU?

Ja. Med 4-bits kvantisering kjører modeller på opptil omtrent 7–8B på en moderne CPU, og de kjører merkbart raskere på Mac-er med Apple Silicon takket være delt minne. Forvent lavere tokenhastighet enn med en dedikert GPU, men modellene kan brukes til chat og tekstutkast.

Er små lokale LLM-er gode til koding?

Det kan de være. Qwen3 og DeepSeek-R1 destillerte modeller er gode på kode blant små modeller, og Mistral har et modent, kodeorientert økosystem. For mer krevende refaktorering gir en modell med 14B parametere på en 12–16 GB GPU den beste kvaliteten du kan få lokalt.

Kort oppsummert

Små lokale LLM-er har gått fra å være et hobbyeksperiment til å bli et praktisk verktøy i hverdagen. Start med Qwen3 som et balansert standardvalg, velg Phi-4-mini når du trenger resonnering på lett maskinvare, og velg Gemma 3 når du trenger visuell forståelse eller mange språk — alt via Ollama eller LM Studio på noen få minutter. Hvis du trenger hjelp til å bruke Ailoot-dokumentasjonen, kan du se Ailoot-dokumentasjonen.