Blog

A legjobb kis LLM-ek helyi futtatáshoz: átfogó útmutató

Markdown

A legjobb, 2026-ban helyben futtatható kis LLM-ek — Qwen3, Gemma 3, Llama 3.2 és Phi-4-mini —, a szükséges RAM mennyisége, valamint futtatásuk Ollamával.

A kis nyelvi modellek csendben a fejlesztők saját gépén használható leghasznosabb eszközök egyikévé váltak. Már nincs szükség GPU-k egész rackjére vagy felhős számlára ahhoz, hogy egy jól használható modell teljesen offline válaszoljon a kérdésekre, kódot írjon és dokumentumokat foglaljon össze.

Sokat változott a helyzet az eredeti LLaMA, Alpaca és GPT-J korai, nyílt súlyú időszaka óta. 2026-ban egy laptopon futó, 4 milliárd paraméteres modell olyan munkára képes, amihez korábban a tízszer ekkora modellek kellettek. Ez az útmutató bemutatja a ma helyben futtatható legjobb kis LLM-eket, a szükséges hardvert, valamint a legegyszerűbb módokat az indításukra.

Rövid válasz. 2026-ban a legjobb, helyben futtatható kis LLM-ek a Qwen3 (1,7B–14B), a Google Gemma 3 (1B–12B), a Meta Llama 3.2 (1B/3B) és a Microsoft Phi-4-mini (3,8B). A Qwen3 a legbiztonságosabb általános alapértelmezett választás. Futtasd őket Ollamával vagy LM Studióval; a legtöbbnek mindössze 8–16 GB RAM-ra van szüksége.

Mi számít kis LLM-nek 2026-ban?

A kis LLM (más néven kis nyelvi modell vagy SLM) olyan kompakt modell, amely felhős GPU-klaszter helyett fogyasztói hardveren futtatható. Nincs hivatalos határérték, de a mai kis modellekre a gyakorlatban három jellemző igaz:

  • Körülbelül 0,5B–14B paraméter — elég kicsik ahhoz, hogy egy kvantált változat elférjen egy átlagos laptop memóriájában vagy egyetlen középkategóriás GPU-n.
  • Jól futnak 4 bites kvantálással, ami nagyjából négyszeresére csökkenti a memóriahasználatot, csupán csekély minőségromlás árán.
  • Nyílt súlyokkal érkeznek, így API-kulcs nélkül letöltheted, futtathatod, és gyakran finomhangolhatod is őket.

A legfontosabb változás 2023 óta a paraméterenkénti minőség. Egy modern, 3–4B-s modell utasításokra hangolt, többnyelvű, és gyakran jobban érvel, mint egy két évvel ezelőtti 13B-s modell. Ezért szorultak háttérbe a régi bevált modellek — a vanilla LLaMA 7B, az Alpaca, a Vicuna, a GPT-J, a GPT-Neo és a Falcon 7B —, és kerültek a helyükre az alábbi családok.

Miért futtass kis LLM-et helyben?

Ha a saját gépeden futtatsz egy modellt, olyan előnyökhöz jutsz, amelyeket egy hosztolt API nem tud biztosítani:

  • Adatvédelem. A promptok és az adatok soha nem hagyják el az eszközödet — ez fontos saját fejlesztésű kód, jogi vagy orvosi munka esetén.
  • Költség. Nincs tokenenkénti számlázás. A modell letöltése után az inferencia ingyenes.
  • Offline használat. Működik repülőn, biztonságos hálózaton vagy bárhol, ahol nincs megbízható internetkapcsolat.
  • Késleltetés és irányítás. Nincs hálózati oda-vissza út, nincs sebességkorlát, és rögzíthetsz egy adott verziót, így a viselkedése nem változik meg észrevétlenül.
  • Testreszabás. Finomhangolással vagy visszakereséssel saját területedhez igazíthatod a modellt.

Melyek a legjobb, helyben futtatható kis LLM-ek 2026-ban?

2026-ban ezekre a modellcsaládokra érdemes időt szánni, a készítőjük és a legjobb felhasználási területük szerint csoportosítva.

Qwen3 — az általános alapértelmezett választás

Az Alibaba Qwen3 családja csendben a legtöbb fejlesztő számára a „mit futtassak helyben?” kérdésre adott válasszá vált. Széles méretválasztékot kínál — a sűrű modellek között 0,6B, 1,7B, 4B, 8B és 14B méretűek is vannak —, és mindegyik a megengedő Apache 2.0 licenc alatt érhető el, kereskedelmi korlátozások nélkül.

  • Legjobb erre: általános csevegés, kódolási segítség, refaktorálás, többnyelvű munka.
  • Ideális méret: a Qwen3 8B-t széles körben a legjobb általános választásnak tartják 8 GB-os GPU-n; a Qwen3 4B jó választás csak CPU-val rendelkező laptopokhoz.
  • Miért jó választás: kiváló paraméterenkénti minőség, egyértelmű licenc és remek eszköztámogatás.

Google Gemma 3 — erős és multimodális

A Google Gemma 3 1B, 4B, 12B és 27B méretben érhető el. A 4B-s és nagyobb változatok multimodálisak (képeket is tudnak olvasni), és több mint 140 nyelvet támogatnak. Ezért a Gemma a megfelelő választás, ha eszközön szeretnél képfeldolgozást vagy széles nyelvi lefedettséget.

  • Legjobb erre: multimodális bemenet, többnyelvű feladatok, általános használat 16 GB-os gépen (Gemma 3 12B).
  • Megjegyzés: a Gemma a Google saját licencével érkezik — kereskedelmi használat előtt ellenőrizd a feltételeket.

Meta Llama 3.2 — könnyű kezdés

A Meta kisebb Llama modelljei — a Llama 3.2 1B és 3B — jelentik a legzökkenőmentesebb belépőt. Aprók, jól dokumentáltak, mindenhol támogatják őket, és jól teljesítenek olyan eszközön végzett feladatokban, mint az összefoglalás és az egyszerű csevegés.

  • Legjobb erre: első helyi modell, összefoglalás, eszközön futó asszisztensek.
  • Kompromisszum: az 1B/3B méretűek nehéz érvelési feladatokban elmaradnak a Qwen3-tól és a Phi-4-től, sebességben és egyszerűségben viszont nehéz felülmúlni őket.

Microsoft Phi-4 és Phi-4-mini — méretükhöz képest erős érvelés

A Microsoft Phi modelljeit gondosan válogatott és szintetikus adatokon intenzíven tanították, így méretükhöz képest kiemelkedően teljesítenek matematikai, logikai és strukturált problémamegoldási feladatokban. A Phi-4 egy 14B-s modell, amely rendszeresen versenyre kel jóval nagyobb modellekkel érvelési feladatokban, míg a Phi-4-mini (3,8B) talán a legjobb kis érvelő modell, amely minimális hardveren is futtatható — 4 bites kvantálás mellett körülbelül 3 GB VRAM-mal. Mindkettő megengedő MIT licenc alatt érhető el.

  • Legjobb erre: matematika, logika, lépésenkénti érvelés szerény hardveren.

Mistral 7B — kiforrott, kódolásközpontú választás

A Mistral 7B továbbra is megbízható igásló, a finomhangolt változatok és integrációk egyik legnagyobb ökoszisztémájával. Apache 2.0 licencű, kényelmesen fut 8 GB-os GPU-n, és továbbra is a kódolásközpontú helyi összeállítások kedvence. A Mistral kisebb Ministral modelljei (3B és 8B) a peremhálózati használat irányába bővítik a családot.

  • Legjobb erre: kódolás, jól támogatott általános modell, egyszerű finomhangolás.

DeepSeek-R1 desztillált modellek — logikaközpontú munkához

A DeepSeek Qwen és Llama alapokra épülő, desztillált érvelési modelleket adott ki (általában 7B, 8B és 14B méretben). Ezek a gondolatmenet-lánc jellegű érvelést olyan méretű modellekbe hozzák el, amelyek helyben futtathatók, és erősek a lépésenkénti problémamegoldásban. MIT licenc alatt érhetők el, és az Ollamában is megtalálhatók.

  • Legjobb erre: érvelés, matematika és olyan problémák, amelyeknél hasznosak a látható gondolatmeneti lépések.

SmolLM2 — ha a lehető legkisebb modellre van szükséged

A Hugging Face SmolLM2 modelljei 135M, 360M és 1,7B méretben érhetők el. Ezeket a modelleket érdemes választani a legszűkösebb hardveren, böngészőkben vagy peremhálózati eszközökön. Összefoglalásra és egyszerű utasítások követésére alkalmasak, de nem összetett érvelésre készültek.

  • Legjobb erre: rendkívül kevés RAM, beágyazott és peremhálózati használat, kísérletezés.

Kis LLM-ek összehasonlító táblázata

A számok 4 bites (Q4) kvantált változatokra vonatkozó közelítések. A tényleges memóriahasználat a kontextushossztól és a futtatókörnyezettől függően változik.

ModellParaméterekBecsült RAM/VRAM (Q4)Legjobb erreLicenc
Qwen3 1.7B1,7B~2 GBGyors csevegés bármilyen laptoponApache 2.0
Qwen3 4B4B~3–4 GBKiegyensúlyozott csevegés + könnyű kódolásApache 2.0
Qwen3 8B8B~6–8 GBLegjobb általános használatra 8 GB-os GPU-nApache 2.0
Qwen3 14B14B~10–12 GBKódolás, refaktorálás, érvelésApache 2.0
Gemma 3 4B4B~3–4 GBMultimodalitás / több mint 140 nyelvGemma
Gemma 3 12B12B~9–10 GBErős általános használat 16 GB-onGemma
Llama 3.2 3B3B~3 GBKönnyű kezdésLlama
Phi-4-mini3,8B~3 GBÉrvelés/matematika kis hardverenMIT
Phi-414B~10–12 GBMéretéhez képest erős matematika/logikaMIT
Mistral 7B7B~5–6 GBKódolásközpontú, kiforrott ökoszisztémaApache 2.0
DeepSeek-R1 distill 8B8B~6–8 GBLogikaközpontú, lépésenkénti érvelésMIT
SmolLM2 1.7B1,7B~1,5 GBPeremhálózat / rendkívül kevés RAMApache 2.0

Mennyi RAM-ra és milyen hardverre van szükség?

Hasznos ökölszabály: egy 4 bites kvantált modell paraméterenként nagyjából 0,6–0,75 GB memóriát igényel, a kontextus számára szükséges némi tartalékon felül. Tehát egy 7B-s modell körülbelül 5–6 GB-ot, egy 14B-s pedig körülbelül 10–12 GB-ot igényel. A rendelkezésre álló memóriától függően ezek közül választhatsz:

Ennyid vanKényelmes modellméretJó választások
8 GB RAM, GPU nélkül1–4BQwen3 4B, Phi-4-mini, Gemma 3 1B, Llama 3.2 3B
8 GB GPU (VRAM)7–8BQwen3 8B, Mistral 7B, DeepSeek-R1 distill 8B
16 GB RAM / VRAM12–14BGemma 3 12B, Qwen3 14B, Phi-4
24 GB+ GPU14–32BQwen3 32B, nagyobb DeepSeek változatok

Az Apple Silicon Mac gépek külön esetet jelentenek: az egységesített memóriájuk lehetővé teszi, hogy a GPU a rendszermemória nagy részét használja, így egy 16–32 GB-os M-sorozatú MacBook olyan modelleket is futtathat, amelyekhez PC-n dedikált GPU kellene.

Aranyszabály: ne a legnagyobb modellel kezdj. A hardvereden kényelmesen futó legjobb modellel kezdj. Egy gyors 4B-s modell jobb, mint egy 14B-s, amely lapozófájlt használ, és másodpercenként egy tokent ad ki.

Hogyan futtass helyben egy kis LLM-et?

Az induláshoz nem kell Pythonhoz nyúlnod. Három eszköz szinte minden felhasználási esetet lefed:

  • Ollama — a legegyszerűbb út. Telepítsd, majd egyetlen paranccsal tölts le és futtass egy modellt. Kezeli a letöltést és a kvantálást, és OpenAI-kompatibilis API-t biztosít a localhost:11434 címen.
  • LM Studio — igényes asztali alkalmazás csevegőfelülettel, modellböngészővel és egykattintásos letöltésekkel. Akkor a legjobb, ha grafikus felületet szeretnél.
  • llama.cpp — a C/C++ motor, amely az ökoszisztéma nagy részét működteti. Akkor válaszd, ha maximális irányítást szeretnél, vagy közvetlenül CPU-n, illetve Apple Siliconon futtatnál GGUF-fájlokat.

Az Ollama első futtatása így néz ki:

# Pull and chat with Qwen3 8B (best all-rounder on an 8 GB GPU)
ollama pull qwen3:8b
ollama run qwen3:8b

# Lighter options for CPU-only laptops
ollama pull qwen3:4b
ollama pull llama3.2:3b
ollama pull phi4-mini
ollama pull gemma3:4b

A modell elindítása után az Ollama és az LM Studio is OpenAI-kompatibilis végpontot biztosít, így a meglévő eszközeidet és szkriptjeidet úgy irányíthatod a helyi modellre, hogy csak az alap-URL-t módosítod.

Hogyan válaszd ki a megfelelő kis LLM-et?

A feladathoz válassz modellt, ne egy ranglistát üldözz:

  • Általános csevegés és mindennapi feladatok: Qwen3 (4B vagy 8B) — a legbiztonságosabb alapértelmezett választás.
  • Kódolás és refaktorálás: Qwen3 14B, Mistral vagy DeepSeek-R1 distill 12–16 GB-os GPU-n.
  • Matematika, logika és érvelés kis hardveren: Phi-4-mini, majd Phi-4, ha 16 GB-od van.
  • Képek vagy sok nyelv: Gemma 3 4B vagy 12B.
  • A lehető legkisebb tárigény: Llama 3.2 1B, Gemma 3 1B vagy SmolLM2.

Milyen korlátai vannak a kis, helyben futó LLM-eknek?

A kis modellek valóban hasznosak, de érdemes tudni, hol vannak a korlátaik:

  • Kevesebb világismeret. Kevesebbet tudnak, mint a legfejlettebb felhős modellek, és magabiztosan is tévedhetnek, ezért minden fontos tényt ellenőrizz.
  • Gyengébbek a nagyon nehéz érvelésben. Egy 3B-s modell nem ér fel egy nagy hosztolt modellhez összetett, több lépésből álló problémákban.
  • Kompromisszum a kontextus és a sebesség között. A hosszú kontextus több memóriát igényel; CPU-n a nagy modellek lassúak lehetnek.
  • A minőség feladatonként változik. Egy csevegésben kiváló modell kódolásban közepes lehet. Mielőtt elköteleződnél, próbálj ki néhányat.

Sok munkafolyamatban a megoldás a visszakeresés (RAG) vagy egy gyors finomhangolás, amellyel saját adataidat adod a modellnek — mindkettő sokkal olcsóbb helyben, mint amilyennek hangzik.

GYIK

Melyik a legjobb, helyben futtatható kis LLM 2026-ban?

A legtöbbeknek a Qwen3 8B a legjobb általános választás 8 GB-os GPU-n, a Qwen3 4B vagy a Llama 3.2 3B pedig jól működik csak CPU-val rendelkező laptopokon. A legnagyobb elérhető modell helyett a hardvereden kényelmesen futó legnagyobbat válaszd.

Mi a legkisebb LLM, amely helyben futtatható?

Az olyan modellek, mint a SmolLM2 (135M–1,7B), a Llama 3.2 1B, a Gemma 3 1B és a Qwen3 0,6B szinte bármilyen modern laptopon futnak, gyakran 2 GB-nál kevesebb RAM-mal, ha 4 bites kvantálást használsz. Összefoglalásra és egyszerű csevegésre alkalmasak, de összetett érvelésben gyengék.

Mennyi RAM kell egy kis LLM helyi futtatásához?

Egy 4 bites kvantált 3–4B-s modellnek körülbelül 3–4 GB szabad RAM-ra vagy VRAM-ra van szüksége, egy 7–8B-s modellnek nagyjából 6–8 GB-ra, egy 12–14B-s modellnek pedig 10–16 GB-ra. A 16 GB rendszermemória kényelmes alapot nyújt a legtöbb kis modellhez.

Mi a legegyszerűbb módja egy kis LLM helyi futtatásának?

Telepítsd az Ollamát vagy az LM Studiót, majd egyetlen paranccsal tölts le egy modellt (például ollama pull qwen3:8b). Mindkettő kezeli a letöltést és a kvantálást, helyi csevegőfelületet biztosít, és OpenAI-kompatibilis API-t ad a saját alkalmazásaidhoz.

Futtathatok kis LLM-et GPU nélkül?

Igen. 4 bites kvantálással körülbelül 7–8B méretig modern CPU-n is futnak a modellek, Apple Silicon Mac gépeken pedig az egységesített memóriának köszönhetően észrevehetően gyorsabbak. Számíts a dedikált GPU-nál lassabb tokensebességre, de csevegésre és szövegírásra így is használhatók.

Jó kódolásra a kis, helyi LLM?

Igen, lehetnek azok. A Qwen3 és a DeepSeek-R1 desztillált modelljei erősek a kis modellek között kódolásban, a Mistralnak pedig kiforrott, kódolásközpontú ökoszisztémája van. Komolyabb refaktoráláshoz egy 12–16 GB-os GPU-n futó 14B-s modell nyújtja a helyben elérhető legjobb minőséget.

Összefoglalás

A kis, helyi LLM-ek hobbikísérletből praktikus mindennapi eszközzé váltak. Kiegyensúlyozott alapértelmezett választásként kezdd a Qwen3-mal, könnyű hardveren végzett érveléshez válaszd a Phi-4-minit, képfeldolgozáshoz vagy sok nyelvhez pedig a Gemma 3-at — mindegyik percek alatt elindítható Ollamával vagy LM Studióval. Az Ailoot dokumentációjának használatáról az Ailoot dokumentációjában olvashatsz.