A legjobb kis LLM-ek helyi futtatáshoz: átfogó útmutató
MarkdownA legjobb, 2026-ban helyben futtatható kis LLM-ek — Qwen3, Gemma 3, Llama 3.2 és Phi-4-mini —, a szükséges RAM mennyisége, valamint futtatásuk Ollamával.
A kis nyelvi modellek csendben a fejlesztők saját gépén használható leghasznosabb eszközök egyikévé váltak. Már nincs szükség GPU-k egész rackjére vagy felhős számlára ahhoz, hogy egy jól használható modell teljesen offline válaszoljon a kérdésekre, kódot írjon és dokumentumokat foglaljon össze.
Sokat változott a helyzet az eredeti LLaMA, Alpaca és GPT-J korai, nyílt súlyú időszaka óta. 2026-ban egy laptopon futó, 4 milliárd paraméteres modell olyan munkára képes, amihez korábban a tízszer ekkora modellek kellettek. Ez az útmutató bemutatja a ma helyben futtatható legjobb kis LLM-eket, a szükséges hardvert, valamint a legegyszerűbb módokat az indításukra.
Rövid válasz. 2026-ban a legjobb, helyben futtatható kis LLM-ek a Qwen3 (1,7B–14B), a Google Gemma 3 (1B–12B), a Meta Llama 3.2 (1B/3B) és a Microsoft Phi-4-mini (3,8B). A Qwen3 a legbiztonságosabb általános alapértelmezett választás. Futtasd őket Ollamával vagy LM Studióval; a legtöbbnek mindössze 8–16 GB RAM-ra van szüksége.
Mi számít kis LLM-nek 2026-ban?
A kis LLM (más néven kis nyelvi modell vagy SLM) olyan kompakt modell, amely felhős GPU-klaszter helyett fogyasztói hardveren futtatható. Nincs hivatalos határérték, de a mai kis modellekre a gyakorlatban három jellemző igaz:
- Körülbelül 0,5B–14B paraméter — elég kicsik ahhoz, hogy egy kvantált változat elférjen egy átlagos laptop memóriájában vagy egyetlen középkategóriás GPU-n.
- Jól futnak 4 bites kvantálással, ami nagyjából négyszeresére csökkenti a memóriahasználatot, csupán csekély minőségromlás árán.
- Nyílt súlyokkal érkeznek, így API-kulcs nélkül letöltheted, futtathatod, és gyakran finomhangolhatod is őket.
A legfontosabb változás 2023 óta a paraméterenkénti minőség. Egy modern, 3–4B-s modell utasításokra hangolt, többnyelvű, és gyakran jobban érvel, mint egy két évvel ezelőtti 13B-s modell. Ezért szorultak háttérbe a régi bevált modellek — a vanilla LLaMA 7B, az Alpaca, a Vicuna, a GPT-J, a GPT-Neo és a Falcon 7B —, és kerültek a helyükre az alábbi családok.
Miért futtass kis LLM-et helyben?
Ha a saját gépeden futtatsz egy modellt, olyan előnyökhöz jutsz, amelyeket egy hosztolt API nem tud biztosítani:
- Adatvédelem. A promptok és az adatok soha nem hagyják el az eszközödet — ez fontos saját fejlesztésű kód, jogi vagy orvosi munka esetén.
- Költség. Nincs tokenenkénti számlázás. A modell letöltése után az inferencia ingyenes.
- Offline használat. Működik repülőn, biztonságos hálózaton vagy bárhol, ahol nincs megbízható internetkapcsolat.
- Késleltetés és irányítás. Nincs hálózati oda-vissza út, nincs sebességkorlát, és rögzíthetsz egy adott verziót, így a viselkedése nem változik meg észrevétlenül.
- Testreszabás. Finomhangolással vagy visszakereséssel saját területedhez igazíthatod a modellt.
Melyek a legjobb, helyben futtatható kis LLM-ek 2026-ban?
2026-ban ezekre a modellcsaládokra érdemes időt szánni, a készítőjük és a legjobb felhasználási területük szerint csoportosítva.
Qwen3 — az általános alapértelmezett választás
Az Alibaba Qwen3 családja csendben a legtöbb fejlesztő számára a „mit futtassak helyben?” kérdésre adott válasszá vált. Széles méretválasztékot kínál — a sűrű modellek között 0,6B, 1,7B, 4B, 8B és 14B méretűek is vannak —, és mindegyik a megengedő Apache 2.0 licenc alatt érhető el, kereskedelmi korlátozások nélkül.
- Legjobb erre: általános csevegés, kódolási segítség, refaktorálás, többnyelvű munka.
- Ideális méret: a Qwen3 8B-t széles körben a legjobb általános választásnak tartják 8 GB-os GPU-n; a Qwen3 4B jó választás csak CPU-val rendelkező laptopokhoz.
- Miért jó választás: kiváló paraméterenkénti minőség, egyértelmű licenc és remek eszköztámogatás.
Google Gemma 3 — erős és multimodális
A Google Gemma 3 1B, 4B, 12B és 27B méretben érhető el. A 4B-s és nagyobb változatok multimodálisak (képeket is tudnak olvasni), és több mint 140 nyelvet támogatnak. Ezért a Gemma a megfelelő választás, ha eszközön szeretnél képfeldolgozást vagy széles nyelvi lefedettséget.
- Legjobb erre: multimodális bemenet, többnyelvű feladatok, általános használat 16 GB-os gépen (Gemma 3 12B).
- Megjegyzés: a Gemma a Google saját licencével érkezik — kereskedelmi használat előtt ellenőrizd a feltételeket.
Meta Llama 3.2 — könnyű kezdés
A Meta kisebb Llama modelljei — a Llama 3.2 1B és 3B — jelentik a legzökkenőmentesebb belépőt. Aprók, jól dokumentáltak, mindenhol támogatják őket, és jól teljesítenek olyan eszközön végzett feladatokban, mint az összefoglalás és az egyszerű csevegés.
- Legjobb erre: első helyi modell, összefoglalás, eszközön futó asszisztensek.
- Kompromisszum: az 1B/3B méretűek nehéz érvelési feladatokban elmaradnak a Qwen3-tól és a Phi-4-től, sebességben és egyszerűségben viszont nehéz felülmúlni őket.
Microsoft Phi-4 és Phi-4-mini — méretükhöz képest erős érvelés
A Microsoft Phi modelljeit gondosan válogatott és szintetikus adatokon intenzíven tanították, így méretükhöz képest kiemelkedően teljesítenek matematikai, logikai és strukturált problémamegoldási feladatokban. A Phi-4 egy 14B-s modell, amely rendszeresen versenyre kel jóval nagyobb modellekkel érvelési feladatokban, míg a Phi-4-mini (3,8B) talán a legjobb kis érvelő modell, amely minimális hardveren is futtatható — 4 bites kvantálás mellett körülbelül 3 GB VRAM-mal. Mindkettő megengedő MIT licenc alatt érhető el.
- Legjobb erre: matematika, logika, lépésenkénti érvelés szerény hardveren.
Mistral 7B — kiforrott, kódolásközpontú választás
A Mistral 7B továbbra is megbízható igásló, a finomhangolt változatok és integrációk egyik legnagyobb ökoszisztémájával. Apache 2.0 licencű, kényelmesen fut 8 GB-os GPU-n, és továbbra is a kódolásközpontú helyi összeállítások kedvence. A Mistral kisebb Ministral modelljei (3B és 8B) a peremhálózati használat irányába bővítik a családot.
- Legjobb erre: kódolás, jól támogatott általános modell, egyszerű finomhangolás.
DeepSeek-R1 desztillált modellek — logikaközpontú munkához
A DeepSeek Qwen és Llama alapokra épülő, desztillált érvelési modelleket adott ki (általában 7B, 8B és 14B méretben). Ezek a gondolatmenet-lánc jellegű érvelést olyan méretű modellekbe hozzák el, amelyek helyben futtathatók, és erősek a lépésenkénti problémamegoldásban. MIT licenc alatt érhetők el, és az Ollamában is megtalálhatók.
- Legjobb erre: érvelés, matematika és olyan problémák, amelyeknél hasznosak a látható gondolatmeneti lépések.
SmolLM2 — ha a lehető legkisebb modellre van szükséged
A Hugging Face SmolLM2 modelljei 135M, 360M és 1,7B méretben érhetők el. Ezeket a modelleket érdemes választani a legszűkösebb hardveren, böngészőkben vagy peremhálózati eszközökön. Összefoglalásra és egyszerű utasítások követésére alkalmasak, de nem összetett érvelésre készültek.
- Legjobb erre: rendkívül kevés RAM, beágyazott és peremhálózati használat, kísérletezés.
Kis LLM-ek összehasonlító táblázata
A számok 4 bites (Q4) kvantált változatokra vonatkozó közelítések. A tényleges memóriahasználat a kontextushossztól és a futtatókörnyezettől függően változik.
| Modell | Paraméterek | Becsült RAM/VRAM (Q4) | Legjobb erre | Licenc |
|---|---|---|---|---|
| Qwen3 1.7B | 1,7B | ~2 GB | Gyors csevegés bármilyen laptopon | Apache 2.0 |
| Qwen3 4B | 4B | ~3–4 GB | Kiegyensúlyozott csevegés + könnyű kódolás | Apache 2.0 |
| Qwen3 8B | 8B | ~6–8 GB | Legjobb általános használatra 8 GB-os GPU-n | Apache 2.0 |
| Qwen3 14B | 14B | ~10–12 GB | Kódolás, refaktorálás, érvelés | Apache 2.0 |
| Gemma 3 4B | 4B | ~3–4 GB | Multimodalitás / több mint 140 nyelv | Gemma |
| Gemma 3 12B | 12B | ~9–10 GB | Erős általános használat 16 GB-on | Gemma |
| Llama 3.2 3B | 3B | ~3 GB | Könnyű kezdés | Llama |
| Phi-4-mini | 3,8B | ~3 GB | Érvelés/matematika kis hardveren | MIT |
| Phi-4 | 14B | ~10–12 GB | Méretéhez képest erős matematika/logika | MIT |
| Mistral 7B | 7B | ~5–6 GB | Kódolásközpontú, kiforrott ökoszisztéma | Apache 2.0 |
| DeepSeek-R1 distill 8B | 8B | ~6–8 GB | Logikaközpontú, lépésenkénti érvelés | MIT |
| SmolLM2 1.7B | 1,7B | ~1,5 GB | Peremhálózat / rendkívül kevés RAM | Apache 2.0 |
Mennyi RAM-ra és milyen hardverre van szükség?
Hasznos ökölszabály: egy 4 bites kvantált modell paraméterenként nagyjából 0,6–0,75 GB memóriát igényel, a kontextus számára szükséges némi tartalékon felül. Tehát egy 7B-s modell körülbelül 5–6 GB-ot, egy 14B-s pedig körülbelül 10–12 GB-ot igényel. A rendelkezésre álló memóriától függően ezek közül választhatsz:
| Ennyid van | Kényelmes modellméret | Jó választások |
|---|---|---|
| 8 GB RAM, GPU nélkül | 1–4B | Qwen3 4B, Phi-4-mini, Gemma 3 1B, Llama 3.2 3B |
| 8 GB GPU (VRAM) | 7–8B | Qwen3 8B, Mistral 7B, DeepSeek-R1 distill 8B |
| 16 GB RAM / VRAM | 12–14B | Gemma 3 12B, Qwen3 14B, Phi-4 |
| 24 GB+ GPU | 14–32B | Qwen3 32B, nagyobb DeepSeek változatok |
Az Apple Silicon Mac gépek külön esetet jelentenek: az egységesített memóriájuk lehetővé teszi, hogy a GPU a rendszermemória nagy részét használja, így egy 16–32 GB-os M-sorozatú MacBook olyan modelleket is futtathat, amelyekhez PC-n dedikált GPU kellene.
Aranyszabály: ne a legnagyobb modellel kezdj. A hardvereden kényelmesen futó legjobb modellel kezdj. Egy gyors 4B-s modell jobb, mint egy 14B-s, amely lapozófájlt használ, és másodpercenként egy tokent ad ki.
Hogyan futtass helyben egy kis LLM-et?
Az induláshoz nem kell Pythonhoz nyúlnod. Három eszköz szinte minden felhasználási esetet lefed:
- Ollama — a legegyszerűbb út. Telepítsd, majd egyetlen paranccsal tölts le és futtass egy modellt. Kezeli a letöltést és a kvantálást, és OpenAI-kompatibilis API-t biztosít a
localhost:11434címen. - LM Studio — igényes asztali alkalmazás csevegőfelülettel, modellböngészővel és egykattintásos letöltésekkel. Akkor a legjobb, ha grafikus felületet szeretnél.
- llama.cpp — a C/C++ motor, amely az ökoszisztéma nagy részét működteti. Akkor válaszd, ha maximális irányítást szeretnél, vagy közvetlenül CPU-n, illetve Apple Siliconon futtatnál GGUF-fájlokat.
Az Ollama első futtatása így néz ki:
# Pull and chat with Qwen3 8B (best all-rounder on an 8 GB GPU)
ollama pull qwen3:8b
ollama run qwen3:8b
# Lighter options for CPU-only laptops
ollama pull qwen3:4b
ollama pull llama3.2:3b
ollama pull phi4-mini
ollama pull gemma3:4b
A modell elindítása után az Ollama és az LM Studio is OpenAI-kompatibilis végpontot biztosít, így a meglévő eszközeidet és szkriptjeidet úgy irányíthatod a helyi modellre, hogy csak az alap-URL-t módosítod.
Hogyan válaszd ki a megfelelő kis LLM-et?
A feladathoz válassz modellt, ne egy ranglistát üldözz:
- Általános csevegés és mindennapi feladatok: Qwen3 (4B vagy 8B) — a legbiztonságosabb alapértelmezett választás.
- Kódolás és refaktorálás: Qwen3 14B, Mistral vagy DeepSeek-R1 distill 12–16 GB-os GPU-n.
- Matematika, logika és érvelés kis hardveren: Phi-4-mini, majd Phi-4, ha 16 GB-od van.
- Képek vagy sok nyelv: Gemma 3 4B vagy 12B.
- A lehető legkisebb tárigény: Llama 3.2 1B, Gemma 3 1B vagy SmolLM2.
Milyen korlátai vannak a kis, helyben futó LLM-eknek?
A kis modellek valóban hasznosak, de érdemes tudni, hol vannak a korlátaik:
- Kevesebb világismeret. Kevesebbet tudnak, mint a legfejlettebb felhős modellek, és magabiztosan is tévedhetnek, ezért minden fontos tényt ellenőrizz.
- Gyengébbek a nagyon nehéz érvelésben. Egy 3B-s modell nem ér fel egy nagy hosztolt modellhez összetett, több lépésből álló problémákban.
- Kompromisszum a kontextus és a sebesség között. A hosszú kontextus több memóriát igényel; CPU-n a nagy modellek lassúak lehetnek.
- A minőség feladatonként változik. Egy csevegésben kiváló modell kódolásban közepes lehet. Mielőtt elköteleződnél, próbálj ki néhányat.
Sok munkafolyamatban a megoldás a visszakeresés (RAG) vagy egy gyors finomhangolás, amellyel saját adataidat adod a modellnek — mindkettő sokkal olcsóbb helyben, mint amilyennek hangzik.
GYIK
Melyik a legjobb, helyben futtatható kis LLM 2026-ban?
A legtöbbeknek a Qwen3 8B a legjobb általános választás 8 GB-os GPU-n, a Qwen3 4B vagy a Llama 3.2 3B pedig jól működik csak CPU-val rendelkező laptopokon. A legnagyobb elérhető modell helyett a hardvereden kényelmesen futó legnagyobbat válaszd.
Mi a legkisebb LLM, amely helyben futtatható?
Az olyan modellek, mint a SmolLM2 (135M–1,7B), a Llama 3.2 1B, a Gemma 3 1B és a Qwen3 0,6B szinte bármilyen modern laptopon futnak, gyakran 2 GB-nál kevesebb RAM-mal, ha 4 bites kvantálást használsz. Összefoglalásra és egyszerű csevegésre alkalmasak, de összetett érvelésben gyengék.
Mennyi RAM kell egy kis LLM helyi futtatásához?
Egy 4 bites kvantált 3–4B-s modellnek körülbelül 3–4 GB szabad RAM-ra vagy VRAM-ra van szüksége, egy 7–8B-s modellnek nagyjából 6–8 GB-ra, egy 12–14B-s modellnek pedig 10–16 GB-ra. A 16 GB rendszermemória kényelmes alapot nyújt a legtöbb kis modellhez.
Mi a legegyszerűbb módja egy kis LLM helyi futtatásának?
Telepítsd az Ollamát vagy az LM Studiót, majd egyetlen paranccsal tölts le egy modellt (például ollama pull qwen3:8b). Mindkettő kezeli a letöltést és a kvantálást, helyi csevegőfelületet biztosít, és OpenAI-kompatibilis API-t ad a saját alkalmazásaidhoz.
Futtathatok kis LLM-et GPU nélkül?
Igen. 4 bites kvantálással körülbelül 7–8B méretig modern CPU-n is futnak a modellek, Apple Silicon Mac gépeken pedig az egységesített memóriának köszönhetően észrevehetően gyorsabbak. Számíts a dedikált GPU-nál lassabb tokensebességre, de csevegésre és szövegírásra így is használhatók.
Jó kódolásra a kis, helyi LLM?
Igen, lehetnek azok. A Qwen3 és a DeepSeek-R1 desztillált modelljei erősek a kis modellek között kódolásban, a Mistralnak pedig kiforrott, kódolásközpontú ökoszisztémája van. Komolyabb refaktoráláshoz egy 12–16 GB-os GPU-n futó 14B-s modell nyújtja a helyben elérhető legjobb minőséget.
Összefoglalás
A kis, helyi LLM-ek hobbikísérletből praktikus mindennapi eszközzé váltak. Kiegyensúlyozott alapértelmezett választásként kezdd a Qwen3-mal, könnyű hardveren végzett érveléshez válaszd a Phi-4-minit, képfeldolgozáshoz vagy sok nyelvhez pedig a Gemma 3-at — mindegyik percek alatt elindítható Ollamával vagy LM Studióval. Az Ailoot dokumentációjának használatáról az Ailoot dokumentációjában olvashatsz.