# A legjobb kis LLM-ek helyi futtatáshoz: átfogó útmutató

> A legjobb, 2026-ban helyben futtatható kis LLM-ek — Qwen3, Gemma 3, Llama 3.2 és Phi-4-mini —, a szükséges RAM mennyisége, valamint futtatásuk Ollamával.

Source: https://ailoot.ai/blog/hu/best-small-llms-to-run-locally/
Canonical: https://ailoot.ai/blog/hu/best-small-llms-to-run-locally/
Language: hu
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100014
Revision: sha256-b1596c7bb91580a533a1af0ab82dacc0b66548a4405c290ec36aa49cc056b5da


A kis nyelvi modellek csendben a fejlesztők saját gépén használható leghasznosabb eszközök egyikévé váltak. Már nincs szükség GPU-k egész rackjére vagy felhős számlára ahhoz, hogy egy jól használható modell teljesen offline válaszoljon a kérdésekre, kódot írjon és dokumentumokat foglaljon össze.

Sokat változott a helyzet az eredeti LLaMA, Alpaca és GPT-J korai, nyílt súlyú időszaka óta. 2026-ban egy laptopon futó, 4 milliárd paraméteres modell olyan munkára képes, amihez korábban a tízszer ekkora modellek kellettek. Ez az útmutató bemutatja a ma helyben futtatható legjobb kis LLM-eket, a szükséges hardvert, valamint a legegyszerűbb módokat az indításukra.

**Rövid válasz.** 2026-ban a legjobb, helyben futtatható kis LLM-ek a Qwen3 (1,7B–14B), a Google Gemma 3 (1B–12B), a Meta Llama 3.2 (1B/3B) és a Microsoft Phi-4-mini (3,8B). A Qwen3 a legbiztonságosabb általános alapértelmezett választás. Futtasd őket Ollamával vagy LM Studióval; a legtöbbnek mindössze 8–16 GB RAM-ra van szüksége.

## Mi számít kis LLM-nek 2026-ban?

A **kis LLM** (más néven kis nyelvi modell vagy SLM) olyan kompakt modell, amely felhős GPU-klaszter helyett fogyasztói hardveren futtatható. Nincs hivatalos határérték, de a mai kis modellekre a gyakorlatban három jellemző igaz:

- Körülbelül **0,5B–14B paraméter** — elég kicsik ahhoz, hogy egy kvantált változat elférjen egy átlagos laptop memóriájában vagy egyetlen középkategóriás GPU-n.
- Jól futnak **4 bites kvantálással**, ami nagyjából négyszeresére csökkenti a memóriahasználatot, csupán csekély minőségromlás árán.
- **Nyílt súlyokkal** érkeznek, így API-kulcs nélkül letöltheted, futtathatod, és gyakran finomhangolhatod is őket.

A legfontosabb változás 2023 óta a paraméterenkénti minőség. Egy modern, 3–4B-s modell utasításokra hangolt, többnyelvű, és gyakran jobban érvel, mint egy két évvel ezelőtti 13B-s modell. Ezért szorultak háttérbe a régi bevált modellek — a vanilla LLaMA 7B, az Alpaca, a Vicuna, a GPT-J, a GPT-Neo és a Falcon 7B —, és kerültek a helyükre az alábbi családok.

## Miért futtass kis LLM-et helyben?

Ha a saját gépeden futtatsz egy modellt, olyan előnyökhöz jutsz, amelyeket egy hosztolt API nem tud biztosítani:

- **Adatvédelem.** A promptok és az adatok soha nem hagyják el az eszközödet — ez fontos saját fejlesztésű kód, jogi vagy orvosi munka esetén.
- **Költség.** Nincs tokenenkénti számlázás. A modell letöltése után az inferencia ingyenes.
- **Offline használat.** Működik repülőn, biztonságos hálózaton vagy bárhol, ahol nincs megbízható internetkapcsolat.
- **Késleltetés és irányítás.** Nincs hálózati oda-vissza út, nincs sebességkorlát, és rögzíthetsz egy adott verziót, így a viselkedése nem változik meg észrevétlenül.
- **Testreszabás.** Finomhangolással vagy visszakereséssel saját területedhez igazíthatod a modellt.

## Melyek a legjobb, helyben futtatható kis LLM-ek 2026-ban?

2026-ban ezekre a modellcsaládokra érdemes időt szánni, a készítőjük és a legjobb felhasználási területük szerint csoportosítva.

### Qwen3 — az általános alapértelmezett választás

Az Alibaba Qwen3 családja csendben a legtöbb fejlesztő számára a „mit futtassak helyben?” kérdésre adott válasszá vált. Széles méretválasztékot kínál — a sűrű modellek között 0,6B, 1,7B, 4B, 8B és 14B méretűek is vannak —, és mindegyik a megengedő Apache 2.0 licenc alatt érhető el, kereskedelmi korlátozások nélkül.

- **Legjobb erre:** általános csevegés, kódolási segítség, refaktorálás, többnyelvű munka.
- **Ideális méret:** a Qwen3 8B-t széles körben a legjobb általános választásnak tartják 8 GB-os GPU-n; a Qwen3 4B jó választás csak CPU-val rendelkező laptopokhoz.
- **Miért jó választás:** kiváló paraméterenkénti minőség, egyértelmű licenc és remek eszköztámogatás.

### Google Gemma 3 — erős és multimodális

A Google Gemma 3 1B, 4B, 12B és 27B méretben érhető el. A 4B-s és nagyobb változatok multimodálisak (képeket is tudnak olvasni), és több mint 140 nyelvet támogatnak. Ezért a Gemma a megfelelő választás, ha eszközön szeretnél képfeldolgozást vagy széles nyelvi lefedettséget.

- **Legjobb erre:** multimodális bemenet, többnyelvű feladatok, általános használat 16 GB-os gépen (Gemma 3 12B).
- **Megjegyzés:** a Gemma a Google saját licencével érkezik — kereskedelmi használat előtt ellenőrizd a feltételeket.

### Meta Llama 3.2 — könnyű kezdés

A Meta kisebb Llama modelljei — a Llama 3.2 1B és 3B — jelentik a legzökkenőmentesebb belépőt. Aprók, jól dokumentáltak, mindenhol támogatják őket, és jól teljesítenek olyan eszközön végzett feladatokban, mint az összefoglalás és az egyszerű csevegés.

- **Legjobb erre:** első helyi modell, összefoglalás, eszközön futó asszisztensek.
- **Kompromisszum:** az 1B/3B méretűek nehéz érvelési feladatokban elmaradnak a Qwen3-tól és a Phi-4-től, sebességben és egyszerűségben viszont nehéz felülmúlni őket.

### Microsoft Phi-4 és Phi-4-mini — méretükhöz képest erős érvelés

A Microsoft Phi modelljeit gondosan válogatott és szintetikus adatokon intenzíven tanították, így méretükhöz képest kiemelkedően teljesítenek matematikai, logikai és strukturált problémamegoldási feladatokban. A Phi-4 egy 14B-s modell, amely rendszeresen versenyre kel jóval nagyobb modellekkel érvelési feladatokban, míg a **Phi-4-mini (3,8B)** talán a legjobb kis érvelő modell, amely minimális hardveren is futtatható — 4 bites kvantálás mellett körülbelül 3 GB VRAM-mal. Mindkettő megengedő MIT licenc alatt érhető el.

- **Legjobb erre:** matematika, logika, lépésenkénti érvelés szerény hardveren.

### Mistral 7B — kiforrott, kódolásközpontú választás

A Mistral 7B továbbra is megbízható igásló, a finomhangolt változatok és integrációk egyik legnagyobb ökoszisztémájával. Apache 2.0 licencű, kényelmesen fut 8 GB-os GPU-n, és továbbra is a kódolásközpontú helyi összeállítások kedvence. A Mistral kisebb Ministral modelljei (3B és 8B) a peremhálózati használat irányába bővítik a családot.

- **Legjobb erre:** kódolás, jól támogatott általános modell, egyszerű finomhangolás.

### DeepSeek-R1 desztillált modellek — logikaközpontú munkához

A DeepSeek Qwen és Llama alapokra épülő, desztillált érvelési modelleket adott ki (általában 7B, 8B és 14B méretben). Ezek a gondolatmenet-lánc jellegű érvelést olyan méretű modellekbe hozzák el, amelyek helyben futtathatók, és erősek a lépésenkénti problémamegoldásban. MIT licenc alatt érhetők el, és az Ollamában is megtalálhatók.

- **Legjobb erre:** érvelés, matematika és olyan problémák, amelyeknél hasznosak a látható gondolatmeneti lépések.

### SmolLM2 — ha a lehető legkisebb modellre van szükséged

A Hugging Face SmolLM2 modelljei 135M, 360M és 1,7B méretben érhetők el. Ezeket a modelleket érdemes választani a legszűkösebb hardveren, böngészőkben vagy peremhálózati eszközökön. Összefoglalásra és egyszerű utasítások követésére alkalmasak, de nem összetett érvelésre készültek.

- **Legjobb erre:** rendkívül kevés RAM, beágyazott és peremhálózati használat, kísérletezés.

## Kis LLM-ek összehasonlító táblázata

A számok 4 bites (Q4) kvantált változatokra vonatkozó közelítések. A tényleges memóriahasználat a kontextushossztól és a futtatókörnyezettől függően változik.

| Modell | Paraméterek | Becsült RAM/VRAM (Q4) | Legjobb erre | Licenc |
|----|----|----|----|----|
| Qwen3 1.7B | 1,7B | ~2 GB | Gyors csevegés bármilyen laptopon | Apache 2.0 |
| Qwen3 4B | 4B | ~3–4 GB | Kiegyensúlyozott csevegés + könnyű kódolás | Apache 2.0 |
| Qwen3 8B | 8B | ~6–8 GB | Legjobb általános használatra 8 GB-os GPU-n | Apache 2.0 |
| Qwen3 14B | 14B | ~10–12 GB | Kódolás, refaktorálás, érvelés | Apache 2.0 |
| Gemma 3 4B | 4B | ~3–4 GB | Multimodalitás / több mint 140 nyelv | Gemma |
| Gemma 3 12B | 12B | ~9–10 GB | Erős általános használat 16 GB-on | Gemma |
| Llama 3.2 3B | 3B | ~3 GB | Könnyű kezdés | Llama |
| Phi-4-mini | 3,8B | ~3 GB | Érvelés/matematika kis hardveren | MIT |
| Phi-4 | 14B | ~10–12 GB | Méretéhez képest erős matematika/logika | MIT |
| Mistral 7B | 7B | ~5–6 GB | Kódolásközpontú, kiforrott ökoszisztéma | Apache 2.0 |
| DeepSeek-R1 distill 8B | 8B | ~6–8 GB | Logikaközpontú, lépésenkénti érvelés | MIT |
| SmolLM2 1.7B | 1,7B | ~1,5 GB | Peremhálózat / rendkívül kevés RAM | Apache 2.0 |

## Mennyi RAM-ra és milyen hardverre van szükség?

Hasznos ökölszabály: egy 4 bites kvantált modell paraméterenként nagyjából **0,6–0,75 GB memóriát** igényel, a kontextus számára szükséges némi tartalékon felül. Tehát egy 7B-s modell körülbelül 5–6 GB-ot, egy 14B-s pedig körülbelül 10–12 GB-ot igényel. A rendelkezésre álló memóriától függően ezek közül választhatsz:

| Ennyid van | Kényelmes modellméret | Jó választások |
|----|----|----|
| 8 GB RAM, GPU nélkül | 1–4B | Qwen3 4B, Phi-4-mini, Gemma 3 1B, Llama 3.2 3B |
| 8 GB GPU (VRAM) | 7–8B | Qwen3 8B, Mistral 7B, DeepSeek-R1 distill 8B |
| 16 GB RAM / VRAM | 12–14B | Gemma 3 12B, Qwen3 14B, Phi-4 |
| 24 GB+ GPU | 14–32B | Qwen3 32B, nagyobb DeepSeek változatok |

Az Apple Silicon Mac gépek külön esetet jelentenek: az egységesített memóriájuk lehetővé teszi, hogy a GPU a rendszermemória nagy részét használja, így egy 16–32 GB-os M-sorozatú MacBook olyan modelleket is futtathat, amelyekhez PC-n dedikált GPU kellene.

**Aranyszabály:** ne a legnagyobb modellel kezdj. A hardvereden kényelmesen futó legjobb modellel kezdj. Egy gyors 4B-s modell jobb, mint egy 14B-s, amely lapozófájlt használ, és másodpercenként egy tokent ad ki.

## Hogyan futtass helyben egy kis LLM-et?

Az induláshoz nem kell Pythonhoz nyúlnod. Három eszköz szinte minden felhasználási esetet lefed:

- **Ollama** — a legegyszerűbb út. Telepítsd, majd egyetlen paranccsal tölts le és futtass egy modellt. Kezeli a letöltést és a kvantálást, és OpenAI-kompatibilis API-t biztosít a `localhost:11434` címen.
- **LM Studio** — igényes asztali alkalmazás csevegőfelülettel, modellböngészővel és egykattintásos letöltésekkel. Akkor a legjobb, ha grafikus felületet szeretnél.
- **llama.cpp** — a C/C++ motor, amely az ökoszisztéma nagy részét működteti. Akkor válaszd, ha maximális irányítást szeretnél, vagy közvetlenül CPU-n, illetve Apple Siliconon futtatnál GGUF-fájlokat.

Az Ollama első futtatása így néz ki:

```
# Pull and chat with Qwen3 8B (best all-rounder on an 8 GB GPU)
ollama pull qwen3:8b
ollama run qwen3:8b

# Lighter options for CPU-only laptops
ollama pull qwen3:4b
ollama pull llama3.2:3b
ollama pull phi4-mini
ollama pull gemma3:4b
```

A modell elindítása után az Ollama és az LM Studio is OpenAI-kompatibilis végpontot biztosít, így a meglévő eszközeidet és szkriptjeidet úgy irányíthatod a helyi modellre, hogy csak az alap-URL-t módosítod.

## Hogyan válaszd ki a megfelelő kis LLM-et?

A feladathoz válassz modellt, ne egy ranglistát üldözz:

- **Általános csevegés és mindennapi feladatok:** Qwen3 (4B vagy 8B) — a legbiztonságosabb alapértelmezett választás.
- **Kódolás és refaktorálás:** Qwen3 14B, Mistral vagy DeepSeek-R1 distill 12–16 GB-os GPU-n.
- **Matematika, logika és érvelés kis hardveren:** Phi-4-mini, majd Phi-4, ha 16 GB-od van.
- **Képek vagy sok nyelv:** Gemma 3 4B vagy 12B.
- **A lehető legkisebb tárigény:** Llama 3.2 1B, Gemma 3 1B vagy SmolLM2.

## Milyen korlátai vannak a kis, helyben futó LLM-eknek?

A kis modellek valóban hasznosak, de érdemes tudni, hol vannak a korlátaik:

- **Kevesebb világismeret.** Kevesebbet tudnak, mint a legfejlettebb felhős modellek, és magabiztosan is tévedhetnek, ezért minden fontos tényt ellenőrizz.
- **Gyengébbek a nagyon nehéz érvelésben.** Egy 3B-s modell nem ér fel egy nagy hosztolt modellhez összetett, több lépésből álló problémákban.
- **Kompromisszum a kontextus és a sebesség között.** A hosszú kontextus több memóriát igényel; CPU-n a nagy modellek lassúak lehetnek.
- **A minőség feladatonként változik.** Egy csevegésben kiváló modell kódolásban közepes lehet. Mielőtt elköteleződnél, próbálj ki néhányat.

Sok munkafolyamatban a megoldás a visszakeresés (RAG) vagy egy gyors finomhangolás, amellyel saját adataidat adod a modellnek — mindkettő sokkal olcsóbb helyben, mint amilyennek hangzik.

## GYIK

### Melyik a legjobb, helyben futtatható kis LLM 2026-ban?

A legtöbbeknek a Qwen3 8B a legjobb általános választás 8 GB-os GPU-n, a Qwen3 4B vagy a Llama 3.2 3B pedig jól működik csak CPU-val rendelkező laptopokon. A legnagyobb elérhető modell helyett a hardvereden kényelmesen futó legnagyobbat válaszd.

### Mi a legkisebb LLM, amely helyben futtatható?

Az olyan modellek, mint a SmolLM2 (135M–1,7B), a Llama 3.2 1B, a Gemma 3 1B és a Qwen3 0,6B szinte bármilyen modern laptopon futnak, gyakran 2 GB-nál kevesebb RAM-mal, ha 4 bites kvantálást használsz. Összefoglalásra és egyszerű csevegésre alkalmasak, de összetett érvelésben gyengék.

### Mennyi RAM kell egy kis LLM helyi futtatásához?

Egy 4 bites kvantált 3–4B-s modellnek körülbelül 3–4 GB szabad RAM-ra vagy VRAM-ra van szüksége, egy 7–8B-s modellnek nagyjából 6–8 GB-ra, egy 12–14B-s modellnek pedig 10–16 GB-ra. A 16 GB rendszermemória kényelmes alapot nyújt a legtöbb kis modellhez.

### Mi a legegyszerűbb módja egy kis LLM helyi futtatásának?

Telepítsd az Ollamát vagy az LM Studiót, majd egyetlen paranccsal tölts le egy modellt (például `ollama pull qwen3:8b`). Mindkettő kezeli a letöltést és a kvantálást, helyi csevegőfelületet biztosít, és OpenAI-kompatibilis API-t ad a saját alkalmazásaidhoz.

### Futtathatok kis LLM-et GPU nélkül?

Igen. 4 bites kvantálással körülbelül 7–8B méretig modern CPU-n is futnak a modellek, Apple Silicon Mac gépeken pedig az egységesített memóriának köszönhetően észrevehetően gyorsabbak. Számíts a dedikált GPU-nál lassabb tokensebességre, de csevegésre és szövegírásra így is használhatók.

### Jó kódolásra a kis, helyi LLM?

Igen, lehetnek azok. A Qwen3 és a DeepSeek-R1 desztillált modelljei erősek a kis modellek között kódolásban, a Mistralnak pedig kiforrott, kódolásközpontú ökoszisztémája van. Komolyabb refaktoráláshoz egy 12–16 GB-os GPU-n futó 14B-s modell nyújtja a helyben elérhető legjobb minőséget.

## Összefoglalás

A kis, helyi LLM-ek hobbikísérletből praktikus mindennapi eszközzé váltak. Kiegyensúlyozott alapértelmezett választásként kezdd a Qwen3-mal, könnyű hardveren végzett érveléshez válaszd a Phi-4-minit, képfeldolgozáshoz vagy sok nyelvhez pedig a Gemma 3-at — mindegyik percek alatt elindítható Ollamával vagy LM Studióval. Az Ailoot dokumentációjának használatáról az [Ailoot dokumentációjában](https://ailoot.ai/docs/) olvashatsz.

## Ailoot · A vállalat és projektportfóliója

Az Ailoot felhalmozott működési tapasztalatra, széles ügyfélkörre, stabil szolgáltatásra és folyamatos KPI-ellenőrzésre épít.

A vállalat és projektportfóliója: ügyfelek milliói; havi értékesítés milliárdos nagyságrendben.

Az Ailoot ezt a működési tapasztalatot használja az ügyfelek termékeiben, ágenseiben, alkalmazásaiban és automatizálásaiban elérhető AI-funkciók API-hozzáféréséhez.
