# Kis nyelvi modellek: magyarázat

> Mitől kicsi egy nyelvi modell, mit jelentenek a paraméterek és az effektív paraméterek, miért férnek el a kis modellek telefonokon, és milyen képességekben maradnak el.

Source: https://ailoot.ai/blog/hu/small-language-models-explained/
Canonical: https://ailoot.ai/blog/hu/small-language-models-explained/
Language: hu
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100072
Revision: sha256-c3574ae99f2403e0df4072390bf5dfd77b8d08c09012c80e900a422f0f65be1d


## Mi az a kis nyelvi modell?

A kis nyelvi modell (SLM) olyan nyelvi modell, amely elég kompakt ahhoz, hogy hétköznapi hardveren, például telefonon vagy laptopon fusson adatközpont helyett. Nincs elfogadott határérték: a néhány milliárd vagy annál kevesebb paraméterrel rendelkező modelleket általában kicsinek nevezik, egy 2024-es felmérés pedig a 100 millió és 5 milliárd közötti tartományt használja.

A kis és nagy nyelvi modellek ugyanúgy működnek. Mindkettő neurális hálózat, szinte mindig transformer, amelyet a következő szövegtoken előrejelzésére tanítanak; az előtanítás után mindkettőt hozzáigazítják az utasítások követéséhez. A fent említett felmérés pontosan ilyen, csak dekóderes transformereket vizsgál. A különbség a méret. Egy telefonméretű modellnek néhány milliárd paramétere van, míg a legfejlettebb felhőmodellek ennél sokkal nagyobbak, ezért a kis modell kevesebb tudást tárol, és kisebb a következtetési kapacitása (lásd: „Miben maradnak el a kis modellek?”). A kis modellek teszik praktikussá az eszközön futó MI-t.

A méret nem az egyetlen tényező, amely a minőséget befolyásolja. Egy kis modell minősége ezért legalább annyira függ a tanításától, mint a méretétől. Egy nagyobb modelltől desztillációval tanulhat: ilyenkor arra tanítják, hogy a nagyobb modell kimeneteit utánozza. A gondosan kiválasztott adatok is előnyösek: a phi-1, egy 1,3 milliárd paraméteres kódolómodell, amelyet nagyrészt „tankönyvi minőségű” adatokon tanítottak, 50,6%-os pass@1 eredményt ért el a HumanEval programozási benchmarkon.

## Mit jelentenek a paraméterek és az „effektív paraméterek”?

A paraméterek azok a számok, amelyeket a modell a tanítás során megtanul; a számuk a modellméret szokásos mérőszáma: a Qwen3 1.7B nevében az „1.7B” körülbelül 1,7 milliárdot jelent. Az „effektív paraméterek” – a Google Gemma 4 E2B és E4B nevében az „E” – azokat a paramétereket számolja, amelyekkel a modell számításokat végez, és nem veszi figyelembe a nagy embeddingtáblákat, amelyeket csak kikeres.

A legtöbb paraméter a transformer figyelmi és előrecsatolt rétegeinek súlymátrixaiban található; minden token áthalad ezeken. Egy különálló blokk, az embedding, a szókészlet minden tokenjét egy vektorhoz rendeli, és egy kis modellben ez a teljes paraméterszám jelentős részét teheti ki. A Qwen3 1.7B embeddingtáblája 151,936 sorból áll (a beállított szókészlet, amely a tokenizer 151,669 bejegyzésénél nagyobb, mert paddinget tartalmaz), és 2,048 dimenziós; ez körülbelül 311 millió embeddingparaméter. Ez összhangban van a modellkártyával, amely összesen 1,7 milliárd paramétert sorol fel, ebből 1,4 milliárd az embeddingeken kívül található 7. A skálázási tanulmányok gyakran csak a nem embeddingparamétereket számolják.

A Gemma 4 E sorozata továbbviszi ezt az elképzelést. A Google modellkártyája szerint „az E2B és E4B nevében az ‘E’ az ‘effective’, vagyis effektív szó rövidítése”: a modellek Per-Layer Embeddings (PLE) megoldást használnak, amely „minden dekóderrétegben minden tokenhez saját kis embeddinget biztosít”. „Ezek az embeddingtáblák nagyok, de csak gyors keresésre szolgálnak, ezért az effektív paraméterszám jóval kisebb a teljesnél” 8. A kártya a Gemma 4 E2B esetében 2,3 milliárd effektív paramétert és embeddingekkel együtt 5,1 milliárdot tüntet fel; az E4B-nél ezek az értékek 4,5 milliárd, illetve 8 milliárd.

Ez a különbség telefonon azért fontos, mert a keresés memóriát igényel, de kevés számítást, a futtatókörnyezet pedig tárolóban hagyhatja a táblákat. Az „effektív” az „aktív” fogalmától is különbözik: a Gemma 4 26B A4B egy mixture-of-experts modell 25,2 milliárd paraméterrel, amelyek közül következtetéskor 3,8 milliárd aktív 8.

## Miért férnek el a kis modellek telefonokon?

A modell súlyai hozzávetőleg a paraméterek száma szorozva a paraméterenként tárolt bitek számával, majd osztva nyolccal értendők. 4 biten 1,7 milliárd paraméter körülbelül 0,85 GB-ot igényel, így egy 4 GB RAM-mal rendelkező telefonon marad hely az Androidnak és más alkalmazásoknak.

A paraméterek száma és a pontosság a két meghatározó tényező. Az 1. ábra lépésről lépésre bemutatja a Qwen3 1.7B számítását a 32 bites lebegőpontos formátumtól a 4 bites modellfájlméretig.

<figure id="la-fit">
<ol>
<li><strong>32 bites lebegőpontos számként tárolva 1,7 milliárd paraméter 6,8 GB-ot foglal.</strong></li>
<li><strong>16 biten 3,4 GB-ot foglalnak.</strong></li>
<li><strong>8 biten 1,7 GB-ot foglalnak.</strong> A súlyonkénti bitszám minden felezése a súlyok memóriaigényét is megfelezi.</li>
<li><strong>4 biten körülbelül 0,85 GB-ot foglalnak.</strong> Súlyonként fél bájt teszi praktikussá az ekkora modellek használatát egy 4 GB-os telefonon.</li>
<li><strong>A 4 bites modellfájl nagyobb lehet a nyers súlyoknál.</strong> A blokkskálák és más tárolt adatok növelik a méretét.</li>
</ol>
<figcaption>1. ábra. A Qwen3 1.7B súlyainak tárolásához szükséges memória decimális gigabájtban. A kék oszlopok számítása: paraméterszám × bitszám ÷ 8, 1,7 milliárd paraméterrel; csak a súlyokat veszik figyelembe. A futó modellnek a kulcs-érték gyorsítótárhoz és a futtatókörnyezethez is memóriára van szüksége. A narancssárga oszlop a letöltött modellfájl.</figcaption>
</figure>

| Pontosság | Bit paraméterenként | A súlyok hozzávetőleges memóriaigénye |
|---|---:|---:|
| 32 bites lebegőpontos | 32 | 6,8 GB |
| 16 bites lebegőpontos | 16 | 3,4 GB |
| 8 bites egész | 8 | 1,7 GB |
| 4 bites egész | 4 | 0,85 GB |

Ezért kombinálják a telefonméretű modellek a néhány milliárd paramétert 4 bites vagy vegyes pontosságú súlyokkal; a kvantálás csökkenti a súlyok tárolásához szükséges helyet.

A súlyok nem adják a teljes memóriaigényt. A futó modellnek a kontextusablak hosszával növekvő kulcs-érték gyorsítótárhoz és magához a futtatókörnyezethez is memóriára van szüksége. A sebességre ugyanez a számítás érvényes: minden új tokenhez be kell olvasni a modell súlyait a memóriából, ezért ugyanazon a telefonon a kevesebb és kisebb súly gyorsabb válaszokat jelent.

## Miben jók a kis modellek?

A kis modellek jól teljesítenek olyan feladatokban, amelyekhez szükséges információ megtalálható a promptban vagy a közismert tudás része: átírás, összefoglalás, vázlatkészítés, magyarázat és válaszadás megadott szövegrészletek alapján. Mivel az eszközön futnak, hálózati kapcsolat nélkül is válaszolhatnak, és a promptot sem kell szerverre küldeni.

A Google modellkártyája a Gemma 4 családot „következtetésre, agentikus munkafolyamatokra, kódolásra és multimodális megértésre alkalmasnak” nevezi; az E2B és az E4B szöveges, képi és hangbemenetet fogad 8. Ezek a fejlesztők saját leírásai és benchmarkeredményei; egy adott feladat működését egy adott telefonon továbbra is tesztelni kell.

A megfelelő szöveg megadásával pótolható az, amit egy kis modell nem tud. A retrieval-augmented generation a kérdés feltevésekor lekért szövegrészleteket ad hozzá, így a modell emlékezet helyett forrásokból dolgozik. A kis modellek futtatási költsége is kiszámítható: nincs kérdésenkénti szerverdíj, nincs sorban állás, és a letöltés után nincs szükség kapcsolatra.

## Miben maradnak el a kis modellek?

A kis modellek kevesebb tudást tárolnak, gyengébbek a hosszú vagy több lépéses következtetésben, és a nagyobb modelleknél rosszabbul kezelik a hosszú kontextusokat. Mint minden nyelvi modell, magabiztosan megfogalmazott téves állításokat is tehetnek.

A minta egyetlen modellen belüli családnál is megfigyelhető. A Google modellkártyája szerint a Gemma 4 E2B 60,0%-ot, az E4B 69,4%-ot ér el az MMLU Pro tudás- és következtetési benchmarkon, szemben a 31 milliárd paraméteres Gemma 4 modell 85,2%-ával. A GPQA Diamondon, amely posztgraduális szintű természettudományos kérdésekből áll, az eredmények 43,4%, 58,6% és 84,3% 8. Ezek a Google saját modelljeire vonatkozó eredményei.

A kis modellek ismételgetésbe is ragadhatnak. A Qwen modellkártyája arra figyelmeztet, hogy a mohó dekódolás „teljesítményromláshoz és végtelen ismétlődéshez vezethet” 7.

## Miért másolják le a kis modellek az utasítások formáját?

A kis modellek hajlamosak a prompt formáját is utánozni, nemcsak a tartalmát követni, így egy hosszú, strukturált rendszerprompt minden válaszban hasonló szerkezetet eredményezhet.

Egy modellnek szóló prompt, amely azt kérte, hogy „kezdje a közvetlen válasszal, majd adjon hasznos részleteket”, olyan válaszokat eredményezett, amelyekben vastag címkeként szerepelt a „Közvetlen válasz:” és a „Hasznos részletek:”. Az utasítás tartalmi tanácsnak készült, a modell azonban sablonnak tekintette.

## Hogyan működik a gondolkodási mód a kis modellekben?

A gondolkodási mód arra készteti a modellt, hogy a végső válasza előtt leírja a köztes következtetéseket; több időt és tokent használ fel, cserébe gondosabb eredményt adhat több lépéses problémák esetén. A Qwen3 és a Gemma 4 egyaránt ugyanazon modellen belüli kapcsolóként kínálja ezt, nem külön következtető modellként.

Az ötlet a chain-of-thought promptingból ered. Az újabb kis modelleket következtetésre tanítják; a Qwen3 esetében ez részben a nagyobb modellektől való tanulással történik.

A kapcsoló a prompt része. A Qwen3 1.7B alapértelmezés szerint gondolkodik, és a következtetést egy `<think>…</think>` blokkban írja le; a fejlesztők az `enable_thinking` beállítással kapcsolhatják ki a gondolkodást, a felhasználók pedig a `/think` vagy `/no_think` hozzáadásával üzenetükhöz fordulónként módosíthatják az üzemmódot 7. A Gemma 4 akkor kapcsolja be a gondolkodást, ha a rendszerprompt `<|think|>` tokennel kezdődik 8.

A gondolkodás időt és kontextuskapacitást igényel, mert a következtetési tokenek a modell kimenetének részét képezik, és ugyanazt az ablakot használják. Ha a modell úgy van beállítva, hogy felfedje a következtetést, az a válasz előtt jelenik meg; a viselkedés azonban a modelltől és az alkalmazástól függ.

## Miben különbözik a Qwen3 1.7B, a Gemma 4 E2B és a Gemma 4 E4B?

A három modell méretben, bemenetekben és kontextushosszban különbözik. A Qwen3 1.7B 1,7 milliárd paraméteres, és csak szöveget fogad; a Google a Gemma 4 E2B és E4B esetében 2,3, illetve 4,5 milliárd effektív paramétert ad meg, szöveges, képi és hangbemenettel. Mindhárom Apache 2.0 licenc alatt jelent meg.

|  | Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B |
|---|---|---|---|
| Fejlesztő | Alibaba (Qwen csapat) | Google DeepMind | Google DeepMind |
| Paraméterek | 1.7B, ebből 1.4B az embeddingeken kívül | 2.3B effektív, embeddingekkel 5.1B | 4.5B effektív, embeddingekkel 8B |
| Rétegek | 28 | 35 | 42 |
| Kontextushossz | 32,768 token | 128K token | 128K token |
| Bemenet | Szöveg | Szöveg, kép, hang | Szöveg, kép, hang |
| Gondolkodási mód | Igen, alapértelmezés szerint bekapcsolva | Igen | Igen |
| Licenc | Apache 2.0 | Apache 2.0 | Apache 2.0 |

1. táblázat. A Qwen Qwen3-1.7B modellkártyáján és a Google Gemma 4 modellkártyáján közzétett specifikációk, ellenőrizve 2026. október 5-én 7 8.



## Hivatkozások

7. Qwen. „Qwen3-1.7B.” Modellkártya és konfiguráció, Hugging Face. Megtekintve: 2026. október 5. [huggingface.co/Qwen/Qwen3-1.7B](https://huggingface.co/Qwen/Qwen3-1.7B)
8. Google DeepMind. „Gemma 4 modellkártya.” Google AI for Developers. Megtekintve: 2026. október 5. [ai.google.dev/gemma/docs/core/model_card_4](https://ai.google.dev/gemma/docs/core/model_card_4)

## Használja ezt az útmutatót az Ailoot segítségével

Kapcsolja össze az AI-modelleket alkalmazásaival, ügynökeivel és automatizálásaival egyetlen Ailoot API-n keresztül. Válassza ki a feladatához illő modellt, és az induláshoz kövesse az [Ailoot dokumentációját](https://ailoot.ai/docs/).

## Ailoot · A vállalat és projektportfóliója

Az Ailoot felhalmozott működési tapasztalatra, széles ügyfélkörre, stabil szolgáltatásra és folyamatos KPI-ellenőrzésre épít.

A vállalat és projektportfóliója: ügyfelek milliói; havi értékesítés milliárdos nagyságrendben.

Az Ailoot ezt a működési tapasztalatot használja az ügyfelek termékeiben, ágenseiben, alkalmazásaiban és automatizálásaiban elérhető AI-funkciók API-hozzáféréséhez.
