Blog

Kis nyelvi modellek: magyarázat

Markdown

Mitől kicsi egy nyelvi modell, mit jelentenek a paraméterek és az effektív paraméterek, miért férnek el a kis modellek telefonokon, és milyen képességekben maradnak el.

Mi az a kis nyelvi modell?

A kis nyelvi modell (SLM) olyan nyelvi modell, amely elég kompakt ahhoz, hogy hétköznapi hardveren, például telefonon vagy laptopon fusson adatközpont helyett. Nincs elfogadott határérték: a néhány milliárd vagy annál kevesebb paraméterrel rendelkező modelleket általában kicsinek nevezik, egy 2024-es felmérés pedig a 100 millió és 5 milliárd közötti tartományt használja.

A kis és nagy nyelvi modellek ugyanúgy működnek. Mindkettő neurális hálózat, szinte mindig transformer, amelyet a következő szövegtoken előrejelzésére tanítanak; az előtanítás után mindkettőt hozzáigazítják az utasítások követéséhez. A fent említett felmérés pontosan ilyen, csak dekóderes transformereket vizsgál. A különbség a méret. Egy telefonméretű modellnek néhány milliárd paramétere van, míg a legfejlettebb felhőmodellek ennél sokkal nagyobbak, ezért a kis modell kevesebb tudást tárol, és kisebb a következtetési kapacitása (lásd: „Miben maradnak el a kis modellek?”). A kis modellek teszik praktikussá az eszközön futó MI-t.

A méret nem az egyetlen tényező, amely a minőséget befolyásolja. Egy kis modell minősége ezért legalább annyira függ a tanításától, mint a méretétől. Egy nagyobb modelltől desztillációval tanulhat: ilyenkor arra tanítják, hogy a nagyobb modell kimeneteit utánozza. A gondosan kiválasztott adatok is előnyösek: a phi-1, egy 1,3 milliárd paraméteres kódolómodell, amelyet nagyrészt „tankönyvi minőségű” adatokon tanítottak, 50,6%-os pass@1 eredményt ért el a HumanEval programozási benchmarkon.

Mit jelentenek a paraméterek és az „effektív paraméterek”?

A paraméterek azok a számok, amelyeket a modell a tanítás során megtanul; a számuk a modellméret szokásos mérőszáma: a Qwen3 1.7B nevében az „1.7B” körülbelül 1,7 milliárdot jelent. Az „effektív paraméterek” – a Google Gemma 4 E2B és E4B nevében az „E” – azokat a paramétereket számolja, amelyekkel a modell számításokat végez, és nem veszi figyelembe a nagy embeddingtáblákat, amelyeket csak kikeres.

A legtöbb paraméter a transformer figyelmi és előrecsatolt rétegeinek súlymátrixaiban található; minden token áthalad ezeken. Egy különálló blokk, az embedding, a szókészlet minden tokenjét egy vektorhoz rendeli, és egy kis modellben ez a teljes paraméterszám jelentős részét teheti ki. A Qwen3 1.7B embeddingtáblája 151,936 sorból áll (a beállított szókészlet, amely a tokenizer 151,669 bejegyzésénél nagyobb, mert paddinget tartalmaz), és 2,048 dimenziós; ez körülbelül 311 millió embeddingparaméter. Ez összhangban van a modellkártyával, amely összesen 1,7 milliárd paramétert sorol fel, ebből 1,4 milliárd az embeddingeken kívül található 7. A skálázási tanulmányok gyakran csak a nem embeddingparamétereket számolják.

A Gemma 4 E sorozata továbbviszi ezt az elképzelést. A Google modellkártyája szerint „az E2B és E4B nevében az ‘E’ az ‘effective’, vagyis effektív szó rövidítése”: a modellek Per-Layer Embeddings (PLE) megoldást használnak, amely „minden dekóderrétegben minden tokenhez saját kis embeddinget biztosít”. „Ezek az embeddingtáblák nagyok, de csak gyors keresésre szolgálnak, ezért az effektív paraméterszám jóval kisebb a teljesnél” 8. A kártya a Gemma 4 E2B esetében 2,3 milliárd effektív paramétert és embeddingekkel együtt 5,1 milliárdot tüntet fel; az E4B-nél ezek az értékek 4,5 milliárd, illetve 8 milliárd.

Ez a különbség telefonon azért fontos, mert a keresés memóriát igényel, de kevés számítást, a futtatókörnyezet pedig tárolóban hagyhatja a táblákat. Az „effektív” az „aktív” fogalmától is különbözik: a Gemma 4 26B A4B egy mixture-of-experts modell 25,2 milliárd paraméterrel, amelyek közül következtetéskor 3,8 milliárd aktív 8.

Miért férnek el a kis modellek telefonokon?

A modell súlyai hozzávetőleg a paraméterek száma szorozva a paraméterenként tárolt bitek számával, majd osztva nyolccal értendők. 4 biten 1,7 milliárd paraméter körülbelül 0,85 GB-ot igényel, így egy 4 GB RAM-mal rendelkező telefonon marad hely az Androidnak és más alkalmazásoknak.

A paraméterek száma és a pontosság a két meghatározó tényező. Az 1. ábra lépésről lépésre bemutatja a Qwen3 1.7B számítását a 32 bites lebegőpontos formátumtól a 4 bites modellfájlméretig.

  1. 32 bites lebegőpontos számként tárolva 1,7 milliárd paraméter 6,8 GB-ot foglal.
  2. 16 biten 3,4 GB-ot foglalnak.
  3. 8 biten 1,7 GB-ot foglalnak. A súlyonkénti bitszám minden felezése a súlyok memóriaigényét is megfelezi.
  4. 4 biten körülbelül 0,85 GB-ot foglalnak. Súlyonként fél bájt teszi praktikussá az ekkora modellek használatát egy 4 GB-os telefonon.
  5. A 4 bites modellfájl nagyobb lehet a nyers súlyoknál. A blokkskálák és más tárolt adatok növelik a méretét.
1. ábra. A Qwen3 1.7B súlyainak tárolásához szükséges memória decimális gigabájtban. A kék oszlopok számítása: paraméterszám × bitszám ÷ 8, 1,7 milliárd paraméterrel; csak a súlyokat veszik figyelembe. A futó modellnek a kulcs-érték gyorsítótárhoz és a futtatókörnyezethez is memóriára van szüksége. A narancssárga oszlop a letöltött modellfájl.
PontosságBit paraméterenkéntA súlyok hozzávetőleges memóriaigénye
32 bites lebegőpontos326,8 GB
16 bites lebegőpontos163,4 GB
8 bites egész81,7 GB
4 bites egész40,85 GB

Ezért kombinálják a telefonméretű modellek a néhány milliárd paramétert 4 bites vagy vegyes pontosságú súlyokkal; a kvantálás csökkenti a súlyok tárolásához szükséges helyet.

A súlyok nem adják a teljes memóriaigényt. A futó modellnek a kontextusablak hosszával növekvő kulcs-érték gyorsítótárhoz és magához a futtatókörnyezethez is memóriára van szüksége. A sebességre ugyanez a számítás érvényes: minden új tokenhez be kell olvasni a modell súlyait a memóriából, ezért ugyanazon a telefonon a kevesebb és kisebb súly gyorsabb válaszokat jelent.

Miben jók a kis modellek?

A kis modellek jól teljesítenek olyan feladatokban, amelyekhez szükséges információ megtalálható a promptban vagy a közismert tudás része: átírás, összefoglalás, vázlatkészítés, magyarázat és válaszadás megadott szövegrészletek alapján. Mivel az eszközön futnak, hálózati kapcsolat nélkül is válaszolhatnak, és a promptot sem kell szerverre küldeni.

A Google modellkártyája a Gemma 4 családot „következtetésre, agentikus munkafolyamatokra, kódolásra és multimodális megértésre alkalmasnak” nevezi; az E2B és az E4B szöveges, képi és hangbemenetet fogad 8. Ezek a fejlesztők saját leírásai és benchmarkeredményei; egy adott feladat működését egy adott telefonon továbbra is tesztelni kell.

A megfelelő szöveg megadásával pótolható az, amit egy kis modell nem tud. A retrieval-augmented generation a kérdés feltevésekor lekért szövegrészleteket ad hozzá, így a modell emlékezet helyett forrásokból dolgozik. A kis modellek futtatási költsége is kiszámítható: nincs kérdésenkénti szerverdíj, nincs sorban állás, és a letöltés után nincs szükség kapcsolatra.

Miben maradnak el a kis modellek?

A kis modellek kevesebb tudást tárolnak, gyengébbek a hosszú vagy több lépéses következtetésben, és a nagyobb modelleknél rosszabbul kezelik a hosszú kontextusokat. Mint minden nyelvi modell, magabiztosan megfogalmazott téves állításokat is tehetnek.

A minta egyetlen modellen belüli családnál is megfigyelhető. A Google modellkártyája szerint a Gemma 4 E2B 60,0%-ot, az E4B 69,4%-ot ér el az MMLU Pro tudás- és következtetési benchmarkon, szemben a 31 milliárd paraméteres Gemma 4 modell 85,2%-ával. A GPQA Diamondon, amely posztgraduális szintű természettudományos kérdésekből áll, az eredmények 43,4%, 58,6% és 84,3% 8. Ezek a Google saját modelljeire vonatkozó eredményei.

A kis modellek ismételgetésbe is ragadhatnak. A Qwen modellkártyája arra figyelmeztet, hogy a mohó dekódolás „teljesítményromláshoz és végtelen ismétlődéshez vezethet” 7.

Miért másolják le a kis modellek az utasítások formáját?

A kis modellek hajlamosak a prompt formáját is utánozni, nemcsak a tartalmát követni, így egy hosszú, strukturált rendszerprompt minden válaszban hasonló szerkezetet eredményezhet.

Egy modellnek szóló prompt, amely azt kérte, hogy „kezdje a közvetlen válasszal, majd adjon hasznos részleteket”, olyan válaszokat eredményezett, amelyekben vastag címkeként szerepelt a „Közvetlen válasz:” és a „Hasznos részletek:”. Az utasítás tartalmi tanácsnak készült, a modell azonban sablonnak tekintette.

Hogyan működik a gondolkodási mód a kis modellekben?

A gondolkodási mód arra készteti a modellt, hogy a végső válasza előtt leírja a köztes következtetéseket; több időt és tokent használ fel, cserébe gondosabb eredményt adhat több lépéses problémák esetén. A Qwen3 és a Gemma 4 egyaránt ugyanazon modellen belüli kapcsolóként kínálja ezt, nem külön következtető modellként.

Az ötlet a chain-of-thought promptingból ered. Az újabb kis modelleket következtetésre tanítják; a Qwen3 esetében ez részben a nagyobb modellektől való tanulással történik.

A kapcsoló a prompt része. A Qwen3 1.7B alapértelmezés szerint gondolkodik, és a következtetést egy <think>…</think> blokkban írja le; a fejlesztők az enable_thinking beállítással kapcsolhatják ki a gondolkodást, a felhasználók pedig a /think vagy /no_think hozzáadásával üzenetükhöz fordulónként módosíthatják az üzemmódot 7. A Gemma 4 akkor kapcsolja be a gondolkodást, ha a rendszerprompt <|think|> tokennel kezdődik 8.

A gondolkodás időt és kontextuskapacitást igényel, mert a következtetési tokenek a modell kimenetének részét képezik, és ugyanazt az ablakot használják. Ha a modell úgy van beállítva, hogy felfedje a következtetést, az a válasz előtt jelenik meg; a viselkedés azonban a modelltől és az alkalmazástól függ.

Miben különbözik a Qwen3 1.7B, a Gemma 4 E2B és a Gemma 4 E4B?

A három modell méretben, bemenetekben és kontextushosszban különbözik. A Qwen3 1.7B 1,7 milliárd paraméteres, és csak szöveget fogad; a Google a Gemma 4 E2B és E4B esetében 2,3, illetve 4,5 milliárd effektív paramétert ad meg, szöveges, képi és hangbemenettel. Mindhárom Apache 2.0 licenc alatt jelent meg.

Qwen3 1.7BGemma 4 E2BGemma 4 E4B
FejlesztőAlibaba (Qwen csapat)Google DeepMindGoogle DeepMind
Paraméterek1.7B, ebből 1.4B az embeddingeken kívül2.3B effektív, embeddingekkel 5.1B4.5B effektív, embeddingekkel 8B
Rétegek283542
Kontextushossz32,768 token128K token128K token
BemenetSzövegSzöveg, kép, hangSzöveg, kép, hang
Gondolkodási módIgen, alapértelmezés szerint bekapcsolvaIgenIgen
LicencApache 2.0Apache 2.0Apache 2.0
  1. táblázat. A Qwen Qwen3-1.7B modellkártyáján és a Google Gemma 4 modellkártyáján közzétett specifikációk, ellenőrizve 2026. október 5-én 7 8.

Hivatkozások

  1. Qwen. „Qwen3-1.7B.” Modellkártya és konfiguráció, Hugging Face. Megtekintve: 2026. október 5. huggingface.co/Qwen/Qwen3-1.7B
  2. Google DeepMind. „Gemma 4 modellkártya.” Google AI for Developers. Megtekintve: 2026. október 5. ai.google.dev/gemma/docs/core/model_card_4

Használja ezt az útmutatót az Ailoot segítségével

Kapcsolja össze az AI-modelleket alkalmazásaival, ügynökeivel és automatizálásaival egyetlen Ailoot API-n keresztül. Válassza ki a feladatához illő modellt, és az induláshoz kövesse az Ailoot dokumentációját.