Kis nyelvi modellek: magyarázat
MarkdownMitől kicsi egy nyelvi modell, mit jelentenek a paraméterek és az effektív paraméterek, miért férnek el a kis modellek telefonokon, és milyen képességekben maradnak el.
Mi az a kis nyelvi modell?
A kis nyelvi modell (SLM) olyan nyelvi modell, amely elég kompakt ahhoz, hogy hétköznapi hardveren, például telefonon vagy laptopon fusson adatközpont helyett. Nincs elfogadott határérték: a néhány milliárd vagy annál kevesebb paraméterrel rendelkező modelleket általában kicsinek nevezik, egy 2024-es felmérés pedig a 100 millió és 5 milliárd közötti tartományt használja.
A kis és nagy nyelvi modellek ugyanúgy működnek. Mindkettő neurális hálózat, szinte mindig transformer, amelyet a következő szövegtoken előrejelzésére tanítanak; az előtanítás után mindkettőt hozzáigazítják az utasítások követéséhez. A fent említett felmérés pontosan ilyen, csak dekóderes transformereket vizsgál. A különbség a méret. Egy telefonméretű modellnek néhány milliárd paramétere van, míg a legfejlettebb felhőmodellek ennél sokkal nagyobbak, ezért a kis modell kevesebb tudást tárol, és kisebb a következtetési kapacitása (lásd: „Miben maradnak el a kis modellek?”). A kis modellek teszik praktikussá az eszközön futó MI-t.
A méret nem az egyetlen tényező, amely a minőséget befolyásolja. Egy kis modell minősége ezért legalább annyira függ a tanításától, mint a méretétől. Egy nagyobb modelltől desztillációval tanulhat: ilyenkor arra tanítják, hogy a nagyobb modell kimeneteit utánozza. A gondosan kiválasztott adatok is előnyösek: a phi-1, egy 1,3 milliárd paraméteres kódolómodell, amelyet nagyrészt „tankönyvi minőségű” adatokon tanítottak, 50,6%-os pass@1 eredményt ért el a HumanEval programozási benchmarkon.
Mit jelentenek a paraméterek és az „effektív paraméterek”?
A paraméterek azok a számok, amelyeket a modell a tanítás során megtanul; a számuk a modellméret szokásos mérőszáma: a Qwen3 1.7B nevében az „1.7B” körülbelül 1,7 milliárdot jelent. Az „effektív paraméterek” – a Google Gemma 4 E2B és E4B nevében az „E” – azokat a paramétereket számolja, amelyekkel a modell számításokat végez, és nem veszi figyelembe a nagy embeddingtáblákat, amelyeket csak kikeres.
A legtöbb paraméter a transformer figyelmi és előrecsatolt rétegeinek súlymátrixaiban található; minden token áthalad ezeken. Egy különálló blokk, az embedding, a szókészlet minden tokenjét egy vektorhoz rendeli, és egy kis modellben ez a teljes paraméterszám jelentős részét teheti ki. A Qwen3 1.7B embeddingtáblája 151,936 sorból áll (a beállított szókészlet, amely a tokenizer 151,669 bejegyzésénél nagyobb, mert paddinget tartalmaz), és 2,048 dimenziós; ez körülbelül 311 millió embeddingparaméter. Ez összhangban van a modellkártyával, amely összesen 1,7 milliárd paramétert sorol fel, ebből 1,4 milliárd az embeddingeken kívül található 7. A skálázási tanulmányok gyakran csak a nem embeddingparamétereket számolják.
A Gemma 4 E sorozata továbbviszi ezt az elképzelést. A Google modellkártyája szerint „az E2B és E4B nevében az ‘E’ az ‘effective’, vagyis effektív szó rövidítése”: a modellek Per-Layer Embeddings (PLE) megoldást használnak, amely „minden dekóderrétegben minden tokenhez saját kis embeddinget biztosít”. „Ezek az embeddingtáblák nagyok, de csak gyors keresésre szolgálnak, ezért az effektív paraméterszám jóval kisebb a teljesnél” 8. A kártya a Gemma 4 E2B esetében 2,3 milliárd effektív paramétert és embeddingekkel együtt 5,1 milliárdot tüntet fel; az E4B-nél ezek az értékek 4,5 milliárd, illetve 8 milliárd.
Ez a különbség telefonon azért fontos, mert a keresés memóriát igényel, de kevés számítást, a futtatókörnyezet pedig tárolóban hagyhatja a táblákat. Az „effektív” az „aktív” fogalmától is különbözik: a Gemma 4 26B A4B egy mixture-of-experts modell 25,2 milliárd paraméterrel, amelyek közül következtetéskor 3,8 milliárd aktív 8.
Miért férnek el a kis modellek telefonokon?
A modell súlyai hozzávetőleg a paraméterek száma szorozva a paraméterenként tárolt bitek számával, majd osztva nyolccal értendők. 4 biten 1,7 milliárd paraméter körülbelül 0,85 GB-ot igényel, így egy 4 GB RAM-mal rendelkező telefonon marad hely az Androidnak és más alkalmazásoknak.
A paraméterek száma és a pontosság a két meghatározó tényező. Az 1. ábra lépésről lépésre bemutatja a Qwen3 1.7B számítását a 32 bites lebegőpontos formátumtól a 4 bites modellfájlméretig.
- 32 bites lebegőpontos számként tárolva 1,7 milliárd paraméter 6,8 GB-ot foglal.
- 16 biten 3,4 GB-ot foglalnak.
- 8 biten 1,7 GB-ot foglalnak. A súlyonkénti bitszám minden felezése a súlyok memóriaigényét is megfelezi.
- 4 biten körülbelül 0,85 GB-ot foglalnak. Súlyonként fél bájt teszi praktikussá az ekkora modellek használatát egy 4 GB-os telefonon.
- A 4 bites modellfájl nagyobb lehet a nyers súlyoknál. A blokkskálák és más tárolt adatok növelik a méretét.
| Pontosság | Bit paraméterenként | A súlyok hozzávetőleges memóriaigénye |
|---|---|---|
| 32 bites lebegőpontos | 32 | 6,8 GB |
| 16 bites lebegőpontos | 16 | 3,4 GB |
| 8 bites egész | 8 | 1,7 GB |
| 4 bites egész | 4 | 0,85 GB |
Ezért kombinálják a telefonméretű modellek a néhány milliárd paramétert 4 bites vagy vegyes pontosságú súlyokkal; a kvantálás csökkenti a súlyok tárolásához szükséges helyet.
A súlyok nem adják a teljes memóriaigényt. A futó modellnek a kontextusablak hosszával növekvő kulcs-érték gyorsítótárhoz és magához a futtatókörnyezethez is memóriára van szüksége. A sebességre ugyanez a számítás érvényes: minden új tokenhez be kell olvasni a modell súlyait a memóriából, ezért ugyanazon a telefonon a kevesebb és kisebb súly gyorsabb válaszokat jelent.
Miben jók a kis modellek?
A kis modellek jól teljesítenek olyan feladatokban, amelyekhez szükséges információ megtalálható a promptban vagy a közismert tudás része: átírás, összefoglalás, vázlatkészítés, magyarázat és válaszadás megadott szövegrészletek alapján. Mivel az eszközön futnak, hálózati kapcsolat nélkül is válaszolhatnak, és a promptot sem kell szerverre küldeni.
A Google modellkártyája a Gemma 4 családot „következtetésre, agentikus munkafolyamatokra, kódolásra és multimodális megértésre alkalmasnak” nevezi; az E2B és az E4B szöveges, képi és hangbemenetet fogad 8. Ezek a fejlesztők saját leírásai és benchmarkeredményei; egy adott feladat működését egy adott telefonon továbbra is tesztelni kell.
A megfelelő szöveg megadásával pótolható az, amit egy kis modell nem tud. A retrieval-augmented generation a kérdés feltevésekor lekért szövegrészleteket ad hozzá, így a modell emlékezet helyett forrásokból dolgozik. A kis modellek futtatási költsége is kiszámítható: nincs kérdésenkénti szerverdíj, nincs sorban állás, és a letöltés után nincs szükség kapcsolatra.
Miben maradnak el a kis modellek?
A kis modellek kevesebb tudást tárolnak, gyengébbek a hosszú vagy több lépéses következtetésben, és a nagyobb modelleknél rosszabbul kezelik a hosszú kontextusokat. Mint minden nyelvi modell, magabiztosan megfogalmazott téves állításokat is tehetnek.
A minta egyetlen modellen belüli családnál is megfigyelhető. A Google modellkártyája szerint a Gemma 4 E2B 60,0%-ot, az E4B 69,4%-ot ér el az MMLU Pro tudás- és következtetési benchmarkon, szemben a 31 milliárd paraméteres Gemma 4 modell 85,2%-ával. A GPQA Diamondon, amely posztgraduális szintű természettudományos kérdésekből áll, az eredmények 43,4%, 58,6% és 84,3% 8. Ezek a Google saját modelljeire vonatkozó eredményei.
A kis modellek ismételgetésbe is ragadhatnak. A Qwen modellkártyája arra figyelmeztet, hogy a mohó dekódolás „teljesítményromláshoz és végtelen ismétlődéshez vezethet” 7.
Miért másolják le a kis modellek az utasítások formáját?
A kis modellek hajlamosak a prompt formáját is utánozni, nemcsak a tartalmát követni, így egy hosszú, strukturált rendszerprompt minden válaszban hasonló szerkezetet eredményezhet.
Egy modellnek szóló prompt, amely azt kérte, hogy „kezdje a közvetlen válasszal, majd adjon hasznos részleteket”, olyan válaszokat eredményezett, amelyekben vastag címkeként szerepelt a „Közvetlen válasz:” és a „Hasznos részletek:”. Az utasítás tartalmi tanácsnak készült, a modell azonban sablonnak tekintette.
Hogyan működik a gondolkodási mód a kis modellekben?
A gondolkodási mód arra készteti a modellt, hogy a végső válasza előtt leírja a köztes következtetéseket; több időt és tokent használ fel, cserébe gondosabb eredményt adhat több lépéses problémák esetén. A Qwen3 és a Gemma 4 egyaránt ugyanazon modellen belüli kapcsolóként kínálja ezt, nem külön következtető modellként.
Az ötlet a chain-of-thought promptingból ered. Az újabb kis modelleket következtetésre tanítják; a Qwen3 esetében ez részben a nagyobb modellektől való tanulással történik.
A kapcsoló a prompt része. A Qwen3 1.7B alapértelmezés szerint gondolkodik, és a következtetést egy <think>…</think> blokkban írja le; a fejlesztők az enable_thinking beállítással kapcsolhatják ki a gondolkodást, a felhasználók pedig a /think vagy /no_think hozzáadásával üzenetükhöz fordulónként módosíthatják az üzemmódot 7. A Gemma 4 akkor kapcsolja be a gondolkodást, ha a rendszerprompt <|think|> tokennel kezdődik 8.
A gondolkodás időt és kontextuskapacitást igényel, mert a következtetési tokenek a modell kimenetének részét képezik, és ugyanazt az ablakot használják. Ha a modell úgy van beállítva, hogy felfedje a következtetést, az a válasz előtt jelenik meg; a viselkedés azonban a modelltől és az alkalmazástól függ.
Miben különbözik a Qwen3 1.7B, a Gemma 4 E2B és a Gemma 4 E4B?
A három modell méretben, bemenetekben és kontextushosszban különbözik. A Qwen3 1.7B 1,7 milliárd paraméteres, és csak szöveget fogad; a Google a Gemma 4 E2B és E4B esetében 2,3, illetve 4,5 milliárd effektív paramétert ad meg, szöveges, képi és hangbemenettel. Mindhárom Apache 2.0 licenc alatt jelent meg.
| Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B | |
|---|---|---|---|
| Fejlesztő | Alibaba (Qwen csapat) | Google DeepMind | Google DeepMind |
| Paraméterek | 1.7B, ebből 1.4B az embeddingeken kívül | 2.3B effektív, embeddingekkel 5.1B | 4.5B effektív, embeddingekkel 8B |
| Rétegek | 28 | 35 | 42 |
| Kontextushossz | 32,768 token | 128K token | 128K token |
| Bemenet | Szöveg | Szöveg, kép, hang | Szöveg, kép, hang |
| Gondolkodási mód | Igen, alapértelmezés szerint bekapcsolva | Igen | Igen |
| Licenc | Apache 2.0 | Apache 2.0 | Apache 2.0 |
- táblázat. A Qwen Qwen3-1.7B modellkártyáján és a Google Gemma 4 modellkártyáján közzétett specifikációk, ellenőrizve 2026. október 5-én 7 8.
Hivatkozások
- Qwen. „Qwen3-1.7B.” Modellkártya és konfiguráció, Hugging Face. Megtekintve: 2026. október 5. huggingface.co/Qwen/Qwen3-1.7B
- Google DeepMind. „Gemma 4 modellkártya.” Google AI for Developers. Megtekintve: 2026. október 5. ai.google.dev/gemma/docs/core/model_card_4
Használja ezt az útmutatót az Ailoot segítségével
Kapcsolja össze az AI-modelleket alkalmazásaival, ügynökeivel és automatizálásaival egyetlen Ailoot API-n keresztül. Válassza ki a feladatához illő modellt, és az induláshoz kövesse az Ailoot dokumentációját.