Blog

Malé jazykové modely, vysvetlené

Markdown

Čo robí jazykový model malým, čo znamenajú parametre a efektívne parametre, prečo sa malé modely zmestia do telefónov a čo strácajú na schopnostiach.

Čo je malý jazykový model?

Malý jazykový model (SLM) je dostatočne kompaktný na to, aby fungoval na bežnom hardvéri, napríklad na telefóne alebo notebooku, a nie v dátovom centre. Neexistuje dohodnutá hranica: modely s niekoľkými miliardami parametrov alebo menej sa zvyčajne označujú za malé a jeden prieskum z roku 2024 používa rozsah od 100 miliónov do 5 miliárd.

Malé a veľké jazykové modely fungujú rovnako. Obe sú neurónové siete, takmer vždy transformery, trénované na predpovedanie nasledujúceho tokenu textu, a po predtrénovaní sa obe prispôsobujú na dodržiavanie pokynov; vyššie uvedený prieskum sa venuje výhradne decoder-only transformerom tohto typu. Rozdiel je v mierke. Model vhodný do telefónu má niekoľko miliárd parametrov, zatiaľ čo špičkové cloudové modely sú oveľa väčšie, takže malý model obsahuje menej znalostí a má menšiu kapacitu na uvažovanie (pozrite si „V čom malé modely zaostávajú?“). Malé modely umožňujú praktické používanie AI priamo v zariadení.

Veľkosť nie je jediným faktorom ovplyvňujúcim kvalitu. Kvalita malého modelu preto závisí od jeho tréningu rovnako ako od jeho veľkosti. Môže sa učiť od väčšieho modelu pomocou destilácie, pri ktorej sa trénuje tak, aby sa jeho výstupy zhodovali s výstupmi väčšieho modelu, a prospievajú mu aj starostlivo vybrané dáta: phi-1, kódovací model s 1,3 miliardy parametrov trénovaný prevažne na dátach „učebnicovej kvality“, dosiahol 50,6 % pass@1 v benchmarku kódovania HumanEval.

Čo znamenajú parametre a „efektívne parametre“?

Parametre sú čísla, ktoré sa model naučí počas tréningu, a ich počet je bežnou mierou jeho veľkosti: „1.7B“ v názve Qwen3 1.7B znamená približne 1,7 miliardy. „Efektívne parametre“, teda „E“ v názvoch modelov Google Gemma 4 E2B a E4B, označujú parametre, s ktorými model počíta, a nezahŕňajú veľké tabuľky embeddingov, do ktorých iba nahliada.

Väčšina parametrov sa nachádza v maticiach váh attention a feed-forward vrstiev transformera, ktorými prechádza každý token. Samostatnú časť tvoria embeddingy, ktoré mapujú každý token slovníka na vektor; v malom modeli môžu predstavovať veľký podiel celkového počtu parametrov. Tabuľka embeddingov modelu Qwen3 1.7B má 151,936 riadkov (jeho nakonfigurovaný slovník doplnený nad rámec 151,669 položiek tokenizéra) s 2,048 dimenziami, čo predstavuje približne 311 miliónov parametrov embeddingov. Zodpovedá to karte modelu, ktorá uvádza celkovo 1,7 miliardy parametrov, z toho 1,4 miliardy mimo embeddingov 7. Štúdie škálovania často počítajú iba parametre mimo embeddingov.

Séria E modelu Gemma 4 túto myšlienku posúva ďalej. Karta modelu Google vysvetľuje, že „písmeno ‚E‘ v názvoch E2B a E4B znamená ‚efektívne‘ parametre“: modely používajú embeddingy po vrstvách (PLE), ktoré „každej dekóderovej vrstve poskytujú vlastný malý embedding pre každý token“, a „Tieto tabuľky embeddingov sú veľké, ale používajú sa iba na rýchle vyhľadávanie, preto je počet efektívnych parametrov oveľa nižší než celkový počet“ 8. Karta uvádza pri modeli Gemma 4 E2B 2,3 miliardy efektívnych parametrov a 5,1 miliardy vrátane embeddingov; pri modeli E4B uvádza 4,5 miliardy efektívnych parametrov a 8 miliárd vrátane embeddingov.

Toto rozlíšenie je v telefóne dôležité, pretože vyhľadávanie potrebuje pamäť, ale len malý výpočtový výkon, a runtime môže ponechať tabuľky v úložisku. „Efektívne“ parametre sa líšia aj od „aktívnych“ parametrov: Gemma 4 26B A4B je model typu mixture-of-experts s 25,2 miliardy parametrov, z ktorých je počas inferencie aktívnych 3,8 miliardy 8.

Prečo sa malé modely zmestia do telefónov?

Váhy modelu potrebujú približne toľko pamäte, koľko predstavuje počet parametrov vynásobený počtom bitov uložených na parameter a vydelený ôsmimi. Pri 4 bitoch potrebuje 1,7 miliardy parametrov približne 0,85 GB, takže v telefóne so 4 GB RAM zostáva priestor pre Android a ďalšie aplikácie.

Počet parametrov a presnosť sú dva hlavné faktory. Obrázok 1 ukazuje výpočet pre Qwen3 1.7B, od 32-bitového čísla s pohyblivou rádovou čiarkou až po 4-bitový súbor modelu.

  1. Pri uložení ako 32-bitové čísla s pohyblivou rádovou čiarkou zaberá 1,7 miliardy parametrov 6,8 GB.
  2. Pri 16 bitoch zaberajú 3,4 GB.
  3. Pri 8 bitoch zaberajú 1,7 GB. Každé zníženie počtu bitov na váhu na polovicu zníži na polovicu aj pamäť potrebnú pre váhy.
  4. Pri 4 bitoch je to približne 0,85 GB. Pol bajtu na jednu váhu umožňuje praktické používanie modelu tejto veľkosti v telefóne so 4 GB.
  5. 4-bitový súbor modelu môže byť väčší než surové váhy. Jeho veľkosť zvyšujú mierky blokov a ďalšie uložené údaje.
Obrázok 1. Pamäť potrebná na uloženie váh modelu Qwen3 1.7B v desiatkových gigabajtoch. Modré stĺpce sú vypočítané ako počet parametrov × počet bitov ÷ 8 pre 1,7 miliardy parametrov a zahŕňajú iba váhy; spustený model potrebuje pamäť aj na vyrovnávaciu pamäť kľúč-hodnota a runtime. Oranžový stĺpec predstavuje stiahnutý súbor modelu.
PresnosťBitov na parameterPribližná pamäť pre váhy
32-bitové číslo s pohyblivou rádovou čiarkou326,8 GB
16-bitové číslo s pohyblivou rádovou čiarkou163,4 GB
8-bitové celé číslo81,7 GB
4-bitové celé číslo40,85 GB

Modely vhodné do telefónov preto kombinujú niekoľko miliárd parametrov so 4-bitovými váhami alebo váhami so zmiešanou presnosťou; kvantizácia znižuje úložný priestor potrebný na váhy.

Váhy nie sú celou pamäťovou stopou. Spustený model potrebuje pamäť aj na vyrovnávaciu pamäť kľúč-hodnota, ktorá rastie s dĺžkou kontextového okna, a na samotný runtime. Rovnaký výpočet platí aj pre rýchlosť: každý nový token vyžaduje načítanie váh modelu z pamäte, takže menší počet a veľkosť váh znamenajú rýchlejšie odpovede na tom istom telefóne.

Čo malé modely zvládajú dobre?

Malé modely sú dobré v úlohách, pri ktorých potrebné informácie obsahuje prompt alebo patria k všeobecným znalostiam: preformulovanie, sumarizácia, príprava návrhov, vysvetľovanie a odpovedanie na základe poskytnutých úryvkov. Keďže fungujú priamo v zariadení, môžu odpovedať aj bez sieťového pripojenia a bez odoslania promptu na server.

Karta modelu Google označuje rodinu Gemma 4 za „vhodnú na uvažovanie, agentické pracovné postupy, programovanie a multimodálne porozumenie“, pričom modely E2B a E4B prijímajú textový, obrazový aj zvukový vstup 8. Ide o opisy a benchmarky samotných tvorcov; to, ako dobre konkrétna úloha funguje na konkrétnom telefóne, treba ešte otestovať.

Poskytnutie správneho textu pomáha doplniť to, čo malý model nepozná. Generovanie s podporou vyhľadávania pridáva úryvky získané pri položení otázky, takže model pracuje so zdrojmi namiesto spoliehania sa na pamäť. Malé modely sa dajú spúšťať aj predvídateľne: nevznikajú náklady na server za každú otázku, neexistuje čakacia fronta a po stiahnutí nie sú závislé od pripojenia.

V čom malé modely zaostávajú?

Malé modely obsahujú menej znalostí, horšie zvládajú dlhé alebo viacstupňové uvažovanie a dlhé kontexty než väčšie modely. A rovnako ako všetky jazykové modely dokážu plynulo tvrdiť nepravdivé veci.

Tento vzorec vidno aj v rámci jednej rodiny. Podľa karty modelu Google dosahuje Gemma 4 E2B v benchmarku znalostí a uvažovania MMLU Pro skóre 60,0 % a E4B 69,4 %, kým 31-miliardový model Gemma 4 dosahuje 85,2 %; v teste GPQA Diamond, ktorý obsahuje vedecké otázky na úrovni postgraduálneho štúdia, sú skóre 43,4 %, 58,6 % a 84,3 % 8. Ide o výsledky Google pre jeho modely.

Malé modely sa môžu zaseknúť aj v opakovaní. Karta modelu Qwen upozorňuje, že greedy decoding „môže viesť k zhoršeniu výkonu a nekonečnému opakovaniu“ 7.

Prečo malé modely kopírujú formu svojich pokynov?

Malé modely majú tendenciu napodobňovať formu promptu popri dodržiavaní jeho obsahu, takže dlhý, štruktúrovaný systémový prompt sa môže premietnuť do štruktúry každej odpovede.

Prompt, ktorý modelu prikazoval „začať priamou odpoveďou a potom pridať užitočné podrobnosti“, viedol k odpovediam s tučnými označeniami „Priama odpoveď:“ a „Užitočné podrobnosti:“. Pokyn mal slúžiť ako rada o obsahu; model ho považoval za šablónu.

Ako fungujú režimy uvažovania v malých modeloch?

Režim uvažovania prinúti model vypísať medzikroky uvažovania ešte pred konečnou odpoveďou, čím pri viacstupňových problémoch venuje viac času a tokenov dôkladnejším výsledkom. Qwen3 aj Gemma 4 ponúkajú túto funkciu ako prepínač v rámci jedného modelu, nie ako samostatný model na uvažovanie.

Táto myšlienka vychádza z prompting-u s reťazcom myšlienok. Novšie malé modely sa trénujú na uvažovanie; v prípade Qwen3 sa sčasti učia od jeho väčších modelov.

Prepínač je súčasťou promptu. Qwen3 1.7B uvažuje predvolene a svoj postup zapisuje do bloku <think>…</think>; vývojári vypínajú uvažovanie nastavením enable_thinking a používatelia môžu do správy pridať /think alebo /no_think a meniť tak režim medzi jednotlivými ťahmi 7. Gemma 4 zapína uvažovanie, keď sa jej systémový prompt začína tokenom <|think|> 8.

Uvažovanie stojí čas a kontext, pretože tokeny uvažovania sú súčasťou výstupu modelu a zdieľajú s ním jeho okno. Keď je model nastavený tak, aby ho zobrazoval, uvažovanie sa objaví pred odpoveďou, no správanie závisí od modelu a aplikácie.

Ako sa líšia Qwen3 1.7B, Gemma 4 E2B a Gemma 4 E4B?

Tieto tri modely sa líšia veľkosťou, vstupmi a dĺžkou kontextu. Qwen3 1.7B má 1,7 miliardy parametrov a prijíma iba text; Google uvádza, že Gemma 4 E2B a E4B majú 2,3 a 4,5 miliardy efektívnych parametrov a prijímajú textový, obrazový aj zvukový vstup. Všetky tri modely sú vydané pod licenciou Apache 2.0.

Qwen3 1.7BGemma 4 E2BGemma 4 E4B
VývojárAlibaba (tím Qwen)Google DeepMindGoogle DeepMind
Parametre1.7B, z toho 1.4B mimo embeddingov2.3B efektívnych, 5.1B vrátane embeddingov4.5B efektívnych, 8B vrátane embeddingov
Vrstvy283542
Dĺžka kontextu32,768 tokenov128K tokenov128K tokenov
VstupTextText, obraz, zvukText, obraz, zvuk
Režim uvažovaniaÁno, predvolene zapnutýÁnoÁno
LicenciaApache 2.0Apache 2.0Apache 2.0

Tabuľka 1. Špecifikácie zverejnené na kartách modelov Qwen3-1.7B od Qwen a Gemma 4 od Google, skontrolované 5. októbra 2026 7 8.

Zdroje

  1. Qwen. „Qwen3-1.7B.“ Karta modelu a konfigurácia, Hugging Face. Prístup 5. októbra 2026. huggingface.co/Qwen/Qwen3-1.7B
  2. Google DeepMind. „Karta modelu Gemma 4.“ Google AI for Developers. Prístup 5. októbra 2026. ai.google.dev/gemma/docs/core/model_card_4

Využite túto príručku s Ailootom

Prepojte modely AI so svojimi aplikáciami, agentmi a automatizáciami prostredníctvom jediného rozhrania Ailoot API. Vyberte model vhodný pre svoju úlohu a začnite podľa dokumentácie Ailoot.