# Malé jazykové modely: vysvětlení

> Co dělá jazykový model malým, co znamenají parametry a efektivní parametry, proč se malé modely vejdou do telefonů a jaké schopnosti obětují.

Source: https://ailoot.ai/blog/cs/small-language-models-explained/
Canonical: https://ailoot.ai/blog/cs/small-language-models-explained/
Language: cs
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100072
Revision: sha256-3b7e4ff3969e1937c96da35312a0aec8dcca628f8ce05fe76e1a4539b9d31fe0


## Co je malý jazykový model?

Malý jazykový model (SLM) je jazykový model natolik kompaktní, aby mohl běžet na běžném hardwaru, například na telefonu nebo notebooku, místo v datovém centru. Neexistuje žádná dohodnutá hranice: za malé se obvykle označují modely s několika miliardami parametrů nebo méně a jeden přehled z roku 2024 používá rozsah od 100 milionů do 5 miliard.

Malé i velké jazykové modely fungují stejně. Oba jsou neuronové sítě, téměř vždy transformery, trénované k předpovídání dalšího tokenu textu, a po předtrénování jsou oba upraveny tak, aby se řídily pokyny; výše zmíněný přehled se zabývá právě transformery pouze s dekodérem. Rozdíl je v měřítku. Model velikosti vhodné pro telefon má několik miliard parametrů, zatímco špičkové cloudové modely jsou mnohem větší, takže malý model obsahuje méně znalostí a má menší schopnost uvažovat (viz „V čem malé modely zaostávají?“). Právě malé modely umožňují praktické využití AI přímo v zařízení.

Velikost není jedinou pákou ovlivňující kvalitu. Kvalita malého modelu proto závisí stejně tak na jeho trénování jako na jeho velikosti. Může se učit od většího modelu pomocí destilace, při níž se trénuje tak, aby napodoboval výstupy většího modelu, a těží z pečlivě vybraných dat: phi-1, kódovací model s 1,3 miliardy parametrů trénovaný převážně na datech „učebnicové kvality“, dosáhl 50,6 % pass@1 v programovacím benchmarku HumanEval.

## Co znamenají „parametry“ a „efektivní parametry“?

Parametry jsou čísla, která se model učí během trénování, a jejich počet je obvyklým měřítkem jeho velikosti: „1.7B“ v názvu Qwen3 1.7B znamená přibližně 1,7 miliardy. „Efektivní parametry“, tedy „E“ v názvech Gemma 4 E2B a E4B od Googlu, označují parametry, s nimiž model počítá, a nezahrnují velké tabulky embeddingů, z nichž pouze vyhledává hodnoty.

Většina parametrů se nachází v maticích vah vrstev pozornosti a dopředného zpracování transformeru, kterými prochází každý token. Samostatný blok, embeddingy, mapuje každý token ve slovníku na vektor a u malého modelu může tvořit velký podíl celku. Tabulka embeddingů modelu Qwen3 1.7B má 151 936 řádků (konfigurovaný slovník rozšířený nad 151 669 položek tokenizeru) o 2 048 dimenzích, tedy přibližně 311 milionů parametrů embeddingů. To odpovídá kartě modelu, která uvádí celkem 1,7 miliardy parametrů, z toho 1,4 miliardy mimo embeddingy 7. Studie škálování často počítají pouze parametry mimo embeddingy.

Řada E modelu Gemma 4 tuto myšlenku rozvíjí. Karta modelu od Googlu vysvětluje: „Písmeno ‚E‘ v E2B a E4B znamená ‚efektivní‘ parametry“: modely používají embeddingy pro jednotlivé vrstvy (PLE), které „každé vrstvě dekodéru poskytují vlastní malý embedding pro každý token“, a „tyto tabulky embeddingů jsou velké, ale používají se pouze k rychlému vyhledávání, proto je počet efektivních parametrů mnohem menší než celkový počet“ 8. Karta uvádí pro Gemma 4 E2B 2,3 miliardy efektivních parametrů a 5,1 miliardy včetně embeddingů, u E4B pak 4,5 miliardy efektivních parametrů a 8 miliard včetně embeddingů.

Toto rozlišení je v telefonu důležité, protože vyhledávání vyžaduje paměť, ale jen málo výpočtů, a běhové prostředí může tabulky ponechat v úložišti. „Efektivní“ se navíc liší od „aktivních“ parametrů: Gemma 4 26B A4B je model typu mixture-of-experts s 25,2 miliardy parametrů, z nichž je 3,8 miliardy aktivních během inference 8.

## Proč se malé modely vejdou do telefonů?

Váhy modelu zabírají přibližně tolik, kolik činí počet jeho parametrů vynásobený počtem bitů uložených na parametr a dělený osmi. Při 4 bitech potřebuje 1,7 miliardy parametrů přibližně 0,85 GB, takže v telefonu se 4 GB RAM zbývá místo pro Android a další aplikace.

Počet parametrů a přesnost jsou dvě rozhodující páky. Obrázek 1 ukazuje výpočet pro Qwen3 1.7B, od 32bitových čísel s plovoucí řádovou čárkou až po 4bitový soubor modelu.

<figure id="la-fit">
<ol>
<li><strong>Uložení 1,7 miliardy parametrů jako 32bitových čísel s plovoucí řádovou čárkou zabere 6,8 GB.</strong></li>
<li><strong>Při 16 bitech zaberou 3,4 GB.</strong></li>
<li><strong>Při 8 bitech zaberou 1,7 GB.</strong> Každé snížení počtu bitů na jednu váhu na polovinu sníží o polovinu i potřebnou paměť.</li>
<li><strong>Při 4 bitech je to přibližně 0,85 GB.</strong> Půl bajtu na jednu váhu umožňuje praktické použití modelu této velikosti v telefonu se 4 GB paměti.</li>
<li><strong>4bitový soubor modelu může být větší než surové váhy.</strong> Jeho velikost zvětšují škály bloků a další uložená data.</li>
</ol>
<figcaption>Obrázek 1. Paměť potřebná k uložení vah modelu Qwen3 1.7B v desítkových gigabajtech. Modré sloupce jsou vypočteny jako počet parametrů × počet bitů ÷ 8 pro 1,7 miliardy parametrů a zahrnují pouze váhy; spuštěný model potřebuje také paměť pro svou mezipaměť klíč–hodnota a běhové prostředí. Oranžový sloupec představuje stažený soubor modelu.</figcaption>
</figure>

| Přesnost | Počet bitů na parametr | Přibližná paměť pro váhy |
|---|---:|---:|
| 32bitové číslo s plovoucí řádovou čárkou | 32 | 6,8 GB |
| 16bitové číslo s plovoucí řádovou čárkou | 16 | 3,4 GB |
| 8bitové celé číslo | 8 | 1,7 GB |
| 4bitové celé číslo | 4 | 0,85 GB |

Modely velikosti vhodné pro telefon proto kombinují několik miliard parametrů se 4bitovými vahami nebo vahami se smíšenou přesností; kvantizace snižuje množství úložného prostoru potřebného pro váhy.

Váhy nepředstavují celou paměťovou náročnost. Spuštěný model potřebuje také paměť pro mezipaměť klíč–hodnota, která roste s délkou kontextového okna, a pro samotné běhové prostředí. Stejně funguje i rychlost: každý nový token vyžaduje načtení vah modelu z paměti, takže menší počet menších vah znamená na stejném telefonu rychlejší odpovědi.

## V čem jsou malé modely dobré?

Malým modelům se daří u úloh, pro které se potřebné informace nacházejí v zadání nebo patří k obecným znalostem: při přeformulování, shrnování, přípravě návrhů, vysvětlování a odpovídání na základě dodaných pasáží. Protože běží přímo v zařízení, mohou odpovídat také bez připojení k síti a bez odesílání zadání na server.

Karta modelu od Googlu označuje rodinu Gemma 4 za „vhodnou pro uvažování, agentní pracovní postupy, programování a multimodální porozumění“; modely E2B a E4B přijímají text, obrázky a zvuk 8. Jde o vlastní popisy a benchmarky vývojářů; to, jak dobře konkrétní úloha funguje na konkrétním telefonu, je stále třeba ověřit.

Dodání správného textu pomáhá s tím, co malý model nezná. Generování rozšířené vyhledáváním přidává pasáže načtené při pokládání otázky, takže model pracuje se zdroji místo s pamětí. Malé modely se také snadno předvídatelně provozují: za každou otázku nevznikají náklady na server, není třeba čekat ve frontě a po stažení modelu není nutné připojení.

## V čem malé modely zaostávají?

Malé modely obsahují méně znalostí, hůře si poradí s dlouhým nebo vícekrokovým uvažováním a s dlouhými kontexty než větší modely; stejně jako všechny jazykové modely mohou plynule formulovat nepravdivá tvrzení.

Tento vzorec je patrný i v rámci jedné rodiny. Podle karty modelu od Googlu dosahuje Gemma 4 E2B v benchmarku znalostí a uvažování MMLU Pro skóre 60,0 % a E4B 69,4 %, zatímco 31miliardový model Gemma 4 dosahuje 85,2 %. V testu GPQA Diamond, který obsahuje vědecké otázky na úrovni postgraduálního studia, činí výsledky 43,4 %, 58,6 % a 84,3 % 8. Jde o výsledky Googlu pro jeho modely.

Malé modely se také mohou zaseknout v opakování. Karta modelu Qwen varuje, že chamtivé dekódování „může vést ke zhoršení výkonu a nekonečnému opakování“ 7.

## Proč malé modely kopírují podobu svých pokynů?

Malé modely mají tendenci napodobovat formu zadání a zároveň se řídit jeho obsahem, takže dlouhý, strukturovaný systémový pokyn se může promítnout do struktury každé odpovědi.

Zadání, které modelu říkalo „začněte přímou odpovědí a potom přidejte užitečné podrobnosti“, vedlo k odpovědím s tučnými popisky „Přímá odpověď:“ a „Užitečné podrobnosti:“. Pokyn měl radit ohledně obsahu, model ho však považoval za šablonu.

## Jak fungují režimy přemýšlení v malých modelech?

Režim přemýšlení přiměje model vypsat mezikroky uvažování před konečnou odpovědí, takže u vícekrokových problémů věnuje více času a tokenů pečlivějším výsledkům. Qwen3 i Gemma 4 tuto funkci nabízejí jako přepínač v rámci jednoho modelu, nikoli jako samostatný model pro uvažování.

Tato myšlenka vychází z promptování řetězcem myšlenek. Novější malé modely se trénují k uvažování; v případě Qwen3 se tomu zčásti učí z jeho větších modelů.

Přepínač je součástí zadání. Qwen3 1.7B ve výchozím nastavení přemýšlí a zapisuje své uvažování do bloku `<think>…</think>`; vývojáři přemýšlení vypínají nastavením `enable_thinking` a uživatelé mohou do zprávy přidat `/think` nebo `/no_think` a měnit režim v každém tahu 7. Gemma 4 přemýšlení zapne, když její systémový pokyn začíná tokenem `<|think|>` 8.

Přemýšlení stojí čas a místo v kontextu, protože tokeny uvažování jsou součástí výstupu modelu a zabírají prostor v jeho okně. Pokud je model nastaven tak, aby uvažování zpřístupňoval, zobrazí se před odpovědí, chování však závisí na modelu a aplikaci.

## Jak si vedou Qwen3 1.7B, Gemma 4 E2B a Gemma 4 E4B ve srovnání?

Tyto tři modely se liší velikostí, vstupy a délkou kontextu. Qwen3 1.7B má 1,7 miliardy parametrů a přijímá pouze text; Google uvádí u Gemma 4 E2B a E4B 2,3 a 4,5 miliardy efektivních parametrů a vstup v podobě textu, obrázků a zvuku. Všechny tři jsou vydány pod licencí Apache 2.0.

|  | Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B |
|---|---|---|---|
| Vývojář | Alibaba (tým Qwen) | Google DeepMind | Google DeepMind |
| Parametry | 1.7B, z toho 1.4B mimo embeddingy | 2.3B efektivních, 5.1B včetně embeddingů | 4.5B efektivních, 8B včetně embeddingů |
| Vrstvy | 28 | 35 | 42 |
| Délka kontextu | 32 768 tokenů | 128K tokenů | 128K tokenů |
| Vstup | Text | Text, obrázek, zvuk | Text, obrázek, zvuk |
| Režim přemýšlení | Ano, ve výchozím nastavení zapnutý | Ano | Ano |
| Licence | Apache 2.0 | Apache 2.0 | Apache 2.0 |

Tabulka 1. Specifikace zveřejněné v kartě modelu Qwen3-1.7B od Qwen a v kartě modelu Gemma 4 od Googlu, ověřené 5. října 2026 7 8.



## Zdroje

7. Qwen. „Qwen3-1.7B“. Karta modelu a konfigurace, Hugging Face. Navštíveno 5. října 2026. [huggingface.co/Qwen/Qwen3-1.7B](https://huggingface.co/Qwen/Qwen3-1.7B)
8. Google DeepMind. „Karta modelu Gemma 4“. Google AI for Developers. Navštíveno 5. října 2026. [ai.google.dev/gemma/docs/core/model_card_4](https://ai.google.dev/gemma/docs/core/model_card_4)

## Využijte tohoto průvodce s Ailoot

Propojte modely AI se svými aplikacemi, agenty a automatizacemi prostřednictvím jediného rozhraní Ailoot API. Vyberte model vhodný pro svůj úkol a začněte podle [dokumentace Ailoot](https://ailoot.ai/docs/).

## Ailoot · Společnost a její portfolio projektů

Ailoot staví na dlouhodobých provozních zkušenostech, široké klientské základně, stabilních službách a průběžném sledování KPI.

Společnost a její portfolio projektů: miliony zákazníků; měsíční tržby v miliardách.

Ailoot využívá tyto provozní zkušenosti k poskytování přístupu přes API k funkcím AI v produktech zákazníků, agentech, aplikacích a automatizacích.
