# Majhni jezikovni modeli, pojasnjeni

> Kaj naredi jezikovni model majhen, kaj pomenijo parametri in efektivni parametri, zakaj majhni modeli delujejo na telefonih in čemu se odpovejo pri zmogljivostih.

Source: https://ailoot.ai/blog/sl/small-language-models-explained/
Canonical: https://ailoot.ai/blog/sl/small-language-models-explained/
Language: sl
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100072
Revision: sha256-3ec398cac3f8ab9f044df9db499197215b248c35658c57ace85a480e983d0b22


## Kaj je majhen jezikovni model?

Majhen jezikovni model (SLM) je dovolj kompakten, da lahko deluje na običajni strojni opremi, kot sta telefon ali prenosnik, namesto v podatkovnem centru. Dogovorjene meje ni: modeli z nekaj milijardami parametrov ali manj se običajno štejejo za majhne, ena raziskava iz leta 2024 pa uporablja razpon od 100 milijonov do 5 milijard.

Majhni in veliki jezikovni modeli delujejo enako. Oboji so nevronske mreže, skoraj vedno transformerji, naučeni napovedovati naslednji žeton besedila, po predhodnem učenju pa so prilagojeni za sledenje navodilom; zgoraj omenjena raziskava obravnava dekoderske transformerje, ki delujejo natanko tako. Razlika je v velikosti. Model, primeren za telefon, ima nekaj milijard parametrov, medtem ko so vodilni modeli v oblaku veliko večji, zato majhen model vsebuje manj znanja in ima manj zmogljivosti za sklepanje (glejte »Kje so majhni modeli pomanjkljivi?«). Majhni modeli omogočajo praktično uporabo umetne inteligence v napravi.

Velikost ni edini vzvod za kakovost. Kakovost majhnega modela je zato odvisna od njegovega učenja prav toliko kot od velikosti. Z destilacijo se lahko uči od večjega modela tako, da se uči posnemati njegove izhode, koristi pa mu tudi skrbno izbrano gradivo: phi-1, kodni model z 1,3 milijarde parametrov, naučen večinoma na gradivu »učbeniške kakovosti«, je na kodirnem merilu HumanEval dosegel 50,6 % pass@1.

## Kaj pomenijo parametri in »efektivni parametri«?

Parametri so števila, ki se jih model nauči med učenjem, njihovo število pa je običajno merilo njegove velikosti: »1.7B« v Qwen3 1.7B pomeni približno 1,7 milijarde. »Efektivni parametri«, črka »E« v Googlovih modelih Gemma 4 E2B in E4B, šteje parametre, s katerimi model računa, izpušča pa velike vdelovalne tabele, po katerih model le išče.

Večina parametrov je v utežnih matrikah pozornostnih in naprej usmerjenih plasti transformerja, skozi katere gre vsak žeton. Ločen sklop, vdelave, preslika vsak žeton v besednjaku v vektor; pri majhnem modelu lahko predstavljajo velik delež vseh parametrov. Vdelovalna tabela modela Qwen3 1.7B ima 151,936 vrstic (konfiguriran besednjak, dopolnjen prek 151,669 vnosov tokenizatorja) z 2,048 dimenzijami, kar pomeni približno 311 milijonov vdelovalnih parametrov. To je skladno z njegovo kartico modela, ki navaja skupno 1,7 milijarde parametrov in 1,4 milijarde zunaj vdelav 7. Študije skaliranja pogosto štejejo samo parametre zunaj vdelav.

Serija E modela Gemma 4 gre še korak dlje. Googlova kartica modela pojasnjuje: »Črka “E” v oznakah E2B in E4B pomeni “efektivni” parametri«: modeli uporabljajo vdelave po plasteh (PLE), ki »vsaki dekoderski plasti dodelijo lastno majhno vdelavo za vsak žeton«, in »Te vdelovalne tabele so velike, vendar se uporabljajo samo za hitre poizvedbe, zato je število efektivnih parametrov veliko manjše od skupnega« 8. Kartica navaja 2,3 milijarde efektivnih parametrov in 5,1 milijarde z vdelavami za Gemma 4 E2B, pri modelu E4B pa 4,5 milijarde efektivnih in 8 milijard z vdelavami.

Ta razlika je pomembna pri uporabi na telefonu, ker iskanje potrebuje pomnilnik, a le malo računanja, izvajalno okolje pa lahko tabele pusti v shrambi. »Efektivni« se razlikuje tudi od »aktivnih« parametrov: Gemma 4 26B A4B je model z mešanico ekspertov in 25,2 milijarde parametrov, od katerih jih je med sklepanjem aktivnih 3,8 milijarde 8.

## Zakaj majhni modeli delujejo na telefonih?

Uteži modela zavzamejo približno toliko pomnilnika, kolikor znaša število parametrov, pomnoženo s številom bitov, shranjenih na parameter, in deljeno z osem. Pri 4 bitih 1,7 milijarde parametrov potrebuje približno 0,85 GB, kar na telefonu s 4 GB pomnilnika RAM pusti prostor za Android in druge aplikacije.

Število parametrov in natančnost sta dva glavna vzvoda. Slika 1 prikaže izračun za Qwen3 1.7B od 32-bitne plavajoče vejice do 4-bitne datoteke modela.

<figure id="la-fit">
<ol>
<li><strong>Pri shranjevanju kot 32-bitne plavajoče vejice 1,7 milijarde parametrov zavzame 6,8 GB.</strong></li>
<li><strong>Pri 16 bitih zavzamejo 3,4 GB.</strong></li>
<li><strong>Pri 8 bitih zavzamejo 1,7 GB.</strong> Vsaka prepolovitev števila bitov na utež prepolovi pomnilnik, ki ga potrebujejo uteži.</li>
<li><strong>Pri 4 bitih približno 0,85 GB.</strong> Pol bajta na utež omogoči praktično uporabo modela te velikosti na telefonu s 4 GB pomnilnika.</li>
<li><strong>4-bitna datoteka modela je lahko večja od surovih uteži.</strong> Njeno velikost povečajo blokovna merila in drugi shranjeni podatki.</li>
</ol>
<figcaption>Slika 1. Pomnilnik, potreben za shranjevanje uteži modela Qwen3 1.7B, izražen v decimalnih gigabajtih. Modri stolpci so izračunani kot število parametrov × število bitov ÷ 8 za 1,7 milijarde parametrov in upoštevajo samo uteži; delujoči model potrebuje pomnilnik tudi za predpomnilnik ključ-vrednost in izvajalno okolje. Oranžni stolpec predstavlja preneseno datoteko modela.</figcaption>
</figure>

| Natančnost | Bitov na parameter | Približna velikost pomnilnika za uteži |
|---|---:|---:|
| 32-bitna plavajoča vejica | 32 | 6,8 GB |
| 16-bitna plavajoča vejica | 16 | 3,4 GB |
| 8-bitno celo število | 8 | 1,7 GB |
| 4-bitno celo število | 4 | 0,85 GB |

Telefonom primerni modeli iz tega razloga združujejo nekaj milijard parametrov s 4-bitnimi utežmi ali utežmi mešane natančnosti; kvantizacija zmanjša količino prostora za shranjevanje uteži.

Uteži ne predstavljajo celotne porabe. Delujoči model potrebuje pomnilnik tudi za predpomnilnik ključ-vrednost, ki raste z dolžino kontekstnega okna, in za samo izvajalno okolje. Tudi hitrost sledi isti logiki: za vsak nov žeton je treba uteži modela prebrati iz pomnilnika, zato manjše število in velikost uteži pomenita hitrejše odgovore na istem telefonu.

## Kaj majhni modeli dobro obvladajo?

Majhni modeli so dobri pri nalogah, pri katerih je potrebno gradivo v pozivu ali gre za splošno znanje: preoblikovanju besedila, povzemanju, pisanju osnutkov, razlaganju in odgovarjanju na podlagi posredovanih odlomkov. Ker delujejo v napravi, lahko odgovorijo tudi brez omrežne povezave in pošljejo poziv strežniku.

Googlova kartica modela družino Gemma 4 opisuje kot »zelo primerno za sklepanje, agentske delovne tokove, kodiranje in multimodalno razumevanje«, pri čemer E2B in E4B sprejemata besedilne, slikovne in zvočne vnose 8. To so opisi in merila razvijalcev; kako dobro določena naloga deluje na določenem telefonu, je še vedno treba preveriti.

Če majhnemu modelu posredujemo pravo besedilo, lažje obvladamo njegovo nepoznavanje. Generiranje, podprto z iskanjem, doda odlomke, pridobljene ob zastavitvi vprašanja, zato model uporablja vire namesto spomina. Majhni modeli so tudi predvidljivi za uporabo: ni stroška strežnika za vsako vprašanje, ni čakalne vrste in po prenosu niso odvisni od povezave.

## Kje so majhni modeli pomanjkljivi?

Majhni modeli vsebujejo manj znanja, slabše obvladajo dolgo ali večstopenjsko sklepanje in dolge kontekste kot večji modeli. Tako kot vsi jezikovni modeli lahko tudi samozavestno navajajo neresnične trditve.

Ta vzorec se pokaže znotraj iste družine. Na Googlovi kartici modela doseže Gemma 4 E2B 60,0 % na merilu znanja in sklepanja MMLU Pro, E4B pa 69,4 %, medtem ko 31-milijardni model Gemma 4 doseže 85,2 %; na GPQA Diamond, sklopu znanstvenih vprašanj na podiplomski ravni, so rezultati 43,4 %, 58,6 % in 84,3 % 8. To so Googlovi rezultati za njegove modele.

Majhni modeli se lahko tudi zataknejo v ponavljanju. Qwenova kartica modela opozarja, da lahko požrešno dekodiranje »povzroči slabše delovanje in neskončno ponavljanje« 7.

## Zakaj majhni modeli posnemajo obliko navodil?

Majhni modeli pogosto posnemajo obliko poziva in sledijo njegovi vsebini, zato se lahko dolg, strukturiran sistemski poziv v vsakem odgovoru odrazi kot struktura.

Poziv, ki je modelu naročil »začni z neposrednim odgovorom, nato dodaj koristne podrobnosti«, je vrnil odgovore s krepkimi oznakami »Neposredni odgovor:« in »Koristne podrobnosti:«. Navodilo je bilo mišljeno kot nasvet glede vsebine; model ga je obravnaval kot predlogo.

## Kako načini razmišljanja delujejo pri majhnih modelih?

Način razmišljanja povzroči, da model pred končnim odgovorom izpiše vmesno sklepanje, pri čemer za skrbnejše rezultate pri večstopenjskih problemih porabi več časa in žetonov. Qwen3 in Gemma 4 ga ponujata kot stikalo znotraj istega modela, ne kot ločen model za sklepanje.

Zamisel izhaja iz pozivanja z verigo misli. Novejši majhni modeli so naučeni sklepati; v primeru Qwen3 se delno učijo od njegovih večjih modelov.

Stikalo je del poziva. Qwen3 1.7B privzeto razmišlja in svoje sklepanje zapiše v blok `<think>…</think>`; razvijalci razmišljanje izklopijo z nastavitvijo `enable_thinking`, uporabniki pa lahko v sporočilo dodajo `/think` ali `/no_think`, da spremenijo način iz enega obrata v drugega 7. Gemma 4 omogoči razmišljanje, ko se njen sistemski poziv začne z žetonom `<|think|>` 8.

Razmišljanje zahteva čas in kontekst, saj so žetoni sklepanja del izhoda modela in si z njim delijo kontekstno okno. Če je model nastavljen tako, da razkritje omogoča, se sklepanje prikaže pred odgovorom, vendar je vedenje odvisno od modela in aplikacije.

## Kako se primerjajo Qwen3 1.7B, Gemma 4 E2B in Gemma 4 E4B?

Ti trije modeli se razlikujejo po velikosti, vhodnih podatkih in dolžini konteksta. Qwen3 1.7B ima 1,7 milijarde parametrov in sprejema samo besedilo; Google navaja, da imata Gemma 4 E2B in E4B 2,3 oziroma 4,5 milijarde efektivnih parametrov ter sprejemata besedilne, slikovne in zvočne vnose. Vsi trije so izdani pod licenco Apache 2.0.

|  | Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B |
|---|---|---|---|
| Razvijalec | Alibaba (ekipa Qwen) | Google DeepMind | Google DeepMind |
| Parametri | 1.7B, od tega 1.4B zunaj vdelav | 2.3B efektivnih, 5.1B z vdelavami | 4.5B efektivnih, 8B z vdelavami |
| Plasti | 28 | 35 | 42 |
| Dolžina konteksta | 32,768 žetonov | 128K žetonov | 128K žetonov |
| Vhod | Besedilo | Besedilo, slika, zvok | Besedilo, slika, zvok |
| Način razmišljanja | Da, privzeto vključen | Da | Da |
| Licenca | Apache 2.0 | Apache 2.0 | Apache 2.0 |

Tabela 1. Specifikacije, objavljene v kartici modela Qwen3-1.7B pri Qwenu in kartici modela Gemma 4 pri Googlu; preverjeno 5. oktobra 2026 7 8.



## Viri

7. Qwen. »Qwen3-1.7B.« Kartica modela in konfiguracija, Hugging Face. Dostopano 5. oktobra 2026. [huggingface.co/Qwen/Qwen3-1.7B](https://huggingface.co/Qwen/Qwen3-1.7B)
8. Google DeepMind. »Kartica modela Gemma 4.« Google AI for Developers. Dostopano 5. oktobra 2026. [ai.google.dev/gemma/docs/core/model_card_4](https://ai.google.dev/gemma/docs/core/model_card_4)

## Uporabite ta vodnik z Ailootom

Povežite modele umetne inteligence s svojimi aplikacijami, agenti in avtomatizacijami prek enega samega API-ja Ailoot. Izberite model, ki ustreza vaši nalogi, in za začetek upoštevajte [dokumentacijo Ailoot](https://ailoot.ai/docs/).

## Ailoot · Podjetje in njegov portfelj projektov

Ailoot temelji na pridobljenih operativnih izkušnjah, široki bazi strank, stabilni storitvi in stalnem spremljanju KPI.

Podjetje in njegov portfelj projektov: milijoni strank; mesečna prodaja v milijardah.

Ailoot te operativne izkušnje uporablja za dostop prek API do funkcij umetne inteligence v izdelkih strank, agentih, aplikacijah in avtomatizacijah.
