# Pienet kielimallit selitettynä

> Mikä tekee kielimallista pienen, mitä parametrit ja teholliset parametrit tarkoittavat, miksi pienet mallit mahtuvat puhelimiin ja mistä ne joutuvat tinkimään kyvykkyydessä.

Source: https://ailoot.ai/blog/fi/small-language-models-explained/
Canonical: https://ailoot.ai/blog/fi/small-language-models-explained/
Language: fi
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100072
Revision: sha256-e8a23b1d448a6f9b65f6e3dca1c3522e046e25550c092ac8af2bd947a94533a5


## Mikä on pieni kielimalli?

Pieni kielimalli (SLM) on kielimalli, joka on riittävän kompakti toimiakseen tavallisilla laitteilla, kuten puhelimella tai kannettavalla tietokoneella, eikä datakeskuksessa. Yhtä sovittua kokorajaa ei ole: muutaman miljardin parametrin tai sitä pienempiä malleja kutsutaan yleensä pieniksi, ja eräässä vuoden 2024 katsauksessa kokoluokaksi määritellään 100 miljoonasta 5 miljardiin.

Pienet ja suuret kielimallit toimivat samalla tavalla. Molemmat ovat neuroverkkoja, lähes aina transformer-verkkoja, joita koulutetaan ennustamaan tekstin seuraavaa tokenia, ja molempia mukautetaan esikoulutuksen jälkeen noudattamaan ohjeita; edellä mainittu katsaus käsittelee juuri tällaisia vain dekooderista koostuvia transformer-verkkoja. Ero on mittakaavassa. Puhelimeen sopivassa mallissa on muutama miljardi parametria, kun taas pilven kehittyneimmät mallit ovat paljon suurempia. Siksi pieni malli sisältää vähemmän tietoa ja sen päättelykyky on rajallisempi (ks. ”Missä pienet mallit jäävät jälkeen?”). Pienet mallit tekevät laitteessa toimivan tekoälyn käytännölliseksi.

Koko ei ole ainoa laatuun vaikuttava tekijä. Pienen mallin laatu riippuu siis sen koon lisäksi myös sen koulutuksesta. Se voi oppia suuremmalta mallilta tislaamisen avulla: tällöin se koulutetaan jäljittelemään suuremman mallin tulosteita. Se hyötyy myös tarkoin valitusta aineistosta: phi-1, 1,3 miljardin parametrin koodimalli, joka koulutettiin pääosin ”oppikirjalaatuisella” aineistolla, saavutti HumanEval-koodausvertailussa pass@1-tuloksen 50,6 %.

## Mitä parametrit ja ”teholliset parametrit” tarkoittavat?

Parametrit ovat lukuja, jotka malli oppii koulutuksen aikana, ja niiden määrä on tavallisin tapa mitata mallin kokoa: Qwen3 1.7B:n nimessä ”1.7B” tarkoittaa noin 1,7 miljardia. ”Teholliset parametrit”, Google Gemma 4:n E2B- ja E4B-nimien ”E”, tarkoittavat parametreja, joita malli käyttää laskennassa. Niihin eivät sisälly suuret upotustaulukot, joista malli vain hakee arvoja.

Suurin osa parametreista sijaitsee transformer-verkon huomio- ja eteenpäinsyöttökerrosten painomatriiseissa, joiden läpi jokainen token kulkee. Erillinen lohko, upotukset, muuntaa sanaston jokaisen tokenin vektoriksi, ja pienessä mallissa niiden osuus kokonaismäärästä voi olla suuri. Qwen3 1.7B:n upotustaulukossa on 151,936 riviä (sen määritetty sanasto, joka on täydennetty tokenisoijan 151,669 merkinnän yli) ja 2,048 ulottuvuutta. Upotusparametreja on siis noin 311 miljoonaa, mikä vastaa mallikorttia: sen mukaan parametreja on yhteensä 1,7 miljardia ja upotusten ulkopuolella 1,4 miljardia 7. Skaalaustutkimuksissa lasketaan usein vain upotuksiin kuulumattomat parametrit.

Gemma 4:n E-sarja vie ajatuksen pidemmälle. Googlen mallikortissa selitetään, että ”E2B:n ja E4B:n E tarkoittaa ’tehollisia’ parametreja”: mallit käyttävät kerroskohtaisia upotuksia (Per-Layer Embeddings, PLE), jotka antavat ”jokaiselle dekooderikerrokselle oman pienen upotuksen kutakin tokenia varten”, ja ”Nämä upotustaulukot ovat suuria, mutta niitä käytetään vain nopeisiin hakuihin. Siksi tehollisten parametrien määrä on paljon kokonaismäärää pienempi” 8. Mallikortin mukaan Gemma 4 E2B:ssä on 2,3 miljardia tehollista parametria ja upotukset mukaan lukien 5,1 miljardia; E4B:ssä niitä on tehollisia parametreja 4,5 miljardia ja upotukset mukaan lukien 8 miljardia.

Erolla on merkitystä puhelimessa, koska haut tarvitsevat muistia mutta vain vähän laskentaa, ja suoritusympäristö voi jättää taulukot tallennustilaan. ”Tehollinen” tarkoittaa tässä eri asiaa kuin ”aktiivinen”: Gemma 4 26B A4B on asiantuntijaseosmalli, jossa on 25,2 miljardia parametria, joista 3,8 miljardia on aktiivisena päättelyn aikana 8.

## Miksi pienet mallit mahtuvat puhelimiin?

Mallin painot vievät suunnilleen parametrien määrä kerrottuna kuhunkin parametriin tallennettujen bittien määrällä ja jaettuna kahdeksalla. Neljällä bitillä 1,7 miljardia parametria tarvitsee noin 0,85 GB, jolloin 4 GB:n RAM-muistilla varustettuun puhelimeen jää tilaa Androidille ja muille sovelluksille.

Parametrien määrä ja tarkkuus ovat kaksi tärkeintä säädettävää tekijää. Kuvassa 1 lasketaan Qwen3 1.7B:n muistinkulutus 32-bittisestä liukuluvusta 4-bittiseen mallitiedostoon.

<figure id="la-fit">
<ol>
<li><strong>32-bittisinä liukulukuina tallennettuna 1,7 miljardia parametria vie 6,8 GB.</strong></li>
<li><strong>16 bitillä ne vievät 3,4 GB.</strong></li>
<li><strong>8 bitillä ne vievät 1,7 GB.</strong> Kun painokohtainen bittimäärä puolitetaan, myös painojen tarvitsema muisti puolittuu.</li>
<li><strong>4 bitillä tilaa tarvitaan noin 0,85 GB.</strong> Puoli tavua painoa kohti tekee tämänkokoisen mallin käyttämisestä käytännöllistä 4 GB:n puhelimessa.</li>
<li><strong>4-bittinen mallitiedosto voi olla raakamuotoisia painoja suurempi.</strong> Lohkojen skaalausarvot ja muut tallennetut tiedot kasvattavat sen kokoa.</li>
</ol>
<figcaption>Kuva 1. Qwen3 1.7B:n painojen tallentamiseen tarvittava muisti desimaalisina gigatavuina. Siniset palkit lasketaan kaavalla parametrit × bitit ÷ 8, kun parametreja on 1,7 miljardia, ja ne sisältävät vain painot; käynnissä oleva malli tarvitsee muistia myös avain–arvo-välimuistilleen ja suoritusympäristölleen. Oranssi palkki kuvaa ladattua mallitiedostoa.</figcaption>
</figure>

| Tarkkuus | Bittiä parametria kohti | Painojen vaatima muisti, noin |
|---|---:|---:|
| 32-bittinen liukuluku | 32 | 6,8 GB |
| 16-bittinen liukuluku | 16 | 3,4 GB |
| 8-bittinen kokonaisluku | 8 | 1,7 GB |
| 4-bittinen kokonaisluku | 4 | 0,85 GB |

Puhelimeen sopivissa malleissa yhdistyvät tästä syystä muutama miljardi parametria sekä 4-bittiset tai sekatarkkuudella tallennetut painot; kvantisointi vähentää painojen tarvitsemaa tallennustilaa.

Painot eivät ole koko muistijalanjälki. Käynnissä oleva malli tarvitsee muistia myös avain–arvo-välimuistilleen, joka kasvaa konteksti-ikkunan pituuden myötä, sekä itse suoritusympäristölle. Nopeus määräytyy saman laskennan mukaan: jokaisen uuden tokenin tuottaminen edellyttää mallin painojen lukemista muistista. Siksi pienempi painomäärä ja pienemmät painot tuottavat vastauksia nopeammin samalla puhelimella.

## Missä pienet mallit ovat hyviä?

Pienet mallit toimivat hyvin tehtävissä, joissa tarvittava tieto sisältyy kehotteeseen tai kuuluu yleiseen tietoon: uudelleenkirjoittamisessa, tiivistämisessä, luonnostelussa, selittämisessä ja annetuista tekstikatkelmista vastaamisessa. Koska ne toimivat laitteessa, ne voivat vastata myös ilman verkkoyhteyttä ja lähettämättä kehotetta palvelimelle.

Googlen mallikortin mukaan Gemma 4 -perhe ”soveltuu hyvin päättelyyn, agenttityönkulkuihin, koodaukseen ja multimodaaliseen ymmärtämiseen”, ja E2B sekä E4B hyväksyvät tekstin, kuvat ja äänen syötteeksi 8. Nämä ovat kehittäjien omia kuvauksia ja vertailutuloksia; tietyn tehtävän toimivuus tietyllä puhelimella on silti testattava.

Oikean tekstin antaminen auttaa, kun pieni malli ei tiedä jotakin. Hakua hyödyntävä generointi (retrieval-augmented generation) lisää kysymishetkellä haettuja tekstikatkelmia, jolloin malli käyttää lähteitä muistin sijaan. Pienten mallien käyttö on myös ennakoitavaa: kysymyksistä ei aiheudu palvelinmaksua, jonotusta eikä latauksen jälkeen riippuvuutta yhteydestä.

## Missä pienet mallit jäävät jälkeen?

Pienet mallit sisältävät vähemmän tietoa, suoriutuvat heikommin pitkästä tai monivaiheisesta päättelystä ja käsittelevät pitkiä konteksteja suurempia malleja heikommin. Kuten kaikki kielimallit, ne voivat myös esittää sujuvasti virheellisiä väitteitä.

Tämä näkyy saman malliperheen sisällä. Googlen mallikortissa Gemma 4 E2B saa MMLU Pro -tieto- ja päättelyvertailussa tuloksen 60,0 % ja E4B 69,4 %, kun 31 miljardin parametrin Gemma 4 -mallin tulos on 85,2 %. GPQA Diamond -vertailussa, joka sisältää jatko-opintotason tiedekysymyksiä, tulokset ovat 43,4 %, 58,6 % ja 84,3 % 8. Nämä ovat Googlen omista malleistaan saamia tuloksia.

Pienet mallit voivat myös juuttua toistamaan itseään. Qwenin mallikortissa varoitetaan, että ahne dekoodaus ”voi heikentää suorituskykyä ja johtaa loputtomiin toistoihin” 7.

## Miksi pienet mallit jäljittelevät ohjeidensa muotoa?

Pienet mallit jäljittelevät usein kehotteen muotoa sisällön noudattamisen lisäksi, joten pitkä ja jäsennelty järjestelmäkehote voi näkyä rakenteena jokaisessa vastauksessa.

Kehote, jossa mallia käskettiin ”aloittamaan suoralla vastauksella ja lisäämään sitten hyödyllisiä yksityiskohtia”, tuotti vastauksia, joissa oli lihavoidut otsakkeet ”Suora vastaus:” ja ”Hyödyllisiä yksityiskohtia:”. Ohjeen oli tarkoitus neuvoa sisällöstä; malli käsitteli sitä mallipohjana.

## Miten ajattelutilat toimivat pienissä malleissa?

Ajattelutila saa mallin kirjoittamaan välivaiheiden päättelyn ennen lopullista vastaustaan, jolloin monivaiheisten ongelmien ratkaisemiseen kuluu enemmän aikaa ja tokeneita ja tuloksista voi tulla huolellisempia. Sekä Qwen3 että Gemma 4 tarjoavat tämän ominaisuuden saman mallin sisäisenä kytkimenä erillisen päättelymallin sijaan.

Ajatus perustuu ketjuajattelukehotteisiin (chain-of-thought prompting). Uudemmat pienet mallit koulutetaan päättelemään; Qwen3 oppii tässä osittain suuremmilta malleiltaan.

Kytkin määritetään kehotteessa. Qwen3 1.7B ajattelee oletusarvoisesti ja kirjoittaa päättelynsä `<think>…</think>`-lohkoon. Kehittäjät poistavat ajattelun käytöstä `enable_thinking`-asetuksella, ja käyttäjät voivat vaihtaa tilaa vuorojen välillä lisäämällä viestiin `/think` tai `/no_think` 7. Gemma 4 ottaa ajattelun käyttöön, kun sen järjestelmäkehote alkaa `<|think|>`-tokenilla 8.

Ajattelu vie aikaa ja konteksti-ikkunan tilaa, sillä päättelytokenit ovat osa mallin tulostetta ja käyttävät samaa ikkunaa. Kun malli on määritetty näyttämään päättelynsä, se näkyy ennen vastausta, mutta toiminta riippuu mallista ja sovelluksesta.

## Miten Qwen3 1.7B, Gemma 4 E2B ja Gemma 4 E4B eroavat toisistaan?

Kolme mallia eroavat kooltaan, syötteiltään ja kontekstin pituudelta. Qwen3 1.7B:ssä on 1,7 miljardia parametria, ja se hyväksyy vain tekstiä. Google ilmoittaa Gemma 4 E2B:n ja E4B:n tehollisten parametrien määriksi 2,3 ja 4,5 miljardia, ja ne hyväksyvät tekstin, kuvat ja äänen syötteeksi. Kaikki kolme julkaistaan Apache 2.0 -lisenssillä.

|  | Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B |
|---|---|---|---|
| Kehittäjä | Alibaba (Qwen-tiimi) | Google DeepMind | Google DeepMind |
| Parametrit | 1.7B, joista 1.4B upotusten ulkopuolella | 2.3B tehollisia, 5.1B upotukset mukaan lukien | 4.5B tehollisia, 8B upotukset mukaan lukien |
| Kerrokset | 28 | 35 | 42 |
| Kontekstin pituus | 32,768 tokenia | 128K tokenia | 128K tokenia |
| Syöte | Teksti | Teksti, kuva, ääni | Teksti, kuva, ääni |
| Ajattelutila | Kyllä, oletusarvoisesti käytössä | Kyllä | Kyllä |
| Lisenssi | Apache 2.0 | Apache 2.0 | Apache 2.0 |

Taulukko 1. Qwenin Qwen3-1.7B-mallikortissa ja Googlen Gemma 4 -mallikortissa julkaistut tekniset tiedot; tarkistettu 5. lokakuuta 2026 7 8.



## Lähteet

7. Qwen. ”Qwen3-1.7B.” Mallikortti ja kokoonpano, Hugging Face. Katsottu 5. lokakuuta 2026. [huggingface.co/Qwen/Qwen3-1.7B](https://huggingface.co/Qwen/Qwen3-1.7B)
8. Google DeepMind. ”Gemma 4 -mallikortti.” Google AI for Developers. Katsottu 5. lokakuuta 2026. [ai.google.dev/gemma/docs/core/model_card_4](https://ai.google.dev/gemma/docs/core/model_card_4)

## Ota tämä opas käyttöön Ailootin avulla

Yhdistä tekoälymallit sovelluksiisi, agentteihisi ja automaatioihisi yhden Ailoot-rajapinnan kautta. Valitse tehtävääsi sopiva malli ja aloita [Ailoot-dokumentaation](https://ailoot.ai/docs/) ohjeiden avulla.

## Ailoot · Yritys ja sen projektisalkku

Ailoot perustuu kertyneeseen toimintakokemukseen, laajaan asiakaskuntaan, vakaaseen palveluun ja jatkuvaan KPI-seurantaan.

Yritys ja sen projektisalkku: miljoonia asiakkaita; kuukausittainen myynti miljardiluokassa.

Ailoot hyödyntää tätä toimintakokemusta tarjotessaan API-yhteyden tekoälytoimintoihin asiakkaiden tuotteissa, agenteissa, sovelluksissa ja automaatioissa.
