Tinklaraštis

Maži kalbos modeliai: paaiškinimas

Markdown

Kas lemia, kad kalbos modelis yra mažas, ką reiškia parametrai ir efektyvieji parametrai, kodėl maži modeliai telpa telefonuose ir kokių gebėjimų jie neturi.

Kas yra mažas kalbos modelis?

Mažas kalbos modelis (SLM) yra pakankamai kompaktiškas kalbos modelis, kad veiktų įprastoje įrangoje, pavyzdžiui, telefone ar nešiojamajame kompiuteryje, o ne duomenų centre. Sutarto dydžio slenksčio nėra: modeliai, turintys kelis milijardus parametrų ar mažiau, paprastai vadinami mažais, o vienoje 2024 m. apžvalgoje nurodomas intervalas nuo 100 milijonų iki 5 milijardų.

Maži ir dideli kalbos modeliai veikia vienodai. Abu yra neuroniniai tinklai, beveik visada transformerių architektūros, išmokyti nuspėti kitą teksto žetoną; abu po išankstinio apmokymo papildomai pritaikomi vykdyti instrukcijas. Minėtoje apžvalgoje aptariami būtent tokie tik dekoderį turintys transformeriai. Skiriasi mastas. Į telefoną telpantis modelis turi kelis milijardus parametrų, o pažangiausi debesijos modeliai yra gerokai didesni, todėl mažame modelyje sukaupta mažiau žinių ir jo gebėjimas samprotauti menkesnis (žr. „Kokių trūkumų turi maži modeliai?“). Maži modeliai leidžia praktiškai naudoti dirbtinį intelektą pačiame įrenginyje.

Dydis nėra vienintelis kokybę lemiantis veiksnys. Todėl mažo modelio kokybė priklauso tiek nuo mokymo, tiek nuo dydžio. Jis gali mokytis iš didesnio modelio distiliavimo būdu: mokomas atkartoti didesnio modelio išvestis. Kokybę taip pat didina kruopščiai atrinkti duomenys: phi-1 – 1,3 milijardo parametrų kodo modelis, daugiausia mokytas iš „vadovėlio kokybės“ duomenų, „HumanEval“ kodo generavimo etalone pasiekė 50,6 % pass@1 rezultatą.

Ką reiškia „parametrai“ ir „efektyvieji parametrai“?

Parametrai – tai skaičiai, kuriuos modelis išmoksta mokymo metu; jų skaičius paprastai naudojamas modeliui apibūdinti. „1,7B“ pavadinime Qwen3 1.7B reiškia maždaug 1,7 milijardo. „Efektyvieji parametrai“ – „E“ „Google“ modelių pavadinimuose Gemma 4 E2B ir E4B – yra modelio skaičiavimuose naudojamų parametrų skaičius, neįtraukiant didelių įterpinių lentelių, iš kurių reikšmės tik nuskaitomos.

Dauguma parametrų yra transformerių dėmesio ir tiesioginio sklidimo sluoksnių svorių matricose; jas apdoroja kiekvienas žetonas. Atskirame bloke – įterpiniuose – kiekvienam žodyno žetonui priskiriamas vektorius. Mažame modelyje įterpiniai gali sudaryti didelę visų parametrų dalį. Qwen3 1.7B įterpinių lentelėje yra 151 936 eilutės (konfigūruotas žodynas, papildytas iki didesnio dydžio, palyginti su 151 669 tokenizatoriaus įrašais) po 2 048 dimensijas, iš viso apie 311 milijonų įterpinių parametrų. Tai atitinka modelio kortelę: joje nurodyta, kad iš viso yra 1,7 milijardo parametrų, iš kurių 1,4 milijardo yra ne įterpiniuose 7. Modelių mastelio tyrimuose dažnai skaičiuojami tik ne įterpinių parametrai.

Gemma 4 E serijoje ši idėja išplėtota toliau. „Google“ modelio kortelėje paaiškinama: „E2B ir E4B pavadinimuose esanti „E“ reiškia „efektyviuosius“ parametrus“: modeliuose naudojami kiekvieno sluoksnio įterpiniai (PLE), kurie „kiekvienam dekoderio sluoksniui suteikia atskirą mažą įterpinį kiekvienam žetonui“. „Šios įterpinių lentelės yra didelės, bet naudojamos tik greitai paieškai, todėl efektyviųjų parametrų skaičius yra daug mažesnis už bendrąjį“ 8. Kortelėje nurodoma, kad Gemma 4 E2B turi 2,3 milijardo efektyviųjų parametrų ir 5,1 milijardo, įskaitant įterpinius, o E4B – atitinkamai 4,5 milijardo ir 8 milijardus.

Šis skirtumas telefone svarbus, nes paieškai reikia atminties, bet nedaug skaičiavimų, be to, vykdymo aplinka gali laikyti lenteles saugykloje. „Efektyvieji“ parametrai taip pat skiriasi nuo „aktyviųjų“: Gemma 4 26B A4B yra mišrios ekspertų sistemos (MoE) modelis, turintis 25,2 milijardo parametrų, iš kurių išvedimo metu aktyvūs 3,8 milijardo 8.

Kodėl maži modeliai telpa telefonuose?

Modelio svoriams reikia maždaug tiek atminties, kiek parametrų skaičius padaugintas iš vienam parametrui saugoti naudojamų bitų skaičiaus ir padalytas iš aštuonių. Kai naudojami 4 bitai, 1,7 milijardo parametrų užima apie 0,85 GB, tad 4 GB RAM turinčiame telefone lieka vietos „Android“ ir kitoms programėlėms.

Parametrų skaičius ir tikslumas – du reguliuojami veiksniai. 1 paveiksle žingsnis po žingsnio parodyti Qwen3 1.7B skaičiavimai nuo 32 bitų slankiojo kablelio formato iki 4 bitų modelio failo.

  1. Laikomi 32 bitų slankiojo kablelio formatu, 1,7 milijardo parametrų užima 6,8 GB.
  2. Naudojant 16 bitų, jie užima 3,4 GB.
  3. Naudojant 8 bitus, jie užima 1,7 GB. Perpus sumažinus bitų skaičių vienam svoriui, perpus sumažėja svoriams reikalinga atmintis.
  4. Naudojant 4 bitus, reikia apie 0,85 GB. Pusė baito vienam svoriui leidžia tokio dydžio modelį praktiškai naudoti 4 GB telefone.
  5. 4 bitų modelio failas gali būti didesnis už neapdorotus svorius. Jo dydį padidina blokų mastelio reikšmės ir kiti išsaugoti duomenys.
1 pav. Atmintis, reikalinga Qwen3 1.7B svoriams laikyti, dešimtainiais gigabaitais. Mėlynos juostos apskaičiuotos taip: parametrų skaičius × bitų skaičius ÷ 8, kai parametrų yra 1,7 milijardo; skaičiuojama tik svorių atmintis. Veikiančiam modeliui taip pat reikia atminties raktų ir reikšmių talpyklai bei vykdymo aplinkai. Oranžinė juosta rodo atsisiųsto modelio failą.
TikslumasBitų vienam parametruiApytikslė atmintis svoriams
32 bitų slankusis kablelis326,8 GB
16 bitų slankusis kablelis163,4 GB
8 bitų sveikasis skaičius81,7 GB
4 bitų sveikasis skaičius40,85 GB

Todėl telefonams skirti modeliai turi kelis milijardus parametrų, o jų svoriai saugomi 4 bitų arba mišriosios precizijos formatu; kvantavimas sumažina svoriams reikalingą saugyklos vietą.

Svoriai sudaro ne visą atminties poreikį. Veikiančiam modeliui taip pat reikia atminties raktų ir reikšmių talpyklai, kuri didėja ilgėjant konteksto langui, ir pačiai vykdymo aplinkai. Greitis priklauso nuo panašios skaičiavimo logikos: kiekvienam naujam žetonui reikia iš atminties nuskaityti modelio svorius, todėl mažesnis ir mažiau svorių turintis modelis tame pačiame telefone pateikia atsakymus greičiau.

Ką maži modeliai daro gerai?

Maži modeliai gerai atlieka užduotis, kurioms reikalinga informacija pateikta užklausoje arba yra visuotinai žinoma: perrašo, apibendrina, rengia juodraščius, aiškina ir atsako remdamiesi pateiktomis ištraukomis. Kadangi jie veikia įrenginyje, gali atsakyti ir be tinklo ryšio, nesiųsdami užklausos į serverį.

„Google“ modelio kortelėje Gemma 4 šeima apibūdinama kaip „tinkama samprotavimui, agentinėms darbo eigoms, programavimui ir multimodaliniam supratimui“; E2B ir E4B priima tekstą, vaizdus ir garsą 8. Tai pačių kūrėjų aprašymai ir etalonų rezultatai; konkrečios užduoties veikimą konkrečiame telefone vis tiek reikia išbandyti.

Tinkamo teksto pateikimas padeda spręsti tai, ko mažas modelis nežino. Paieška papildytas generavimas prie užklausos prideda tuo metu rastas ištraukas, tad modelis remiasi šaltiniais, o ne atmintimi. Mažų modelių veikimas taip pat nuspėjamas: kiekvienas klausimas nekainuoja papildomai už serverio naudojimą, nereikia laukti eilėje ir po atsisiuntimo nebereikia ryšio.

Kokių trūkumų turi maži modeliai?

Maži modeliai sukaupia mažiau žinių, prasčiau atlieka ilgą ar kelių etapų samprotavimą ir prasčiau tvarkosi su ilgu kontekstu nei didesni modeliai. Kaip ir visi kalbos modeliai, jie gali sklandžiai pateikti klaidingą informaciją.

Šis dėsningumas matomas vienoje šeimoje. „Google“ modelio kortelėje „Gemma 4 E2B“ MMLU Pro žinių ir samprotavimo etalone surenka 60,0 %, o E4B – 69,4 %, palyginti su 85,2 % 31 milijardo parametrų Gemma 4 modeliui. GPQA Diamond, kurį sudaro aukštųjų studijų lygio gamtos mokslų klausimai, jų rezultatai yra atitinkamai 43,4 %, 58,6 % ir 84,3 % 8. Tai „Google“ pateikti jos modelių rezultatai.

Maži modeliai taip pat gali užstrigti ir kartotis. Qwen modelio kortelėje įspėjama, kad godusis dekodavimas „gali pabloginti našumą ir sukelti nesibaigiančius pasikartojimus“ 7.

Kodėl maži modeliai atkartoja instrukcijų formą?

Maži modeliai linkę imituoti užklausos formą ir kartu sekti jos turinį, todėl ilga, struktūruota sisteminė užklausa gali paskatinti kiekvieną atsakymą pateikti panašia struktūra.

Modeliui pateikta užklausa „pradėk nuo tiesioginio atsakymo, tada pateik naudingos informacijos“ davė atsakymus su paryškintomis antraštėmis „Tiesioginis atsakymas:“ ir „Naudinga informacija:“. Instrukcija turėjo nurodyti, kokį turinį pateikti, tačiau modelis ją palaikė šablonu.

Kaip mažuose modeliuose veikia mąstymo režimai?

Mąstymo režimu modelis prieš galutinį atsakymą pateikia tarpinius samprotavimus, todėl kelių etapų uždavinius sprendžia atidžiau, bet tam skiria daugiau laiko ir žetonų. Qwen3 ir Gemma 4 šią funkciją siūlo kaip vieno modelio jungiklį, o ne atskirą samprotavimo modelį.

Ši idėja kilo iš nuoseklaus samprotavimo užklausų. Naujesni maži modeliai mokomi samprotauti; Qwen3 atveju dalis šio mokymo vyksta mokantis iš didesnių modelių.

Jungiklis yra užklausos dalis. Pagal numatytuosius nustatymus Qwen3 1.7B mąsto ir savo samprotavimą pateikia <think>…</think> bloke. Kūrėjai gali išjungti mąstymą naudodami enable_thinking nustatymą, o naudotojai gali įterpti /think arba /no_think į pranešimą ir keisti režimą kiekviename pokalbio etape 7. Gemma 4 mąstymą įjungia, kai jos sisteminė užklausa prasideda žetonu <|think|> 8.

Mąstymas kainuoja laiko ir konteksto, nes samprotavimo žetonai yra modelio išvesties dalis ir užima jo konteksto langą. Jei modelis nustatytas juos rodyti, samprotavimas pateikiamas prieš atsakymą, tačiau elgsena priklauso nuo modelio ir programos.

Kuo skiriasi Qwen3 1.7B, Gemma 4 E2B ir Gemma 4 E4B?

Šie trys modeliai skiriasi dydžiu, įvestimis ir konteksto ilgiu. Qwen3 1.7B turi 1,7 milijardo parametrų ir priima tik tekstą; „Google“ nurodo, kad Gemma 4 E2B ir E4B turi atitinkamai 2,3 ir 4,5 milijardo efektyviųjų parametrų ir priima tekstą, vaizdus bei garsą. Visi trys išleisti pagal „Apache 2.0“ licenciją.

Qwen3 1.7BGemma 4 E2BGemma 4 E4B
KūrėjasAlibaba („Qwen“ komanda)„Google DeepMind“„Google DeepMind“
Parametrai1,7B, iš jų 1,4B ne įterpiniuose2,3B efektyviųjų, 5,1B su įterpiniais4,5B efektyviųjų, 8B su įterpiniais
Sluoksniai283542
Konteksto ilgis32 768 žetonai128K žetonų128K žetonų
ĮvestisTekstasTekstas, vaizdai, garsasTekstas, vaizdai, garsas
Mąstymo režimasTaip, įjungtas pagal numatytuosius nustatymusTaipTaip
Licencija„Apache 2.0“„Apache 2.0“„Apache 2.0“

1 lentelė. Specifikacijos, paskelbtos Qwen „Qwen3-1.7B“ modelio kortelėje ir „Google“ Gemma 4 modelio kortelėje; patikrinta 2026 m. spalio 5 d. 7 8.

Šaltiniai

  1. Qwen. „Qwen3-1.7B“. Modelio kortelė ir konfigūracija, „Hugging Face“. Žiūrėta 2026 m. spalio 5 d. huggingface.co/Qwen/Qwen3-1.7B
  2. „Google DeepMind“. „Gemma 4“ modelio kortelė. „Google AI for Developers“. Žiūrėta 2026 m. spalio 5 d. ai.google.dev/gemma/docs/core/model_card_4

Pritaikykite šį vadovą su Ailoot

Prijunkite DI modelius prie savo programų, agentų ir automatizavimo procesų per vieną Ailoot API. Pasirinkite užduočiai tinkamą modelį ir pradėkite vadovaudamiesi Ailoot dokumentacija.