Blog

Kichik til modellari haqida tushuntirish

Markdown

Til modelini nima kichik qiladi, parametrlar va samarali parametrlar nimani anglatadi, kichik modellar nega telefonlarga sig‘adi va ular imkoniyatlar borasida nimalardan voz kechadi.

Kichik til modeli nima?

Kichik til modeli (SLM) — ma’lumotlar markazida emas, telefon yoki noutbuk kabi kundalik qurilmalarda ishlay oladigan darajada ixcham til modelidir. Umumiy qabul qilingan chegara yo‘q: odatda bir necha milliard yoki undan kam parametrli modellar kichik deb ataladi; 2024-yildagi bir sharhda 100 milliondan 5 milliardgacha bo‘lgan oraliq keltirilgan.

Kichik va katta til modellari bir xil ishlaydi. Ikkalasi ham matnning keyingi tokenini bashorat qilishga o‘rgatilgan neyron tarmoqlar, deyarli har doim transformerlardir; oldindan o‘qitishdan keyin ikkalasi ham ko‘rsatmalarga amal qilishga moslashtiriladi. Yuqorida tilga olingan sharh aynan shunday, faqat dekoderli transformerlarga bag‘ishlangan. Farq — miqyosda. Telefonda ishlashga mo‘ljallangan modelda bir necha milliard parametr bo‘ladi, ilg‘or bulut modellari esa ancha yirik. Shu sababli kichik model kamroq bilimga ega bo‘ladi va fikrlash imkoniyati cheklanganroq bo‘ladi (qarang: “Kichik modellar qaysi jihatlarda ojiz?”). Qurilmada ishlaydigan sun’iy intellektni amaliy qiladigan narsa — kichik modellardir.

Sifatga ta’sir qiladigan yagona omil hajm emas. Shu bois kichik modelning sifati uning hajmi qanchalik muhim bo‘lsa, o‘qitilishiga ham shunchalik bog‘liq. U kattaroq modeldan distillatsiya orqali o‘rganishi mumkin: bunda kichik model katta model natijalariga mos kelishga o‘rgatiladi. Puxta tanlangan ma’lumotlar ham yordam beradi: asosan “darslik darajasidagi” ma’lumotlarda o‘qitilgan, 1,3 milliard parametrli phi-1 kod modeli HumanEval kod yozish mezonida 50,6% pass@1 natijasiga erishgan.

“Parametrlar” va “samarali parametrlar” nimani anglatadi?

Parametrlar — model o‘qitish davomida o‘rganadigan sonlar; ularning miqdori model hajmini o‘lchashda odatda qo‘llanadigan mezondir. Qwen3 1.7B nomidagi “1.7B” taxminan 1,7 milliardni anglatadi. Google’ning Gemma 4 E2B va E4B nomlaridagi “samarali parametrlar” — “E” harfi — model hisoblashda foydalanadigan parametrlar sonini bildiradi; bunda model faqat qiymatini qidirib oladigan yirik embedding jadvallari hisobga kiritilmaydi.

Parametrlarning aksariyati transformerdagi diqqat va oldinga uzatish qatlamlarining vazn matritsalarida joylashgan bo‘lib, har bir token ulardan o‘tadi. Alohida blok — embeddinglar — lug‘atdagi har bir tokenni vektorga moslaydi; kichik modelda ular umumiy miqdorning katta qismini tashkil qilishi mumkin. Qwen3 1.7B embedding jadvalida o‘lchami 2 048 bo‘lgan 151 936 qator bor (model sozlamasidagi lug‘at tokenizatorning 151 669 ta yozuvidan kattaroq qilib to‘ldirilgan); bu taxminan 311 million embedding parametriga teng. Bu model kartasidagi jami 1,7 milliard parametr va embeddinglardan tashqaridagi 1,4 milliard parametr haqidagi ma’lumotga mos keladi 7. Miqyosni o‘rganish bo‘yicha tadqiqotlarda ko‘pincha faqat embeddinglardan tashqaridagi parametrlar sanaladi.

Gemma 4’ning E seriyasida bu g‘oya yanada rivojlantirilgan. Google model kartasida shunday izohlaydi: “E2B va E4B nomlaridagi ‘E’ ‘samarali’ parametrlarni anglatadi”: modellarda har bir qatlam uchun embeddinglar (Per-Layer Embeddings, PLE) ishlatiladi, ya’ni “har bir dekoder qatlamida har bir token uchun o‘zining kichik embeddingi bor”; “bu embedding jadvallari katta, ammo faqat tezkor qidiruv uchun ishlatiladi, shu bois samarali parametrlar soni umumiy sondan ancha kichik” 8. Kartada Gemma 4 E2B uchun 2,3 milliard samarali parametr, embeddinglar bilan 5,1 milliard; E4B uchun esa 4,5 milliard samarali parametr, embeddinglar bilan 8 milliard ko‘rsatilgan.

Bu farq telefonda muhim: qidiruv xotira talab qiladi, ammo hisoblashni kam talab qiladi; bajarish muhiti jadvallarni saqlash qurilmasida qoldirishi mumkin. “Samarali” parametrlar “faol” parametrlardan ham farq qiladi: Gemma 4 26B A4B — ekspertlar aralashmasi turidagi model bo‘lib, unda 25,2 milliard parametr bor, shundan 3,8 milliardi inferensiya vaqtida faol bo‘ladi 8.

Kichik modellar nega telefonlarga sig‘adi?

Model vaznlarini saqlash uchun parametrlar sonini har bir parametrga ajratilgan bitlar soniga ko‘paytirib, sakkizga bo‘lish orqali taxminan hisoblash mumkin. 4 bitda 1,7 milliard parametrga taxminan 0,85 GB kerak bo‘ladi; 4 GB tezkor xotirali telefonda Android va boshqa ilovalar uchun joy qoladi.

Parametrlar soni va aniqlik — boshqarish mumkin bo‘lgan ikki omil. 1-rasmda Qwen3 1.7B uchun hisob-kitob, 32-bitli suzuvchi nuqtali formatdan 4-bitli model fayligacha ko‘rsatilgan.

  1. 32-bitli suzuvchi nuqtali sonlar ko‘rinishida saqlansa, 1,7 milliard parametr 6,8 GB joy egallaydi.
  2. 16 bitda ular 3,4 GB joy egallaydi.
  3. 8 bitda ular 1,7 GB joy egallaydi. Har bir vaznga ajratilgan bitlar soni ikki baravar kamayganda, vaznlar uchun kerak bo‘ladigan xotira ham ikki baravar kamayadi.
  4. 4 bitda taxminan 0,85 GB kerak bo‘ladi. Har bir vaznga yarim bayt ajratilishi shu hajmdagi modelni 4 GB xotirali telefonda amaliy qiladi.
  5. 4-bitli model fayli xom vaznlardan kattaroq bo‘lishi mumkin. Blok masshtablari va boshqa saqlanadigan ma’lumotlar uning hajmini oshiradi.
1-rasm. Qwen3 1.7B vaznlarini saqlash uchun kerak bo‘ladigan xotira, o‘nlik gigabaytlarda. Ko‘k ustunlar 1,7 milliard parametr uchun parametrlar soni × bitlar soni ÷ 8 formulasi bo‘yicha hisoblangan va faqat vaznlarni qamrab oladi; ishlayotgan modelga kalit–qiymat keshi va bajarish muhiti uchun ham xotira kerak. To‘q sariq ustun yuklab olingan model faylini bildiradi.
AniqlikHar bir parametr uchun bitlarVaznlar uchun taxminiy xotira
32-bitli suzuvchi nuqtali son326,8 GB
16-bitli suzuvchi nuqtali son163,4 GB
8-bitli butun son81,7 GB
4-bitli butun son40,85 GB

Shu sababli telefonda ishlashga mo‘ljallangan modellar bir necha milliard parametrni 4-bitli yoki aralash aniqlikdagi vaznlar bilan birlashtiradi; kvantlash vaznlarni saqlash uchun kerakli xotirani kamaytiradi.

Xotira sarfi faqat vaznlardan iborat emas. Ishlayotgan modelga kontekst oynasi uzunligi bilan kengayadigan kalit–qiymat keshi va bajarish muhitining o‘zi uchun ham xotira kerak. Tezlik ham shu hisob-kitobga bog‘liq: har bir yangi tokenni chiqarish uchun model vaznlarini xotiradan o‘qishi kerak. Demak, ayni telefonda vaznlar soni qancha kam va hajmi qancha kichik bo‘lsa, javoblar shuncha tez chiqadi.

Kichik modellar nimalarni yaxshi bajaradi?

Kichik modellar kerakli ma’lumot so‘rovda yoki umumiy bilimlar tarkibida bo‘lgan vazifalarni yaxshi bajaradi: matnni qayta yozish, qisqacha bayon qilish, qoralama tayyorlash, tushuntirish va berilgan parchalar asosida javob berish. Ular qurilmaning o‘zida ishlagani uchun tarmoq ulanmasdan va so‘rovni serverga yubormasdan ham javob bera oladi.

Google model kartasida Gemma 4 oilasi “mulohaza yuritish, agentli ish jarayonlari, kod yozish va multimodal tushunishga juda mos” deb ta’riflangan; E2B va E4B matn, rasm hamda audioni qabul qiladi 8. Bu — ishlab chiquvchilarning o‘z ta’riflari va mezonlari; muayyan vazifa muayyan telefonda qanchalik yaxshi ishlashini baribir sinab ko‘rish kerak.

Tegishli matnni taqdim etish kichik modelga bilmagan narsalari bilan ishlashga yordam beradi. Qidiruv bilan boyitilgan generatsiya savol berilgan paytda topilgan parchalarni qo‘shadi, shunda model xotirasiga emas, manbalarga tayanadi. Kichik modellarni ishlatish xarajatlarini ham oldindan bilish mumkin: har bir savol uchun server haqi, navbat va yuklab olingandan keyin ulanishga qaramlik bo‘lmaydi.

Kichik modellar qaysi jihatlarda ojiz?

Kichik modellar kamroq bilimni o‘zida saqlaydi, uzoq yoki ko‘p bosqichli fikrlashda sustroq bo‘ladi va uzun kontekstlarni yirik modellardek yaxshi qayta ishlamaydi. Barcha til modellari singari, ular ham ravon tarzda yolg‘on ma’lumot aytishi mumkin.

Bu holatni bitta model oilasi ichida ham ko‘rish mumkin. Google model kartasiga ko‘ra, Gemma 4 E2B bilim va fikrlashni baholovchi MMLU Pro mezonida 60,0%, E4B esa 69,4% oladi; 31 milliard parametrli Gemma 4 modeli 85,2% natija ko‘rsatadi. Magistratura darajasidagi tabiiy fanlar savollaridan iborat GPQA Diamond to‘plamida natijalar mos ravishda 43,4%, 58,6% va 84,3% 8. Bular Google’ning o‘z modellari bo‘yicha natijalaridir.

Kichik modellar takrorlashdan ham to‘xtamay qolishi mumkin. Qwen model kartasida ochko‘z dekodlash “unumdorlikning pasayishiga va cheksiz takrorlarga olib kelishi mumkin” deb ogohlantiradi 7.

Kichik modellar nega ko‘rsatmalar shaklini ko‘chiradi?

Kichik modellar so‘rov mazmuniga amal qilish bilan birga uning shakliga ham taqlid qilishga moyil. Shu sababli uzun, tuzilgan tizim so‘rovi har bir javobda o‘xshash tuzilma paydo bo‘lishiga olib kelishi mumkin.

Modelga “avval bevosita javobni, so‘ng foydali tafsilotlarni keltir” deb ko‘rsatma berilganda, u “Bevosita javob:” va “Foydali tafsilotlar:” degan qalin yozuvli yorliqlar bilan javob berdi. Ko‘rsatma mazmunga oid maslahat bo‘lishi kerak edi, ammo model uni andoza sifatida qabul qildi.

Kichik modellarda fikrlash rejimlari qanday ishlaydi?

Fikrlash rejimida model yakuniy javobdan oldin oraliq fikrlarini yozib chiqadi; ko‘p bosqichli masalalarda puxtaroq natija olish uchun ko‘proq vaqt va token sarflanadi. Qwen3 ham, Gemma 4 ham bu rejimni alohida fikrlash modeli sifatida emas, bitta model ichidagi almashtirgich sifatida taklif qiladi.

Bu g‘oya fikrlash zanjiri bilan so‘rov berish (chain-of-thought prompting) usulidan kelib chiqqan. Yangi kichik modellar fikr yuritishga o‘rgatiladi; Qwen3 holatida bu qisman yirikroq modellardan o‘rganish orqali amalga oshiriladi.

Almashtirgich so‘rovning bir qismidir. Qwen3 1.7B sukut bo‘yicha fikr yuritadi va mulohazalarini <think>…</think> bloki ichida yozadi; ishlab chiquvchilar fikrlashni enable_thinking sozlamasi bilan o‘chiradi, foydalanuvchilar esa rejimni har bir navbatda o‘zgartirish uchun xabarga /think yoki /no_think qo‘shishi mumkin 7. Gemma 4’da tizim so‘rovi <|think|> tokeni bilan boshlansa, fikrlash rejimi yoqiladi 8.

Fikrlash vaqt va kontekst sarflaydi, chunki fikrlash tokenlari model chiqishining bir qismi bo‘lib, uning oynasidan joy oladi. Model ularni ko‘rsatadigan qilib sozlangan bo‘lsa, mulohazalar javobdan oldin ko‘rinadi; ammo xatti-harakat model va ilovaga bog‘liq.

Qwen3 1.7B, Gemma 4 E2B va Gemma 4 E4B qanday farq qiladi?

Uch model hajmi, kirish ma’lumotlari va kontekst uzunligi bilan farqlanadi. Qwen3 1.7B 1,7 milliard parametrga ega va faqat matnni qabul qiladi. Google Gemma 4 E2B va E4B uchun 2,3 va 4,5 milliard samarali parametrni ko‘rsatgan; ikkalasi ham matn, rasm va audioni qabul qiladi. Uchala model ham Apache 2.0 litsenziyasi ostida chiqarilgan.

Qwen3 1.7BGemma 4 E2BGemma 4 E4B
Ishlab chiquvchiAlibaba (Qwen jamoasi)Google DeepMindGoogle DeepMind
Parametrlar1,7B, shundan 1,4B embeddinglardan tashqarida2,3B samarali, embeddinglar bilan 5,1B4,5B samarali, embeddinglar bilan 8B
Qatlamlar283542
Kontekst uzunligi32 768 token128K token128K token
Kirish ma’lumotlariMatnMatn, rasm, audioMatn, rasm, audio
Fikrlash rejimiHa, sukut bo‘yicha yoqilganHaHa
LitsenziyaApache 2.0Apache 2.0Apache 2.0

1-jadval. Qwen’ning Qwen3-1.7B model kartasi va Google’ning Gemma 4 model kartasida e’lon qilingan xususiyatlar; 2026-yil 5-oktabrda tekshirilgan 7 8.

Manbalar

  1. Qwen. “Qwen3-1.7B.” Model kartasi va konfiguratsiyasi, Hugging Face. Murojaat qilingan sana: 2026-yil 5-oktabr. huggingface.co/Qwen/Qwen3-1.7B
  2. Google DeepMind. “Gemma 4 model kartasi.” Google AI for Developers. Murojaat qilingan sana: 2026-yil 5-oktabr. ai.google.dev/gemma/docs/core/model_card_4

Ushbu qo‘llanmani Ailoot bilan amalda qo‘llang

AI modellarini ilovalaringiz, agentlaringiz va avtomatlashtirish jarayonlaringizga yagona Ailoot API orqali ulang. Vazifangizga mos modelni tanlang va boshlash uchun Ailoot hujjatlariga amal qiling.