Blog

Mahalliy ishga tushirish uchun eng yaxshi kichik LLMlar: batafsil qo‘llanma

Markdown

2026-yilda mahalliy ishga tushirish uchun eng yaxshi kichik LLMlar — Qwen3, Gemma 3, Llama 3.2 va Phi-4-mini, shuningdek, sizga kerak bo‘ladigan operativ xotira hajmi va ularni Ollama yordamida ishga tushirish usullari.

Kichik til modellari dasturchi o‘z kompyuterida saqlashi mumkin bo‘lgan eng foydali vositalardan biriga sezdirmasdan aylandi. Endi savollarga javob beradigan, kod yozadigan va hujjatlarni butunlay oflayn tarzda qisqacha bayon qiladigan qobiliyatli modeldan foydalanish uchun GPUlar tokchasi yoki bulut xizmatlari uchun hisob-kitoblar kerak emas.

Dastlabki ochiq vaznli LLaMA, Alpaca va GPT-J modellari davridan beri vaziyat ancha o‘zgardi. 2026-yilda noutbukdagi 4 milliard parametrli model ilgari o‘zidan o‘n baravar katta modelni talab qilgan ishlarni bajara oladi. Ushbu qo‘llanmada bugun mahalliy ishga tushirish uchun eng yaxshi kichik LLMlar, ularga kerak bo‘ladigan qurilmalar va ularni ishga tushirishning eng sodda usullari ko‘rib chiqiladi.

Qisqa javob. 2026-yilda mahalliy ishga tushirish uchun eng yaxshi kichik LLMlar — Qwen3 (1.7B–14B), Google Gemma 3 (1B–12B), Meta Llama 3.2 (1B/3B) va Microsoft Phi-4-mini (3.8B). Qwen3 — ko‘p vazifa uchun eng ishonchli standart tanlov. Ularni Ollama yoki LM Studio yordamida ishga tushiring; aksariyatiga atigi 8–16 GB operativ xotira kerak.

2026-yilda qaysi model kichik LLM hisoblanadi?

Kichik LLM (ba’zan kichik til modeli yoki SLM deb ataladi) — bulutdagi GPU klasterida emas, iste’molchilar uchun mo‘ljallangan qurilmalarda ishlatish mumkin bo‘lgan ixcham model. Rasmiy chegara belgilanmagan, ammo amalda bugungi kichik modellarga uchta xususiyat xos:

  • Taxminan 0.5B–14B parametr — kvantlangan versiyasi oddiy noutbuk yoki o‘rta toifadagi bitta GPU xotirasiga sig‘adigan darajada kichik.
  • 4-bit kvantlashdan keyin yaxshi ishlaydi; bu sifatni ozgina pasaytirgan holda xotira sarfini taxminan 4 baravar kamaytiradi.
  • Ochiq vaznlar bilan tarqatiladi, shuning uchun ularni API kalitisiz yuklab olish, ishga tushirish va ko‘pincha fine-tuning qilish mumkin.

2023-yildan beri asosiy o‘zgarish — har bir parametrga to‘g‘ri keladigan sifat. Zamonaviy 3–4B model ko‘rsatmalarga moslab o‘qitilgan, ko‘p tilli va ko‘pincha ikki yil oldingi 13B modelga qaraganda yaxshiroq fikr yuritadi. Shu sababli avvalgi mashhur modellar — vanilla LLaMA 7B, Alpaca, Vicuna, GPT-J, GPT-Neo, Falcon 7B — quyida keltirilgan oilalarga o‘z o‘rnini bo‘shatdi.

Nega kichik LLMni mahalliy ishga tushirish kerak?

Modelni o‘z qurilmangizda ishga tushirish joylashtirilgan API bera olmaydigan bir qancha afzalliklarni taqdim etadi:

  • Maxfiylik. So‘rovlar va ma’lumotlar qurilmangizdan chiqmaydi — bu xususiy kod, huquqiy yoki tibbiy ishlar uchun muhim.
  • Narx. Har bir token uchun to‘lov yo‘q. Model yuklab olingach, inferens bepul.
  • Oflayn foydalanish. Samolyotda, himoyalangan tarmoqda yoki ishonchli internet bo‘lmagan istalgan joyda ishlaydi.
  • Kechikish va nazorat. Tarmoq orqali borib-kelish yo‘q, so‘rovlar tezligiga cheklov yo‘q; xatti-harakati o‘zgarib ketmasligi uchun muayyan versiyani belgilab qo‘yishingiz mumkin.
  • Moslashtirish. Modelni o‘z sohangizga moslashtirish uchun fine-tuning qilishingiz yoki unga qidiruvni ulashingiz mumkin.

2026-yilda mahalliy ishga tushirish uchun eng yaxshi kichik LLMlar qaysilar?

2026-yilda yuklab olishga arziydigan model oilalari ishlab chiqaruvchilari va eng mos vazifalariga ko‘ra guruhlangan.

Qwen3 — ko‘p vazifa uchun standart tanlov

Alibaba’ning Qwen3 oilasi ko‘pchilik dasturchilar uchun «mahalliy nima ishga tushirsam bo‘ladi?» degan savolga sezdirmasdan javobga aylandi. U turli o‘lchamlarni qamrab oladi — zich modellar 0.6B, 1.7B, 4B, 8B va 14B — hammasi tijoriy cheklovlari bo‘lmagan, ruxsat beruvchi Apache 2.0 litsenziyasi ostida tarqatiladi.

  • Eng mos: umumiy chat, kod yozishda yordam, refaktoring va ko‘p tilli ishlar.
  • Eng maqbul tanlov: Qwen3 8B ko‘pincha 8 GB GPU uchun eng yaxshi umumiy tanlov deb qaraladi; Qwen3 4B esa faqat CPU’li noutbuklar uchun kuchli variant.
  • Nega yaxshi: parametrga nisbatan yuqori sifat, sodda litsenziya va vositalarning a’lo darajadagi qo‘llab-quvvatlashi.

Google Gemma 3 — kuchli va multimodal

Google Gemma 3 1B, 4B, 12B va 27B o‘lchamlarda chiqariladi. 4B va undan katta variantlari multimodal (tasvirlarni o‘qiy oladi) va 140 dan ortiq tilni qo‘llab-quvvatlaydi. Shu sababli qurilmada tasvir bilan ishlash yoki keng til qamrovi kerak bo‘lsa, Gemma mos tanlov bo‘ladi.

  • Eng mos: multimodal kiritish, ko‘p tilli vazifalar va 16 GB xotirali qurilmada umumiy foydalanish (Gemma 3 12B).
  • Eslatma: Gemma Google’ning o‘z litsenziyasi ostida tarqatiladi — tijoriy foydalanish shartlarini tekshiring.

Meta Llama 3.2 — boshlash uchun qulay

Meta’ning kichik Llama modellari — Llama 3.2 1B va 3B — boshlashning eng oson yo‘li. Ular juda ixcham, yaxshi hujjatlashtirilgan, hamma joyda qo‘llab-quvvatlanadi va qisqacha bayon hamda oddiy chat kabi qurilmada bajariladigan vazifalarni yaxshi uddalaydi.

  • Eng mos: birinchi mahalliy model, qisqacha bayon va qurilmadagi yordamchilar.
  • Murosa: 1B/3B o‘lchamlar murakkab fikrlashda Qwen3 va Phi-4’dan ortda qoladi, biroq tezlik va soddalik bo‘yicha ularga teng kelish qiyin.

Microsoft Phi-4 va Phi-4-mini — o‘lchamidan kutilganidan kuchliroq fikrlaydi

Microsoft’ning Phi modellari saralangan va sintetik ma’lumotlarda ko‘p o‘qitiladi; shu sababli ular o‘lchamiga nisbatan matematika, mantiq va tizimli masalalar yechishda yuqori natija ko‘rsatadi. Phi-4 — fikrlash vazifalarida ancha katta modellar bilan muntazam raqobatlashadigan 14B model, Phi-4-mini (3.8B) esa kam quvvatli qurilmada ishga tushirish mumkin bo‘lgan eng yaxshi kichik mantiqiy model bo‘lishi mumkin — 4-bitda taxminan 3 GB VRAM kerak. Ikkalasi ham ruxsat beruvchi MIT litsenziyasi ostida tarqatiladi.

  • Eng mos: kam quvvatli qurilmada matematika, mantiq va bosqichma-bosqich fikrlash.

Mistral 7B — yetuk, kodga yo‘naltirilgan variant

Mistral 7B ko‘plab fine-tuning variantlari va integratsiyalarga ega, ishonchli ishchi model bo‘lib qolmoqda. U Apache 2.0 litsenziyasida, 8 GB GPU’da bemalol ishlaydi va kodga yo‘naltirilgan mahalliy sozlamalarda hanuz sevimli tanlov hisoblanadi. Mistral’ning kichikroq Ministral modellari (3B va 8B) oilani chekka qurilmalarda ishlatish imkonini kengaytiradi.

  • Eng mos: kod yozish, yaxshi qo‘llab-quvvatlanadigan umumiy model va oson fine-tuning.

DeepSeek-R1 distillangan modellar — mantiqqa boy vazifalar uchun

DeepSeek Qwen va Llama bazalarida yaratilgan distillangan fikrlash modellarini chiqardi (odatda 7B, 8B va 14B). Ular fikr zanjiri uslubidagi mulohazalarni mahalliy ishga tushirish mumkin bo‘lgan o‘lchamlarga olib keladi va masalalarni bosqichma-bosqich yechishda kuchli. MIT litsenziyasida tarqatiladi va Ollama’da mavjud.

  • Eng mos: fikrlash, matematika va fikrlash bosqichlarini ko‘rish foydali bo‘lgan masalalar.

SmolLM2 — eng kichik model kerak bo‘lganda

Hugging Face’ning SmolLM2 modeli 135M, 360M va 1.7B o‘lchamlarda mavjud. Bu modellar xotira imkoniyati eng cheklangan qurilmalar, brauzerlar yoki chekka qurilmalar uchun tanlanadi. Ular qisqacha bayon va oddiy ko‘rsatmalarni bajara oladi, ammo murakkab fikrlash uchun yaratilmagan.

  • Eng mos: juda kam RAM, o‘rnatilgan va chekka qurilmalardan foydalanish, tajribalar.

Kichik LLMlarni taqqoslash jadvali

4-bitli (Q4) kvantlangan versiyalar uchun taxminiy ko‘rsatkichlar. Haqiqiy xotira sarfi kontekst uzunligi va ishlash muhitiga qarab o‘zgaradi.

ModelParametrlarTaxminiy RAM/VRAM (Q4)Eng mosLitsenziya
Qwen3 1.7B1.7B~2 GBHar qanday noutbukda tez chatApache 2.0
Qwen3 4B4B~3–4 GBMuvozanatli chat va yengil kod yozishApache 2.0
Qwen3 8B8B~6–8 GB8 GB GPU’da ko‘p vazifa uchun eng yaxshiApache 2.0
Qwen3 14B14B~10–12 GBKod yozish, refaktoring, fikrlashApache 2.0
Gemma 3 4B4B~3–4 GBMultimodal vazifalar / 140 dan ortiq tilGemma
Gemma 3 12B12B~9–10 GB16 GB qurilmada kuchli umumiy foydalanishGemma
Llama 3.2 3B3B~3 GBBoshlash uchun qulayLlama
Phi-4-mini3.8B~3 GBKam quvvatli qurilmada fikrlash/matematikaMIT
Phi-414B~10–12 GBO‘lchamiga nisbatan kuchli matematika/mantiqMIT
Mistral 7B7B~5–6 GBKodga yo‘naltirilgan, yetuk ekotizimApache 2.0
DeepSeek-R1 distill 8B8B~6–8 GBMantiqqa boy, bosqichma-bosqich fikrlashMIT
SmolLM2 1.7B1.7B~1.5 GBChekka qurilma / juda kam RAMApache 2.0

Qancha RAM va qanday qurilma kerak?

Foydali qoida: 4-bitli kvantlangan modelga har bir milliard parametr uchun taxminan 0.6–0.75 GB xotira, shuningdek kontekst uchun biroz zaxira kerak. Demak, 7B modelga taxminan 5–6 GB, 14B modelga esa 10–12 GB kerak. Mavjud xotirangizga qarab variantlar quyidagicha:

Sizda borQulay model o‘lchamiYaxshi tanlovlar
8 GB RAM, GPU yo‘q1–4BQwen3 4B, Phi-4-mini, Gemma 3 1B, Llama 3.2 3B
8 GB GPU (VRAM)7–8BQwen3 8B, Mistral 7B, DeepSeek-R1 distill 8B
16 GB RAM / VRAM12–14BGemma 3 12B, Qwen3 14B, Phi-4
24 GB yoki undan ko‘p GPU14–32BQwen3 32B, DeepSeek’ning kattaroq variantlari

Apple Silicon’li Mac’lar alohida holat: ularning birlashtirilgan xotirasi GPU’ga tizim RAM’ining katta qismidan foydalanish imkonini beradi. Shu sababli 16–32 GB xotirali M-seriyali MacBook kompyuterda alohida GPU talab qiladigan modellarni ishga tushira oladi.

Oltin qoida: eng katta modeldan boshlamang. Qurilmangiz bemalol ishlata oladigan eng yaxshi modeldan boshlang. Tez ishlaydigan 4B model xotirani diskka almashtirib, soniyasiga bir token chiqaradigan 14B modeldan afzal.

Kichik LLMni mahalliy qanday ishga tushirish mumkin?

Boshlash uchun Python’ga tegishingiz shart emas. Deyarli barcha ehtiyojlarni uchta vosita qoplaydi:

  • Ollama — eng sodda yo‘l. Uni o‘rnating, so‘ng modelni bitta buyruq bilan yuklab olib ishga tushiring. U yuklab olish va kvantlashni bajaradi hamda localhost:11434 manzilida OpenAI bilan mos API’ni taqdim etadi.
  • LM Studio — chat interfeysi, model katalogi va bir marta bosib yuklab olish imkoniyati bo‘lgan sayqallangan ish stoli ilovasi. Grafik interfeysni afzal ko‘rsangiz, eng yaxshi tanlov.
  • llama.cpp — ekotizimning katta qismiga quvvat beradigan asosiy C/C++ dvigateli. Maksimal nazorat yoki GGUF fayllarini bevosita CPU yoki Apple Silicon’da ishga tushirish kerak bo‘lsa, undan foydalaning.

Ollama yordamida ilk ishga tushirish quyidagicha ko‘rinadi:

# Pull and chat with Qwen3 8B (best all-rounder on an 8 GB GPU)
ollama pull qwen3:8b
ollama run qwen3:8b

# Lighter options for CPU-only laptops
ollama pull qwen3:4b
ollama pull llama3.2:3b
ollama pull phi4-mini
ollama pull gemma3:4b

Model ishga tushgach, Ollama ham, LM Studio ham OpenAI bilan mos endpoint taqdim etadi. Shuning uchun asosiy URL’ni o‘zgartirish orqali mavjud vositalar va skriptlarni mahalliy modelingizga yo‘naltirishingiz mumkin.

To‘g‘ri kichik LLMni qanday tanlash mumkin?

Reyting jadvaliga quvishmasdan, modelni vazifaga moslang:

  • Umumiy chat va kundalik vazifalar: Qwen3 (4B yoki 8B) — eng ishonchli standart tanlov.
  • Kod yozish va refaktoring: Qwen3 14B, Mistral yoki 12–16 GB GPU’da DeepSeek-R1 distill.
  • Kam quvvatli qurilmada matematika, mantiq va fikrlash: Phi-4-mini; 16 GB bo‘lsa, Phi-4.
  • Tasvirlar yoki ko‘p tillar: Gemma 3 4B yoki 12B.
  • Eng kichik hajm: Llama 3.2 1B, Gemma 3 1B yoki SmolLM2.

Kichik mahalliy LLMlarning cheklovlari qanday?

Kichik modellar haqiqatan foydali, ammo ularning imkoniyati qayerda tugashini bilish kerak:

  • Dunyo haqidagi bilimlari kamroq. Ular ilg‘or bulut modellaridan kamroq ma’lumotga ega va ishonch bilan xato qilishi mumkin. Shu sababli muhim faktlarni tekshiring.
  • Juda murakkab fikrlashda kuchsizroq. 3B model murakkab, ko‘p bosqichli masalalarda katta joylashtirilgan modelga tenglasha olmaydi.
  • Kontekst va tezlik murosasi. Uzun kontekst ko‘proq xotira ishlatadi; CPU’da katta modellar sekin bo‘lishi mumkin.
  • Sifat vazifaga qarab o‘zgaradi. Chatda zo‘r model kodda o‘rtacha bo‘lishi mumkin. Birini tanlashdan oldin bir nechtasini sinab ko‘ring.

Ko‘plab ish jarayonlarida yechim — qidiruvni ulash (RAG) yoki modelga o‘z ma’lumotlaringizni berib tezkor fine-tuning qilish. Ikkalasi ham mahalliy bajarilganda o‘ylagandan ancha arzon.

Ko‘p so‘raladigan savollar

2026-yilda mahalliy ishga tushirish uchun eng yaxshi kichik LLM qaysi?

Ko‘pchilik uchun Qwen3 8B — 8 GB GPU’dagi eng yaxshi universal tanlov; Qwen3 4B yoki Llama 3.2 3B esa faqat CPU’li noutbuklarda yaxshi ishlaydi. Mavjud modellar orasidagi eng kattasini emas, qurilmangiz bemalol ishlata oladigan eng katta modelni tanlang.

Mahalliy ishga tushirish mumkin bo‘lgan eng kichik LLM qaysi?

SmolLM2 (135M–1.7B), Llama 3.2 1B, Gemma 3 1B va Qwen3 0.6B kabi modellar deyarli har qanday zamonaviy noutbukda ishlaydi. 4-bit kvantlanganda ular ko‘pincha 2 GB’dan kam RAM ishlatadi. Qisqacha bayon va oddiy chatga yaroqli, ammo murakkab fikrlashda kuchsiz.

Kichik LLMni mahalliy ishga tushirish uchun qancha RAM kerak?

4-bitli kvantlangan 3–4B modelga taxminan 3–4 GB bo‘sh RAM yoki VRAM, 7–8B modelga 6–8 GB, 12–14B modelga esa 10–16 GB kerak. Ko‘pchilik kichik modellar uchun 16 GB tizim RAM’i qulay boshlang‘ich daraja hisoblanadi.

Kichik LLMni mahalliy ishga tushirishning eng oson yo‘li qanday?

Ollama yoki LM Studio’ni o‘rnating, so‘ng modelni bitta buyruq bilan yuklab oling (masalan, ollama pull qwen3:8b). Ikkalasi ham yuklab olish va kvantlashni bajaradi, mahalliy chat interfeysini taqdim etadi va ilovalaringiz uchun OpenAI bilan mos API’ni ochadi.

Kichik LLMni GPUsiz ishga tushira olamanmi?

Ha. 4-bit kvantlash bilan taxminan 7–8B gacha bo‘lgan modellar zamonaviy CPU’da ishlaydi; birlashtirilgan xotira tufayli Apple Silicon’li Mac’larda ancha tezroq ishlaydi. Alohida GPU’dagidan token tezligi pastroq bo‘ladi, ammo chat va qoralama matnlar uchun yetarli.

Kichik mahalliy LLMlar kod yozishga yaxshimi?

Yaxshi bo‘lishi mumkin. Kichik modellar orasida Qwen3 va DeepSeek-R1’ning distillangan modellari kod yozishda kuchli, Mistral esa kodga yo‘naltirilgan yetuk ekotizimga ega. Kengroq refaktoring uchun 12–16 GB GPU’dagi 14B model mahalliy olishingiz mumkin bo‘lgan eng yaxshi sifatni beradi.

Xulosa

Kichik mahalliy LLMlar havaskorlar tajribasidan kundalik foydalanish uchun amaliy vositaga aylandi. Muvozanatli standart tanlov sifatida Qwen3’dan boshlang, kam quvvatli qurilmada fikrlash kerak bo‘lsa Phi-4-mini’ni tanlang, tasvirlar yoki ko‘p tillar kerak bo‘lsa Gemma 3’dan foydalaning — bularning barchasini Ollama yoki LM Studio orqali bir necha daqiqada ishga tushirish mumkin. Ailoot hujjatlaridan foydalanish bo‘yicha yordam uchun Ailoot hujjatlari sahifasiga qarang.