Tinklaraštis

Geriausi maži LLM, kuriuos galima paleisti vietoje: išsamus vadovas

Markdown

Geriausi maži LLM, kuriuos galima paleisti vietoje 2026 m. — Qwen3, Gemma 3, Llama 3.2 ir Phi-4-mini — taip pat reikalinga RAM ir nurodymai, kaip juos paleisti su Ollama.

Maži kalbos modeliai tyliai tapo vienu naudingiausių įrankių, kuriuos programuotojas gali turėti savo kompiuteryje. Nebereikia GPU serverių stovo ar sąskaitos už debesijos paslaugas, kad galėtumėte naudoti pajėgų modelį, kuris visiškai neprisijungęs atsako į klausimus, kuria kodą ir apibendrina dokumentus.

Nuo pirmųjų atvirųjų svorių modelių — originaliųjų LLaMA, Alpaca ir GPT-J — laikų situacija gerokai pasikeitė. 2026 m. nešiojamajame kompiuteryje veikiantis 4 milijardų parametrų modelis gali atlikti darbus, kuriems anksčiau reikėjo dešimt kartų didesnio modelio. Šiame vadove aptariami geriausi šiandien vietoje paleidžiami maži LLM, jiems reikalinga įranga ir paprasčiausi būdai juos paleisti.

Trumpai. Geriausi maži LLM, kuriuos galima paleisti vietoje 2026 m., yra Qwen3 (1.7B–14B), Google Gemma 3 (1B–12B), Meta Llama 3.2 (1B/3B) ir Microsoft Phi-4-mini (3.8B). Qwen3 yra saugiausias universalus pasirinkimas. Paleiskite juos naudodami Ollama arba LM Studio; daugumai pakanka vos 8–16 GB RAM.

Kas 2026 m. laikoma mažu LLM?

Mažas LLM (kartais vadinamas mažu kalbos modeliu arba SLM) yra kompaktiškas modelis, kurį galima paleisti vartotojams skirtoje įrangoje, o ne debesijos GPU klasteryje. Oficialios ribos nėra, tačiau šiandieniniai maži modeliai paprastai pasižymi trimis savybėmis:

  • Maždaug 0.5B–14B parametrų — pakankamai maži, kad kvantizuota versija tilptų į įprasto nešiojamojo kompiuterio arba vieno vidutinės klasės GPU atmintį.
  • Gerai veikia po 4 bitų kvantizavimo, kuris atminties naudojimą sumažina maždaug 4x, o kokybė nukenčia tik nežymiai.
  • Išleidžiami kaip atviri svoriai, todėl juos galima atsisiųsti, paleisti ir dažnai papildomai pritaikyti be API rakto.

Pagrindinis pokytis nuo 2023 m. — kokybė, tenkanti vienam parametrui. Šiuolaikinis 3–4B modelis yra suderintas vykdyti instrukcijas, daugiakalbis ir dažnai geriau samprotauja nei prieš dvejus metus sukurtas 13B modelis. Todėl senieji favoritai — vanilla LLaMA 7B, Alpaca, Vicuna, GPT-J, GPT-Neo, Falcon 7B — užleido vietą toliau aptariamoms šeimoms.

Kodėl verta mažą LLM paleisti vietoje?

Paleidę modelį savo kompiuteryje, gaunate keletą dalykų, kurių negali pasiūlyti nuotoliniu būdu teikiamas API:

  • Privatumas. Užklausos ir duomenys niekada nepalieka jūsų įrenginio — tai svarbu dirbant su nuosavu kodu, teisiniais ar medicininiais klausimais.
  • Kaina. Nėra mokesčio už kiekvieną tokeną. Atsisiuntus modelį, išvadų generavimas nieko nekainuoja.
  • Darbas neprisijungus. Modelis veikia lėktuve, saugiame tinkle ar bet kur, kur nėra patikimo interneto ryšio.
  • Delsa ir kontrolė. Nėra tinklo atsako delsos ar užklausų skaičiaus apribojimų, o konkrečią versiją galite užfiksuoti, kad jos elgsena netikėtai nepasikeistų.
  • Pritaikymas. Galite modelį papildomai apmokyti arba prijungti informacijos paiešką ir pritaikyti jį savo sričiai.

Kokie maži LLM geriausiai tinka paleisti vietoje 2026 m.?

Tai modelių šeimos, kurias verta atsisiųsti 2026 m., suskirstytos pagal kūrėją ir tinkamiausią paskirtį.

Qwen3 — universalus numatytasis pasirinkimas

Alibaba Qwen3 šeima tyliai tapo atsakymu į klausimą „ką turėčiau paleisti vietoje?“ daugeliui programuotojų. Ji apima įvairius dydžius — 0.6B, 1.7B, 4B, 8B ir 14B tankiojoje versijoje — ir visi jie platinami pagal liberalią Apache 2.0 licenciją be komercinių apribojimų.

  • Geriausiai tinka: bendro pobūdžio pokalbiams, pagalbai programuojant, kodo pertvarkymui ir daugiakalbėms užduotims.
  • Optimalus pasirinkimas: Qwen3 8B dažnai laikomas geriausiu bendruoju pasirinkimu 8 GB GPU; Qwen3 4B puikiai tinka nešiojamiesiems kompiuteriams, kuriuose naudojamas tik CPU.
  • Kodėl jis išsiskiria: aukšta kokybė, tenkanti vienam parametrui, aiški licencija ir puikus įrankių palaikymas.

Google Gemma 3 — galingas ir multimodalinis modelis

Google Gemma 3 siūlomas 1B, 4B, 12B ir 27B dydžių. 4B ir didesnės versijos yra multimodalinės (gali skaityti vaizdus) ir palaiko 140+ kalbų, todėl Gemma tinka, kai reikia vaizdų analizės arba plataus kalbų palaikymo pačiame įrenginyje.

  • Geriausiai tinka: multimodalinei įvesčiai, daugiakalbėms užduotims ir bendram naudojimui kompiuteryje su 16 GB (Gemma 3 12B).
  • Pastaba: Gemma platinama pagal atskirą Google licenciją — komercinio naudojimo sąlygas pasitikrinkite.

Meta Llama 3.2 — paprasta pradžia

Maži Meta Llama modeliai — Llama 3.2 1B ir 3B — yra paprasčiausias būdas pradėti. Jie labai maži, gerai dokumentuoti, palaikomi visur ir tinka įrenginyje atliekamoms užduotims, tokioms kaip apibendrinimas ir paprasti pokalbiai.

  • Geriausiai tinka: pirmajam vietiniam modeliui, apibendrinimui ir įrenginyje veikiantiems asistentams.
  • Kompromisas: 1B/3B modeliai sudėtingo samprotavimo užduotyse nusileidžia Qwen3 ir Phi-4, tačiau greičiu ir paprastumu juos sunku pranokti.

Microsoft Phi-4 ir Phi-4-mini — įspūdingas samprotavimas pagal modelio dydį

Microsoft Phi modeliai intensyviai mokomi naudojant kruopščiai atrinktus ir sintetinius duomenis, todėl matematikoje, logikoje ir struktūruotame problemų sprendime jie pasiekia daugiau, nei būtų galima tikėtis pagal jų dydį. Phi-4 yra 14B modelis, kuris samprotavimo užduotyse nuolat konkuruoja su gerokai didesniais modeliais, o Phi-4-mini (3.8B), ko gero, yra geriausias mažas samprotavimo modelis, kurį galima paleisti su minimalia įranga — 4 bitų versijai reikia apie 3 GB VRAM. Abu platinami pagal liberalią MIT licenciją.

  • Geriausiai tinka: matematikai, logikai ir nuosekliam samprotavimui naudojant vidutinės klasės įrangą.

Mistral 7B — brandus, į kodą orientuotas variantas

Mistral 7B tebėra patikimas universalus modelis, turintis vieną didžiausių papildomai pritaikytų versijų ir integracijų ekosistemų. Jis platinamas pagal Apache 2.0 licenciją, patogiai veikia 8 GB GPU ir išlieka mėgstamas vietinių, į kodą orientuotų konfigūracijų pasirinkimas. Mažesni Mistral Ministral modeliai (3B ir 8B) išplečia šeimą į kraštinių įrenginių naudojimo sritį.

  • Geriausiai tinka: programavimui, gerai palaikomam bendrojo pobūdžio modeliui ir paprastam papildomam apmokymui.

Distiliuoti DeepSeek-R1 modeliai — logikos reikalaujančioms užduotims

DeepSeek išleido distiliuotus samprotavimo modelius, sukurtus Qwen ir Llama pagrindu (dažniausiai 7B, 8B ir 14B). Jie suteikia minčių grandinės tipo samprotavimo galimybes tokio dydžio modeliams, kuriuos galima paleisti vietoje, ir gerai sprendžia užduotis žingsnis po žingsnio. Jie platinami pagal MIT licenciją ir pasiekiami per Ollama.

  • Geriausiai tinka: samprotavimui, matematikai ir užduotims, kurioms naudinga matyti mąstymo žingsnius.

SmolLM2 — kai reikia absoliučiai mažiausio modelio

Hugging Face SmolLM2 siūlomas 135M, 360M ir 1.7B dydžių. Šiuos modelius verta rinktis, kai įranga itin ribota, kai dirbate naršyklėje arba naudojate kraštinius įrenginius. Jie geba apibendrinti tekstą ir vykdyti paprastas instrukcijas, tačiau nėra skirti sudėtingam samprotavimui.

  • Geriausiai tinka: itin mažam RAM kiekiui, įterptinėms ir kraštinėms sistemoms bei eksperimentams.

Mažų LLM palyginimo lentelė

Apytikriai skaičiai pateikti 4 bitų (Q4) kvantizuotoms versijoms. Tikrasis atminties naudojimas priklauso nuo konteksto ilgio ir vykdymo aplinkos.

ModelisParametraiApytikslė RAM/VRAM (Q4)Geriausiai tinkaLicencija
Qwen3 1.7B1.7B~2 GBGreitiems pokalbiams bet kuriame nešiojamajame kompiuteryjeApache 2.0
Qwen3 4B4B~3–4 GBSubalansuotiems pokalbiams + nesudėtingam programavimuiApache 2.0
Qwen3 8B8B~6–8 GBGeriausias universalus pasirinkimas su 8 GB GPUApache 2.0
Qwen3 14B14B~10–12 GBProgramavimui, kodo pertvarkymui, samprotavimuiApache 2.0
Gemma 3 4B4B~3–4 GBMultimodalinėms užduotims / 140+ kalbųGemma
Gemma 3 12B12B~9–10 GBGalingam bendrojo pobūdžio naudojimui su 16 GBGemma
Llama 3.2 3B3B~3 GBPaprastai pradžiaiLlama
Phi-4-mini3.8B~3 GBSamprotavimui ir matematikai su nedidele įrangaMIT
Phi-414B~10–12 GBMatematikai ir logikai, viršijančioms lūkesčius pagal dydįMIT
Mistral 7B7B~5–6 GBĮ kodą orientuotam darbui, brandžiai ekosistemaiApache 2.0
DeepSeek-R1 distill 8B8B~6–8 GBLogikos reikalaujančioms užduotims ir nuosekliam samprotavimuiMIT
SmolLM2 1.7B1.7B~1.5 GBKraštiniams įrenginiams / itin mažam RAM kiekiuiApache 2.0

Kiek RAM ir kokios įrangos reikia?

Naudinga taisyklė: 4 bitų kvantizuotam modeliui reikia maždaug 0.6–0.75 GB atminties kiekvienam milijardui parametrų, taip pat šiek tiek papildomos vietos kontekstui. Taigi 7B modeliui reikia apie 5–6 GB, o 14B modeliui — apie 10–12 GB. Galimybės priklauso nuo turimos atminties:

TuritePatogus modelio dydisTinkami modeliai
8 GB RAM, be GPU1–4BQwen3 4B, Phi-4-mini, Gemma 3 1B, Llama 3.2 3B
8 GB GPU (VRAM)7–8BQwen3 8B, Mistral 7B, DeepSeek-R1 distill 8B
16 GB RAM / VRAM12–14BGemma 3 12B, Qwen3 14B, Phi-4
24 GB+ GPU14–32BQwen3 32B, didesni DeepSeek variantai

Apple Silicon Mac kompiuteriai yra ypatingas atvejis: dėl bendrosios atminties GPU gali naudoti didžiąją dalį sistemos RAM, todėl M serijos MacBook su 16–32 GB gali paleisti modelius, kuriems asmeniniame kompiuteryje reikėtų atskiros GPU.

Auksinė taisyklė: nepradėkite nuo didžiausio modelio. Pradėkite nuo geriausio modelio, kurį jūsų įranga gali patogiai paleisti. Greitas 4B modelis pranašesnis už 14B modelį, kuris naudoja disko atmintį ir atsako vieno tokeno per sekundę greičiu.

Kaip paleisti mažą LLM vietoje?

Norint pradėti, nereikia liesti Python. Beveik visiems atvejams pakanka trijų įrankių:

  • Ollama — paprasčiausias būdas. Įdiekite ją, tada viena komanda atsisiųskite ir paleiskite modelį. Ji pasirūpina atsisiuntimu, kvantizavimu ir OpenAI suderinama API adresu localhost:11434.
  • LM Studio — išbaigta darbalaukio programa su pokalbių sąsaja, modelių naršykle ir atsisiuntimu vienu spustelėjimu. Geriausiai tinka, jei pirmenybę teikiate grafinei sąsajai.
  • llama.cpp — pagrindinis C/C++ variklis, kuriuo paremta didelė ekosistemos dalis. Rinkitės jį, jei norite maksimalios kontrolės arba tiesiogiai paleisti GGUF failus CPU ar Apple Silicon įrenginyje.

Pirmą kartą paleidus Ollama, veiksmai atrodo taip:

# Pull and chat with Qwen3 8B (best all-rounder on an 8 GB GPU)
ollama pull qwen3:8b
ollama run qwen3:8b

# Lighter options for CPU-only laptops
ollama pull qwen3:4b
ollama pull llama3.2:3b
ollama pull phi4-mini
ollama pull gemma3:4b

Paleidus modelį, tiek Ollama, tiek LM Studio pateikia su OpenAI suderinamą galinį tašką, todėl esamus įrankius ir scenarijus prie vietinio modelio galite prijungti tiesiog pakeitę bazinį URL.

Kaip pasirinkti tinkamą mažą LLM?

Rinkitės modelį pagal užduotį, o ne vaikydamiesi reitingų:

  • Bendro pobūdžio pokalbiai ir kasdienės užduotys: Qwen3 (4B arba 8B) — saugiausias numatytasis pasirinkimas.
  • Programavimas ir kodo pertvarkymas: Qwen3 14B, Mistral arba DeepSeek-R1 distill su 12–16 GB GPU.
  • Matematika, logika ir samprotavimas su nedidele įranga: Phi-4-mini, o turint 16 GB — Phi-4.
  • Vaizdai arba daug kalbų: Gemma 3 4B arba 12B.
  • Mažiausias įmanomas dydis: Llama 3.2 1B, Gemma 3 1B arba SmolLM2.

Kokie yra mažų vietinių LLM apribojimai?

Maži modeliai tikrai naudingi, tačiau verta žinoti, kur baigiasi jų galimybės:

  • Mažiau bendrųjų žinių. Jie žino mažiau nei pažangiausi debesijos modeliai ir gali užtikrintai pateikti klaidingą atsakymą, todėl svarbius faktus patikrinkite.
  • Silpnesnis sudėtingas samprotavimas. 3B modelis neprilygs dideliam nuotoliniu būdu teikiamam modeliui sprendžiant sudėtingas kelių žingsnių problemas.
  • Kompromisai tarp konteksto ir spartos. Ilgam kontekstui reikia daugiau atminties; dideli modeliai CPU gali veikti lėtai.
  • Kokybė priklauso nuo užduoties. Pokalbiams puikus modelis gali būti vidutiniškas rašant kodą. Prieš pasirinkdami išbandykite kelis modelius.

Daugelyje darbo procesų padeda informacijos paieška (RAG) arba greitas papildomas apmokymas, kuriuo modeliui suteikiami jūsų duomenys — abu sprendimai vietoje kainuoja gerokai mažiau, nei gali pasirodyti.

DUK

Koks mažas LLM geriausiai tinka paleisti vietoje 2026 m.?

Daugumai žmonių Qwen3 8B yra geriausias universalus pasirinkimas su 8 GB GPU, o Qwen3 4B arba Llama 3.2 3B puikiai tinka nešiojamiesiems kompiuteriams, kuriuose naudojamas tik CPU. Rinkitės didžiausią modelį, kurį jūsų įranga gali patogiai paleisti, o ne didžiausią prieinamą modelį.

Kokį mažiausią LLM galima paleisti vietoje?

Tokie modeliai kaip SmolLM2 (135M–1.7B), Llama 3.2 1B, Gemma 3 1B ir Qwen3 0.6B veikia beveik bet kuriame šiuolaikiniame nešiojamajame kompiuteryje; 4 bitų kvantizuotoms versijoms dažnai pakanka mažiau nei 2 GB RAM. Jie geba apibendrinti tekstą ir palaikyti paprastus pokalbius, tačiau sudėtingai samprotauja prastai.

Kiek RAM reikia mažam LLM paleisti vietoje?

4 bitų kvantizuotam 3–4B modeliui reikia maždaug 3–4 GB laisvos RAM arba VRAM, 7–8B modeliui — apie 6–8 GB, o 12–14B modeliui reikia 10–16 GB. Daugumai mažų modelių patogus atskaitos taškas yra 16 GB sistemos RAM.

Koks paprasčiausias būdas paleisti mažą LLM vietoje?

Įdiekite Ollama arba LM Studio, tada viena komanda atsisiųskite modelį (pavyzdžiui, ollama pull qwen3:8b). Abi programos pasirūpina atsisiuntimu, kvantizavimu ir vietine pokalbių sąsaja bei pateikia su OpenAI suderinamą API jūsų programoms.

Ar galima mažą LLM paleisti be GPU?

Taip. Taikant 4 bitų kvantizavimą, iki maždaug 7–8B dydžio modeliai veikia šiuolaikiniame CPU, o Apple Silicon Mac kompiuteriuose dėl bendrosios atminties jie veikia pastebimai greičiau. Tokenai bus generuojami lėčiau nei naudojant atskirą GPU, tačiau pokalbiams ir tekstų rengimui jų spartos pakanka.

Ar maži vietiniai LLM tinka programuoti?

Gali tikti. Tarp mažų modelių Qwen3 ir distiliuoti DeepSeek-R1 modeliai gerai dirba su kodu, o Mistral turi brandžią, į programavimą orientuotą ekosistemą. Sudėtingesniam kodo pertvarkymui 14B modelis su 12–16 GB GPU užtikrina geriausią vietoje pasiekiamą kokybę.

Apibendrinimas

Maži vietiniai LLM iš mėgėjų eksperimento tapo praktiška kasdiene priemone. Pradėkite nuo Qwen3 kaip subalansuoto numatytojo pasirinkimo, rinkitės Phi-4-mini, kai reikia samprotavimo su nedidele įranga, o Gemma 3 — kai reikia vaizdų analizės arba daugelio kalbų. Visus juos per kelias minutes paleisite naudodami Ollama arba LM Studio. Pagalbos naudojantis Ailoot dokumentacija rasite Ailoot dokumentacijoje.