Blog

Nejlepší malé LLM pro místní spuštění: komplexní průvodce

Markdown

Nejlepší malé LLM pro místní spuštění v roce 2026 — Qwen3, Gemma 3, Llama 3.2 a Phi-4-mini — a také potřebná paměť RAM a návod, jak je spustit pomocí Ollama.

Malé jazykové modely se nenápadně staly jedním z nejužitečnějších nástrojů, které může mít vývojář na svém vlastním počítači. K tomu, abyste získali schopný model, který zcela offline odpovídá na otázky, píše návrhy kódu a shrnuje dokumenty, už nepotřebujete stojan s GPU ani účet za cloud.

Situace se od počátků otevřených vah původních modelů LLaMA, Alpaca a GPT-J výrazně změnila. V roce 2026 dokáže čtyřmiliardový model na notebooku odvést práci, na kterou dříve bylo potřeba něco desetkrát většího. Tento průvodce představuje nejlepší malé LLM, která lze dnes spustit lokálně, potřebný hardware a nejjednodušší způsoby, jak je zprovoznit.

Stručná odpověď. Nejlepší malé LLM pro místní spuštění v roce 2026 jsou Qwen3 (1,7B–14B), Google Gemma 3 (1B–12B), Meta Llama 3.2 (1B/3B) a Microsoft Phi-4-mini (3,8B). Qwen3 je nejbezpečnější univerzální výchozí volba. Spusťte je pomocí Ollama nebo LM Studio; většině stačí jen 8–16 GB RAM.

Co se v roce 2026 považuje za malé LLM?

Malé LLM (někdy označované jako malý jazykový model neboli SLM) je kompaktní model, který můžete spustit na běžném hardwaru místo cloudového GPU clusteru. Oficiální hranice neexistuje, ale dnešní malé modely mají v praxi tři společné rysy:

  • Přibližně 0,5B až 14B parametrů — dost malé na to, aby se kvantizovaná verze vešla do paměti běžného notebooku nebo jediné grafické karty střední třídy.
  • Po 4bitové kvantizaci fungují dobře; ta snižuje využití paměti přibližně 4× jen za cenu malého kompromisu v kvalitě.
  • Jsou dostupné jako otevřené váhy, takže je můžete stáhnout, spustit a často i doladit bez klíče API.

Klíčový posun od roku 2023 spočívá v kvalitě na parametr. Moderní model s 3–4B parametry je doladěný na instrukce, vícejazyčný a často lépe uvažuje než model s 13B parametry z doby před dvěma lety. Proto byly dříve oblíbené modely — vanilla LLaMA 7B, Alpaca, Vicuna, GPT-J, GPT-Neo, Falcon 7B — nahrazeny níže uvedenými rodinami.

Proč spouštět malé LLM lokálně?

Spuštění modelu na vlastním počítači vám přináší několik výhod, které hostované API nabídnout nemůže:

  • Soukromí. Výzvy a data nikdy neopustí vaše zařízení — což je důležité u proprietárního kódu, právní či lékařské práce.
  • Cena. Žádné účtování za token. Jakmile model stáhnete, inference je zdarma.
  • Použití offline. Funguje v letadle, v zabezpečené síti i kdekoli bez spolehlivého internetu.
  • Latence a kontrola. Žádná síťová cesta tam a zpět, žádné limity rychlosti a můžete připnout konkrétní verzi, aby se její chování pod vámi nikdy nezměnilo.
  • Přizpůsobení. Model můžete doladit nebo k němu připojit vyhledávání, abyste ho přizpůsobili vlastní doméně.

Jaká jsou nejlepší malá LLM pro místní spuštění v roce 2026?

Tyto rodiny modelů stojí v roce 2026 za stažení; jsou seskupeny podle toho, kdo je vytváří a k čemu se nejlépe hodí.

Qwen3 — univerzální výchozí volba

Rodina Qwen3 od Alibaby se nenápadně stala odpovědí na otázku „co mám spustit lokálně?“ pro většinu vývojářů. Nabízí širokou škálu velikostí — 0,6B, 1,7B, 4B, 8B a 14B u hustých modelů — všechny pod permisivní licencí Apache 2.0 bez komerčních omezení.

  • Nejvhodnější pro: obecný chat, pomoc s programováním, refaktoring, vícejazyčnou práci.
  • Optimální volba: Qwen3 8B je široce považován za nejlepší celkovou volbu pro GPU s 8 GB; Qwen3 4B je skvělá volba pro notebooky pouze s CPU.
  • Proč vyniká: vysoká kvalita na parametr, přehledná licence a vynikající podpora nástrojů.

Google Gemma 3 — výkonný a multimodální model

Google Gemma 3 je dostupná ve velikostech 1B, 4B, 12B a 27B. Varianty 4B a větší jsou multimodální (umějí číst obrázky) a podporují více než 140 jazyků, takže Gemma je vhodná, když potřebujete přímo v zařízení práci s obrazem nebo široké jazykové pokrytí.

  • Nejvhodnější pro: multimodální vstup, vícejazyčné úlohy, obecné použití na zařízení s 16 GB (Gemma 3 12B).
  • Poznámka: Gemma je dostupná pod vlastní licencí Googlu — ověřte si podmínky komerčního použití.

Meta Llama 3.2 — snadný začátek

Malé modely Llama od Meta — Llama 3.2 1B a 3B — jsou nejsnazší cestou, jak začít. Jsou drobné, dobře zdokumentované, podporované všude a dobře zvládají úlohy přímo v zařízení, jako je shrnování a jednoduchý chat.

  • Nejvhodnější pro: první lokální model, shrnování, asistenty přímo v zařízení.
  • Kompromis: varianty 1B/3B zaostávají za Qwen3 a Phi-4 v náročném uvažování, ale rychlostí a jednoduchostí se jim jen těžko něco vyrovná.

Microsoft Phi-4 a Phi-4-mini — nadprůměrné uvažování vzhledem k velikosti

Modely Phi od Microsoftu jsou intenzivně trénovány na kurátorovaných a syntetických datech, díky čemuž při matematice, logice a strukturovaném řešení problémů předčí svou velikost. Phi-4 je model s 14B parametry, který v úlohách uvažování pravidelně konkuruje mnohem větším modelům, zatímco Phi-4-mini (3,8B) je patrně nejlepší malý model pro uvažování, který lze spustit na minimálním hardwaru — při 4 bitech potřebuje přibližně 3 GB VRAM. Oba jsou dostupné pod permisivní licencí MIT.

  • Nejvhodnější pro: matematiku, logiku, uvažování krok za krokem na nenáročném hardwaru.

Mistral 7B — vyspělá volba zaměřená na kód

Mistral 7B zůstává spolehlivým tahounem s jedním z největších ekosystémů doladěných verzí a integrací. Má licenci Apache 2.0, pohodlně běží na GPU s 8 GB a zůstává oblíbenou volbou pro lokální sestavy zaměřené na kód. Menší modely Ministral od Mistralu (3B a 8B) rozšiřují rodinu směrem k použití na okrajových zařízeních.

  • Nejvhodnější pro: programování, dobře podporovaný obecný model, snadné dolaďování.

Destilované modely DeepSeek-R1 — pro úlohy náročné na logiku

DeepSeek vydal destilované modely pro uvažování postavené na základech Qwen a Llama (obvykle 7B, 8B a 14B). Přinášejí uvažování ve stylu řetězce myšlenek do velikostí, které můžete spouštět lokálně, a dobře zvládají řešení problémů krok za krokem. Mají licenci MIT a jsou dostupné v Ollama.

  • Nejvhodnější pro: uvažování, matematiku a problémy, kterým prospívají viditelné kroky myšlení.

SmolLM2 — když potřebujete úplně nejmenší model

SmolLM2 od Hugging Face je dostupný ve velikostech 135M, 360M a 1,7B. Tyto modely se hodí pro hardware s nejmenší kapacitou, prohlížeče nebo okrajová zařízení. Zvládají shrnování a jednoduché instrukce, ale nejsou určeny pro složité uvažování.

  • Nejvhodnější pro: velmi malou paměť RAM, vestavěná a okrajová zařízení, experimentování.

Srovnávací tabulka malých LLM

Přibližné hodnoty pro 4bitové kvantizované verze (Q4). Skutečné využití paměti se liší podle délky kontextu a běhového prostředí.

ModelParametryPřibližná RAM/VRAM (Q4)Nejvhodnější proLicence
Qwen3 1.7B1,7B~2 GBRychlý chat na jakémkoli notebookuApache 2.0
Qwen3 4B4B~3–4 GBVyvážený chat + nenáročné programováníApache 2.0
Qwen3 8B8B~6–8 GBNejlepší univerzální volba na GPU s 8 GBApache 2.0
Qwen3 14B14B~10–12 GBProgramování, refaktoring, uvažováníApache 2.0
Gemma 3 4B4B~3–4 GBMultimodalita / více než 140 jazykůGemma
Gemma 3 12B12B~9–10 GBVýkonné obecné použití na 16 GBGemma
Llama 3.2 3B3B~3 GBSnadný začátekLlama
Phi-4-mini3,8B~3 GBUvažování/matematika na malém hardwaruMIT
Phi-414B~10–12 GBMatematika/logika nad očekávání vzhledem k velikostiMIT
Mistral 7B7B~5–6 GBZaměření na kód, vyspělý ekosystémApache 2.0
DeepSeek-R1 distill 8B8B~6–8 GBÚlohy náročné na logiku, uvažování krok za krokemMIT
SmolLM2 1.7B1,7B~1,5 GBOkrajová zařízení / velmi malá RAMApache 2.0

Kolik RAM a jaký hardware potřebujete?

Praktické orientační pravidlo: 4bitový kvantizovaný model potřebuje přibližně 0,6–0,75 GB paměti na každou miliardu parametrů plus trochu rezervy pro kontext. Model 7B tedy potřebuje asi 5–6 GB a model 14B asi 10–12 GB. Možnosti se odvíjejí od množství paměti, které máte:

MátePohodlná velikost modeluDobré volby
8 GB RAM, bez GPU1–4BQwen3 4B, Phi-4-mini, Gemma 3 1B, Llama 3.2 3B
GPU s 8 GB (VRAM)7–8BQwen3 8B, Mistral 7B, DeepSeek-R1 distill 8B
16 GB RAM / VRAM12–14BGemma 3 12B, Qwen3 14B, Phi-4
GPU s 24 GB+14–32BQwen3 32B, větší varianty DeepSeek

Počítače Mac s čipy Apple Silicon jsou zvláštní případ: jejich jednotná paměť umožňuje GPU využít většinu systémové RAM, takže MacBook řady M s 16–32 GB dokáže spouštět modely, které by na PC vyžadovaly samostatnou grafickou kartu.

Zlaté pravidlo: nezačínejte s největším modelem. Začněte s nejlepším modelem, který váš hardware zvládá bez potíží. Rychlý model 4B předčí model 14B, který odkládá paměť a odpovídá rychlostí jednoho tokenu za sekundu.

Jak spustit malé LLM lokálně?

Abyste mohli začít, nemusíte se dotknout Pythonu. Tři nástroje pokrývají téměř všechny případy použití:

  • Ollama — nejjednodušší cesta. Nainstalujte ji a potom jedním příkazem stáhněte a spusťte model. Postará se o stahování, kvantizaci a API kompatibilní s OpenAI na localhost:11434.
  • LM Studio — propracovaná desktopová aplikace s chatovacím rozhraním, katalogem modelů a stahováním jedním kliknutím. Nejlepší volba, pokud dáváte přednost grafickému rozhraní.
  • llama.cpp — základní engine v C/C++, který pohání velkou část ekosystému. Sáhněte po něm, když chcete maximální kontrolu nebo spouštět soubory GGUF přímo na CPU či Apple Silicon.

První spuštění s Ollama vypadá takto:

# Pull and chat with Qwen3 8B (best all-rounder on an 8 GB GPU)
ollama pull qwen3:8b
ollama run qwen3:8b

# Lighter options for CPU-only laptops
ollama pull qwen3:4b
ollama pull llama3.2:3b
ollama pull phi4-mini
ollama pull gemma3:4b

Jakmile model běží, Ollama i LM Studio zpřístupňují koncový bod kompatibilní s OpenAI, takže ke svému místnímu modelu můžete připojit stávající nástroje a skripty pouhou změnou základní URL.

Jak vybrat správné malé LLM?

Vybírejte model podle úlohy, místo abyste honili pořadí v žebříčku:

  • Obecný chat a každodenní úlohy: Qwen3 (4B nebo 8B) — nejbezpečnější výchozí volba.
  • Programování a refaktoring: Qwen3 14B, Mistral nebo destilovaný model DeepSeek-R1 na GPU s 12–16 GB.
  • Matematika, logika a uvažování na malém hardwaru: Phi-4-mini, případně Phi-4, pokud máte 16 GB.
  • Obrázky nebo mnoho jazyků: Gemma 3 4B nebo 12B.
  • Co nejmenší nároky: Llama 3.2 1B, Gemma 3 1B nebo SmolLM2.

Jaké jsou limity malých lokálních LLM?

Malé modely jsou opravdu užitečné, ale je dobré vědět, kde mají své meze:

  • Méně znalostí o světě. Vědí méně než špičkové cloudové modely a mohou se sebejistě mýlit, proto si u důležitých věcí fakta ověřujte.
  • Slabší při velmi náročném uvažování. Model 3B se u složitých vícekrokových problémů nevyrovná velkému hostovanému modelu.
  • Kompromisy mezi kontextem a rychlostí. Dlouhé kontexty využívají více paměti; na CPU mohou být velké modely pomalé.
  • Kvalita se liší podle úlohy. Model, který je skvělý v chatu, může být průměrný v programování. Než se rozhodnete, vyzkoušejte jich několik.

Řešením pro mnoho pracovních postupů je vyhledávání (RAG) nebo rychlé doladění, které modelu zpřístupní vaše vlastní data — obojí je lokálně mnohem levnější, než se může zdát.

Často kladené otázky

Jaké je nejlepší malé LLM pro místní spuštění v roce 2026?

Pro většinu lidí je Qwen3 8B nejlepší univerzální volbou na GPU s 8 GB a Qwen3 4B nebo Llama 3.2 3B dobře fungují na noteboocích pouze s CPU. Vyberte největší model, který váš hardware zvládá bez potíží, a ne největší dostupný model.

Jaké je nejmenší LLM, které lze spustit lokálně?

Modely jako SmolLM2 (135M–1,7B), Llama 3.2 1B, Gemma 3 1B a Qwen3 0.6B běží téměř na každém moderním notebooku, při 4bitové kvantizaci často s méně než 2 GB RAM. Zvládají shrnování a jednoduchý chat, ale složité uvažování jim dělá potíže.

Kolik RAM potřebuji pro místní spuštění malého LLM?

4bitový kvantizovaný model 3–4B potřebuje přibližně 3–4 GB volné RAM nebo VRAM, model 7–8B asi 6–8 GB a model 12–14B potřebuje 10–16 GB. Pro většinu malých modelů je 16 GB systémové RAM pohodlným základem.

Jaký je nejjednodušší způsob, jak spustit malé LLM lokálně?

Nainstalujte Ollama nebo LM Studio a jedním příkazem stáhněte model (například ollama pull qwen3:8b). Oba nástroje se postarají o stahování, kvantizaci a místní chatovací rozhraní a zpřístupní API kompatibilní s OpenAI pro vaše aplikace.

Mohu spustit malé LLM bez GPU?

Ano. Při 4bitové kvantizaci lze na moderním CPU spustit modely až do velikosti přibližně 7–8B; na počítačích Mac s Apple Silicon běží výrazně rychleji díky jednotné paměti. Počítejte s nižší rychlostí generování tokenů než na samostatné grafické kartě, ale pro chat a psaní návrhů jsou použitelné.

Jsou malá lokální LLM vhodná pro programování?

Mohou být. Qwen3 a destilované modely DeepSeek-R1 patří mezi malé modely, které si vedou dobře při programování, a Mistral má vyspělý ekosystém zaměřený na kód. Pro náročnější refaktoring poskytuje model 14B na GPU s 12–16 GB nejlepší kvalitu, jakou lze získat lokálně.

Závěrem

Malé lokální LLM se z experimentu pro nadšence proměnily v praktický každodenní nástroj. Jako vyváženou výchozí volbu zvolte Qwen3, po Phi-4-mini sáhněte, když potřebujete uvažování na nenáročném hardwaru, a Gemma 3 vyberte, pokud potřebujete práci s obrazem nebo mnoho jazyků — všechny spustíte pomocí Ollama nebo LM Studio během několika minut. Nápovědu k používání dokumentace Ailoot najdete v dokumentaci Ailoot.