Hermes Agent s lokálním modelem: připojení Ollamy

Lokální model můžete připojit k Hermes Agentovi v desktopové aplikaci přes Nastavení → Poskytovatelé → Local Models na čtyři kliknutí, nebo ručně přes Ollamu. V obou případech není potřeba žádný klíč, neplatíte za každý požadavek a konverzace neopouští váš počítač.

Provoz lokálního modelu nic nestojí a Hermes s ním může pracovat. Hlavní je vybrat model, který umí pracovat se soubory a příkazy, a nastavit mu kontext alespoň na 64 000; jinak se agent změní v obyčejný chat.

Podívejme se, k čemu se dnes hodí lokální model, jak ho připojit a jak ověřit, že agent pracuje se soubory. Jdeme na to.

Referenční dokumentace Ailoot: ailoot.ai/docs/.

Kdy provozovat Hermes Agent na lokálním modelu?#

Kde už se lokální model hodí:

• Přepis řeči. Existují bezplatné modely s otevřeným zdrojovým kódem: jsou malé a dobře rozpoznávají zvuk. Váš hlas neuniká do cloudu, takže všechny vaše chytré plány zůstanou u vás. Návod, jak to nastavit, najdete v samostatném článku.
• Rutinní úkoly. Na rutinní úkoly už můžete použít malé hloupé modely: zvládnou je.
• Data, která se bojíte posílat ven. Pokud máte opravdu obavy, můžete model spustit na vlastním počítači. Kvalita ale bude nízká.

Příští rok budou lokální modely pravděpodobně zabírat ještě méně místa. Už existují výkonné metody komprese a místo videopaměti můžete použít RAM. Myslím, že zhruba za rok bude mít každý malou krabičku s malým hloupým modelem, který bude zvládat úkoly na úrovni Sonnet 5. Uvidíme.

Při nastavování se hodí mít po ruce tabulku „který model na který úkol“ a PDF s příkazy k instalaci Hermes.

Nejjednodušší způsob: Local Models v desktopové aplikaci Hermes#

Pokud máte desktopovou aplikaci Hermes, nemusíte nic instalovat ručně. Hermes nainstaluje lokální server llama.cpp, stáhne model a sám zvolí velikost kontextu:

1. Otevřete Settings → Providers → Local Models nebo při prvním spuštění vyberte Run models locally.
2. Klikněte na Install runtime: Hermes stáhne sestavení llama.cpp pro váš hardware; má několik set megabajtů.
3. Vyberte model z katalogu a klikněte na Download.
4. Klikněte na Use: nové chaty budou používat lokální model.

Každý model v katalogu má barevné označení: zelená znamená, že se celý vejde do videopaměti, žlutá, že poběží přes RAM a bude pomalejší, červená, že je pro váš počítač příliš velký. Aplikace nastaví u doporučených modelů kontext na 64 000 nebo více. Grafická karta s 8+ GB zvládne malé modely z katalogu; karta s 16+ GB zvládne modely 27-35B. Pokud model 15 minut nepoužíváte, aplikace ho uvolní z paměti; po odeslání další zprávy ho znovu načte.

Tato sekce je součástí testovacích (canary) sestavení aplikace; v ostatních sestaveních ji otevřete pomocí spouštěcího příznaku --local. Pokud v nastavení Local Models nevidíte, nejspíš je to důvod. V terminálu je cesta stejná: hermes model → Local models.

Po výběru model ověřte úkolem, který pracuje se souborem, jak je popsáno v části níže.

Pokud vytváříte vlastní projekty s AI agenty, ověřte výsledek na malém skutečném úkolu.

Použití Ollamy: jaký hardware potřebujete#

Ollamu potřebujete, pokud je Hermes nainstalovaný na serveru nebo nemáte sekci Local Models. Hardwarové požadavky podle příručky Hermes:

8 GB stačí pouze pro malý model, který odpovídá jen textem. Aby model fungoval jako agent, potřebujete 24 GB nebo více; podrobnosti najdete v kroku 2. Všechno funguje i bez grafické karty, ale pomalu: model 9B na 8jádrovém procesoru generuje přibližně 10 tokenů za sekundu; model 31B pak 2-5 a každá odpověď trvá 30-120 sekund.

Krok 1. Nainstalujte Ollamu#

Ollama spouští modely přímo ve vašem počítači. Na Macu a Linuxu ji nainstalujete jedním příkazem v terminálu:

curl -fsSL https://ollama.com/install.sh | sh

Ve Windows zadejte tento příkaz PowerShellu:

irm https://ollama.com/install.ps1 | iex

Ověřte, že je program nainstalovaný a server odpovídá:

ollama --version
curl http://localhost:11434/api/tags

Pokud zatím nemáte žádné modely, druhý příkaz vrátí prázdný seznam. Zapamatujte si port 11434: Hermes ho používá pro přístup k modelu.

Krok 2. Stáhněte model, který umí provádět akce#

Co model dělá? Generuje text. Práci se soubory, příkazy terminálu a vyhledáváním obstarává jeho nadstavba, Hermes. Aby nadstavba fungovala, model musí umět volat nástroje. Bez toho agent pouze odpovídá a nic nedělá.

Z těchto čtyř modelů může jako agent fungovat pouze gemma4:31b. Pokud máte méně než 24 GB paměti, agenta nespustíte: modely v tabulce budou pouze odpovídat textem. V knihovně Ollama se neustále objevují nové modely; u každého nejprve ověřte, zda umí volat nástroje.

ollama pull gemma4:31b

Můžete stáhnout několik modelů a přepínat mezi nimi v Hermes příkazem /model.

Krok 3. Zvětšete kontext na 64 000#

Ollama ve výchozím nastavení dává modelu kontext o velikosti 2 048 tokenů, zatímco Hermes potřebuje pro práci s nástroji alespoň 64 000. Při výchozí velikosti se úkol nevejde a agent bude hlásit chyby.

Vytvořte variantu modelu s větším kontextem. Spusťte tento příkaz v terminálu:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Nyní máte model gemma4-64k. Od této chvíle ho používejte všude místo původního.

Krok 4. Připojte model k Hermes#

Spusťte průvodce nastavením:

hermes setup

Až se průvodce zeptá na poskytovatele, vyberte Custom Endpoint a zadejte:

• adresa: http://localhost:11434/v1;
• klíč: nechte prázdný nebo zadejte no-key;
• model: gemma4-64k.

Stejnou konfiguraci můžete zadat ručně v souboru ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Jak ověřit, že Hermes Agent s lokálním modelem funguje?#

Spusťte hermes a zadejte mu úkol, jehož výsledek bude viditelný na disku. Například: „Vypiš všechny soubory Pythonu v této složce a u každého spočítej počet řádků“ a potom „Vytvoř soubor s názvem test.txt“. Pomocí příkazu ls nebo v samotné složce ověřte, zda se soubor objevil. Model bez nástrojů může klidně vytvořit věrohodně vypadající seznam, aniž by otevřel jediný soubor.

Čím levnější neuronovou síť používáte, tím vyspělejší kožený editor potřebuje. Tím jste vy. Čím chytřejší je vaše neuronová síť, tím méně musíte používat vlastní hlavu, ale pracovat musíte pořád.

Video o kompletním nastavení Hermes Agentu od nuly:

Video ukazuje, jak nainstalovat Hermes od nuly, vytvořit prvního AI zaměstnance a porovnat platby za jednotlivé požadavky s předplatným.

Proč první odpověď trvá několik minut#

Při každém požadavku Hermes odešle neměnnou část: systémové instrukce a popisy všech aktivních nástrojů. Bez grafické karty model tuto část nejprve dlouho zpracovává a pak píše obvyklou rychlostí. Je to normální.

Co pomáhá:

• hermes prompt-size ukáže velikost neměnné části;
• hermes tools vypne nepotřebné sady nástrojů a hermes skills pomůže odstranit nadbytečné dovednosti. Každé připojené MCP (externí služba) zvětšuje každý požadavek: pokud ho nepoužíváte, vypněte ho;
• ollama ps ukáže, kolik vrstev modelu bylo přesunuto na grafickou kartu. I částečné přesunutí zrychlí zpracování: model 31B na grafické kartě s 12 GB na ni umístí přibližně 40 vrstev; zbytek zpracuje procesor;
• na pomalém počítači nastavte HERMES_API_TIMEOUT=1800 v ~/.hermes/.env, aby Hermes neukončil požadavek po vypršení časového limitu.

Pokud agent běží na serveru nepřetržitě nebo odpovídá v Telegramu, mějte na paměti: Ollama uvolní model po 5 minutách nečinnosti a další odpověď začne jeho opětovným načítáním. Nastavení Ollamy OLLAMA_KEEP_ALIVE=24h ponechá model v paměti. Návod, jak agenta přesunout na server s nepřetržitým provozem, najdete v článku o nepřetržitém provozu Hermes Agentu na serveru a návod na nastavení bota v příručce k nastavení Hermes v Telegramu.

Když se něco pokazí#

Záložní cloudový model#

Dokumentace Hermes doporučuje ponechat lokální model jako primární a připojit cloudový model jako záložní. Uděláte to tak, že vedle sekce model v souboru ~/.hermes/config.yaml přidáte blok z dokumentace:

Najděte návody k nástrojům v dokumentaci Ailoot

Pokud lokální model třikrát selže, Hermes odešle úkol cloudovému modelu. Tyto požadavky jsou zpoplatněné a putují do cloudu.

Další možností je nechat výkonný model na předplatném, aby přemýšlel a rozhodoval, zatímco lokální model bude zvládat rutinní úkoly. Cílem je zachovat kvalitu a postupně snižovat náklady na tokeny. Tento přístup používá levnější modely pro jednotlivé kroky, přičemž lokální modely mohou být možnou volbou později. Článek „Kolik stojí AI agent pro podnikání?“ popisuje cenu agentů na předplatném. Pokud jste Hermes ještě nenainstalovali, začněte návodem jak nainstalovat Hermes Agent.

Už jste zkoušeli nastavit lokální model? Co na něm provozujete? Napište nám, zajímá nás to.

Pokračujte v objevování Ailoot na ailoot.ai.