Hermes Agent s lokálnym modelom: pripojenie Ollama

Lokálny model môžete pripojiť k Hermes Agent v počítačovej aplikácii cez Nastavenia → Poskytovatelia → Local Models na štyri kliknutia alebo manuálne cez Ollama. V oboch prípadoch nepotrebujete kľúč, neplatíte za každú požiadavku a konverzácia neopustí váš počítač.

Spustenie lokálneho modelu nič nestojí a Hermes s ním dokáže pracovať. Dôležité je vybrať model, ktorý zvládne pracovať so súbormi a príkazmi, a poskytnúť mu kontext s veľkosťou aspoň 64 000; inak sa agent zmení na obyčajný chat.

Pozrime sa, kde je dnes lokálny model užitočný, ako ho pripojiť a ako overiť, že agent pracuje so súbormi. Poďme na to.

Referenčná dokumentácia Ailoot: ailoot.ai/docs/.

Máte nasadiť agenta na lokálnom modeli?#

Kde je už lokálny model užitočný:

• Prepis reči. Existujú na to bezplatné modely s otvoreným zdrojovým kódom: sú malé a dobre rozpoznávajú zvuk. Váš hlas neuniká do cloudu, takže všetky vaše prefíkané plány zostanú u vás. Návod na nastavenie nájdete v samostatnom článku.
• Rutinné úlohy. Na rutinné úlohy už môžete používať malé, hlúpe modely: zvládnu ich.
• Údaje, ktoré sa bojíte posielať mimo zariadenia. Ak máte naozaj obavy, môžete model spustiť na vlastnom počítači. Kvalita však bude slabá.

Budúci rok budú lokálne modely pravdepodobne zaberať ešte menej miesta. Už existujú výkonné metódy kompresie a namiesto videopamäte môžete použiť RAM. Myslím si, že asi o rok bude mať každý malú škatuľku s malým, hlúpym modelom, ktorý zvládne úlohy na úrovni Sonnet 5. Uvidíme.

Pri nastavovaní sa hodí mať poruke tabuľku „ktorý model na ktorú úlohu“ a PDF s príkazmi na inštaláciu Hermes.

Najjednoduchší spôsob: Local Models v počítačovej aplikácii Hermes#

Ak máte počítačovú aplikáciu Hermes, nemusíte nič inštalovať manuálne. Hermes nainštaluje lokálny server llama.cpp, stiahne model a vyberie za vás veľkosť kontextu:

1. Otvorte Settings → Providers → Local Models alebo pri prvom spustení vyberte Run models locally.
2. Kliknite na Install runtime: Hermes stiahne zostavu llama.cpp pre váš hardvér; má niekoľko stoviek megabajtov.
3. Vyberte model z katalógu a kliknite na Download.
4. Kliknite na Use: nové chaty budú používať lokálny model.

Každý model v katalógu má farebný štítok: zelený znamená, že sa celý zmestí do videopamäte, žltý, že beží cez RAM a je pomalší, a červený, že je pre váš počítač príliš veľký. Aplikácia nastaví pre odporúčané modely kontext 64 000 alebo viac. Grafická karta s kapacitou 8+ GB zvládne malé modely z katalógu; karta s 16+ GB zvládne modely 27-35B. Ak model nepoužijete 15 minút, aplikácia ho uvoľní z pamäte; po odoslaní ďalšej správy ho znova načíta.

Táto sekcia je zahrnutá v testovacích (canary) zostavách aplikácie; v ostatných zostavách ju otvorte pomocou spúšťacieho príznaku --local. Ak v nastaveniach nevidíte Local Models, pravdepodobne je to dôvod. V termináli sa k tej istej možnosti dostanete cez: hermes model → Local models.

Po výbere modelu ho overte úlohou, ktorá pracuje so súborom, ako je opísané v nasledujúcej časti.

Ak vytvárate vlastné projekty s AI agentmi, overte výsledok na malej, skutočnej úlohe.

Používanie Ollama: aký hardvér potrebujete#

Ollama potrebujete, ak je Hermes nainštalovaný na serveri alebo nemáte sekciu Local Models. Požiadavky na hardvér podľa príručky Hermes:

8 GB stačí iba na malý model, ktorý odpovedá výlučne textom. Aby model fungoval ako agent, potrebujete 24 GB alebo viac; podrobnosti nájdete v kroku 2. Všetko funguje aj bez grafickej karty, ale pomaly: model 9B na 8-jadrovom procesore vytvára približne 10 tokenov za sekundu; model 31B, 2-5, pričom každá odpoveď trvá 30-120 sekúnd.

Krok 1. Nainštalujte Ollama#

Ollama spúšťa modely priamo vo vašom počítači. V systémoch Mac a Linux ho nainštalujte jediným príkazom v termináli:

curl -fsSL https://ollama.com/install.sh | sh

V systéme Windows je príkaz PowerShell:

irm https://ollama.com/install.ps1 | iex

Overte, či je program nainštalovaný a server odpovedá:

ollama --version
curl http://localhost:11434/api/tags

Ak ešte nemáte žiadne modely, druhý príkaz vráti prázdny zoznam. Zapamätajte si port 11434: Hermes ho používa na prístup k modelu.

Krok 2. Stiahnite si model, ktorý dokáže konať#

Čo robí model? Generuje text. Obal okolo neho, Hermes, sa stará o prácu so súbormi, príkazmi terminálu a vyhľadávaním. Aby obal fungoval, model musí vedieť volať nástroje. Bez toho agent iba odpovedá a nič nerobí.

Zo všetkých štyroch modelov funguje ako agent iba gemma4:31b. Ak máte menej než 24 GB pamäte, agenta nespustíte: modely v tabuľke budú odpovedať iba textom. V knižnici Ollama sa neustále objavujú nové modely; pri každom najprv skontrolujte, či dokáže volať nástroje.

ollama pull gemma4:31b

Môžete si stiahnuť viacero modelov a prepínať medzi nimi v Hermes pomocou príkazu /model.

Krok 3. Zvýšte kontext na 64 000#

Ollama štandardne poskytuje modelu kontext s veľkosťou 2 048 tokenov, zatiaľ čo Hermes potrebuje na prácu s nástrojmi aspoň 64 000. Do predvoleného kontextu sa úloha nezmestí a agent skončí chybami.

Vytvorte variant modelu s väčším kontextom. Spustite to v termináli:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Teraz máte model gemma4-64k. Odteraz ho používajte všade namiesto pôvodného modelu.

Krok 4. Pripojte ho k Hermes#

Spustite sprievodcu nastavením:

hermes setup

Keď sa zobrazí otázka na poskytovateľa, vyberte Custom Endpoint a zadajte:

• adresa: http://localhost:11434/v1;
• kľúč: nechajte prázdny alebo zadajte no-key;
• model: gemma4-64k.

Rovnakú konfiguráciu môžete zadať aj ručne v súbore ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Ako overiť, že agent funguje#

Spustite hermes a zadajte mu úlohu, ktorej výsledok bude viditeľný na disku. Napríklad: „Vypíš všetky súbory Python v tomto priečinku a spočítaj počet riadkov v každom“ a potom „Vytvor súbor s názvom test.txt“. Pomocou príkazu ls alebo priamo v priečinku skontrolujte, či sa súbor objavil. Model bez nástrojov môže pokojne vytvoriť vierohodný zoznam bez toho, aby otvoril čo i len jeden súbor.

Čím lacnejšiu neurónovú sieť používate, tým vyspelejší kožený editor potrebuje. Tým editorom ste vy. Čím je vaša neurónová sieť inteligentnejšia, tým menej musíte používať vlastnú hlavu, no stále musíte pracovať.

Video o kompletnom nastavení Hermes Agent od základov:

Video ukazuje, ako nainštalovať Hermes od začiatku, vytvoriť prvého AI zamestnanca a porovnať platbu za každú požiadavku s predplatným.

Prečo prvá odpoveď trvá niekoľko minút#

Pri každej požiadavke Hermes odosiela nemennú časť: systémové pokyny a opisy všetkých povolených nástrojov. Bez grafickej karty trvá modelu dlho, kým ju najprv spracuje, potom píše svojou bežnou rýchlosťou. Je to normálne.

Čo pomáha:

• hermes prompt-size ukáže veľkosť nemennej časti;
• hermes tools vypne nepotrebné skupiny nástrojov a hermes skills pomôže odstrániť nadbytočné zručnosti. Každý pripojený MCP (externá služba) zväčšuje každú požiadavku: ak ho nepoužívate, vypnite ho;
• ollama ps ukáže, koľko vrstiev modelu bolo presunutých na grafickú kartu. Aj čiastočné presunutie zrýchli spracovanie: model 31B na grafickej karte s kapacitou 12 GB na ňu umiestni približne 40 vrstiev; zvyšok spracuje procesor;
• na pomalom počítači nastavte HERMES_API_TIMEOUT=1800 v ~/.hermes/.env, aby Hermes neprerušil požiadavku po vypršaní časového limitu.

Ak agent beží nepretržite na serveri alebo odpovedá v Telegrame, pamätajte na toto: Ollama model po 5 minútach nečinnosti uvoľní a ďalšia odpoveď sa začne jeho opätovným načítaním. Nastavenie Ollama OLLAMA_KEEP_ALIVE=24h ponechá model v pamäti. Návod na presun agenta na server nájdete v článku o nepretržitom spúšťaní Hermes Agent na serveri a návod na nastavenie bota v príručke na nastavenie Hermes pre Telegram.

Ak sa niečo pokazí#

Cloudový model ako záloha#

Dokumentácia Hermes odporúča ponechať lokálny model ako hlavný a pripojiť cloudový model ako záložný. Urobíte to tak, že vedľa sekcie model v súbore ~/.hermes/config.yaml pridáte blok z dokumentácie:

Nájdite návody na používanie nástrojov v dokumentácii Ailoot

Ak lokálny model trikrát zlyhá, Hermes odošle úlohu cloudovému modelu. Tieto požiadavky sú spoplatnené a odosielajú sa do cloudu.

Ďalšou možnosťou je nechať výkonný model v rámci predplatného premýšľať a rozhodovať, zatiaľ čo lokálny model bude riešiť rutinné úlohy. Cieľom je zachovať kvalitu a postupne znižovať náklady na tokeny. Tento prístup využíva lacnejšie modely pri jednotlivých krokoch, pričom lokálne modely môžu prísť na rad neskôr. Článok „Koľko stojí AI agent pre podnikanie?“ opisuje cenu agentov na predplatnom. Ak ste ešte nenainštalovali Hermes, začnite návodom na inštaláciu Hermes Agent.

Skúšali ste už nastaviť lokálny model? Čo na ňom spúšťate? Napíšte nám, zaujíma nás to.

Pokračujte v objavovaní Ailoot na ailoot.ai.