Hermes Agent z lokalnim modelom: povezava z Ollama

Lokalni model lahko s Hermes Agent povežete v namizni aplikaciji v štirih klikih prek Settings → Providers → Local Models ali ročno prek Ollama. V vsakem primeru ne potrebujete ključa, ne plačujete za vsako zahtevo in pogovor ne zapusti vašega računalnika.

Lokalni model je mogoče poganjati brezplačno, Hermes pa lahko dela z njim. Najpomembneje je izbrati model, ki zna delati z datotekami in ukazi, ter mu zagotoviti kontekst velikosti vsaj 64.000; sicer se agent spremeni v navaden klepet.

Poglejmo, kdaj je lokalni model danes uporaben, kako ga povezati in kako preveriti, ali agent dela z datotekami. Začnimo.

Referenčna dokumentacija Ailoot: ailoot.ai/docs/.

Ali naj agent uporablja lokalni model?#

Kje so lokalni modeli že zdaj uporabni:

• Prepisovanje govora. Za to obstajajo brezplačni odprti modeli: majhni so in dobro prepoznavajo zvok. Vaš glas ne uide v oblak, zato vsi vaši skrivni načrti ostanejo pri vas. Navodila za nastavitev najdete v ločenem članku.
• Rutinska opravila. Za rutinska opravila lahko že uporabljate majhne, manj zmogljive modele: kos so jim.
• Podatki, ki jih ne želite pošiljati drugam. Če vas to res skrbi, lahko model poganjate na svojem računalniku. Toda kakovost bo slaba.

Prihodnje leto bodo lokalni modeli verjetno zavzeli še manj prostora. Zmogljive metode stiskanja že obstajajo, namesto video pomnilnika pa lahko uporabite RAM. Mislim, da bo čez kakšno leto vsak imel majhno škatlico z majhnim, manj zmogljivim modelom, ki bo opravljal naloge na ravni Sonnet 5. Bomo videli.

Za nastavitev je koristno imeti pri roki tabelo »kateri model za katero nalogo« in PDF z ukazi za namestitev Hermesa.

Najlažja pot: Local Models v namiznem Hermes#

Če imate namizno aplikacijo Hermes, vam ni treba ničesar namestiti ročno. Hermes bo namestil lokalni strežnik llama.cpp, prenesel model in sam izbral velikost konteksta:

1. Odprite Settings → Providers → Local Models ali ob prvem zagonu izberite Run models locally.
2. Kliknite Install runtime: Hermes bo prenesel različico llama.cpp za vašo strojno opremo; velika je nekaj sto megabajtov.
3. Izberite model iz kataloga in kliknite Download.
4. Kliknite Use: novi klepeti bodo potekali prek lokalnega modela.

Vsak model v katalogu ima barvno oznako: zelena pomeni, da se v celoti prilega v video pomnilnik, rumena, da deluje prek RAM-a in je počasnejši, rdeča pa, da je za vaš računalnik prevelik. Aplikacija za priporočene modele nastavi kontekst na 64.000 ali več. Grafična kartica z 8+ GB lahko poganja manjše modele iz kataloga; kartica s 16+ GB lahko poganja modele 27-35B. Če modela 15 minut ne uporabljate, ga aplikacija odstrani iz pomnilnika; znova ga naloži, ko pošljete naslednje sporočilo.

Ta razdelek je vključen v testne (canary) različice aplikacije; v drugih različicah ga odprite z zagonsko zastavico --local. Če v nastavitvah ne vidite Local Models, je to najverjetnejši razlog. V terminalu je pot enaka: hermes model → Local models.

Ko izberete model, ga preizkusite z nalogo, ki vključuje datoteko, kot je opisano v spodnjem razdelku.

Če z agenti AI gradite lastne projekte, preverite rezultat na majhni, resnični nalogi.

Uporaba Ollama: kakšno strojno opremo potrebujete#

Ollama potrebujete, če je Hermes nameščen na strežniku ali če nimate razdelka Local Models. Zahteve glede strojne opreme iz vodnika Hermes:

8 GB zadostuje le za majhen model, ki odgovarja samo z besedilom. Za delovanje modela kot agenta potrebujete 24 GB ali več; podrobnosti so v 2. koraku. Vse deluje tudi brez grafične kartice, vendar počasi: model 9B na 8-jedrnem procesorju ustvari približno 10 tokenov na sekundo; model 31B pa 2-5, vsak odgovor pa traja 30-120 sekund.

1. korak. Namestite Ollama#

Ollama poganja modele neposredno v vašem računalniku. V sistemih Mac in Linux jo namestite z enim ukazom v terminalu:

curl -fsSL https://ollama.com/install.sh | sh

V sistemu Windows uporabite ukaz PowerShell:

irm https://ollama.com/install.ps1 | iex

Preverite, ali je program nameščen in ali se strežnik odziva:

ollama --version
curl http://localhost:11434/api/tags

Če še nimate modelov, bo drugi ukaz vrnil prazen seznam. Zapomnite si vrata 11434: Hermes jih uporablja za dostop do modela.

2. korak. Prenesite model, ki lahko ukrepa#

Kaj počne model? Ustvarja besedilo. Ovojnica okoli njega, Hermes, skrbi za delo z datotekami, terminalskimi ukazi in iskanjem. Da lahko ovojnica deluje, mora model znati klicati orodja. Brez tega agent samo odgovarja in ničesar ne naredi.

Od teh štirih modelov lahko kot agent deluje samo gemma4:31b. Če imate manj kot 24 GB pomnilnika, agenta ne boste mogli poganjati: modeli v tabeli bodo odgovarjali samo z besedilom. V knjižnici Ollama se nenehno pojavljajo novi modeli; pri vsakem najprej preverite, ali zna klicati orodja.

ollama pull gemma4:31b

Prenesete lahko več modelov in med njimi v Hermes preklapljate z ukazom /model.

3. korak. Povečajte kontekst na 64.000#

Ollama modelu privzeto dodeli kontekst 2,048 tokenov, Hermes pa za delo z orodji potrebuje vsaj 64.000. Naloga se v privzeti kontekst ne bo prilegala, zato bo agent javil napake.

Ustvarite različico modela z večjim kontekstom. V terminalu zaženite:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Zdaj imate model gemma4-64k. Odslej ga uporabljajte povsod namesto izvirnega modela.

4. korak. Povežite ga s Hermesom#

Zaženite čarovnika za nastavitev:

hermes setup

Ko vas vpraša za ponudnika, izberite Custom Endpoint in vnesite:

• naslov: http://localhost:11434/v1;
• ključ: pustite prazno ali vnesite no-key;
• model: gemma4-64k.

Enako konfiguracijo lahko ročno vnesete v ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Kako preveriti, ali agent deluje#

Zaženite hermes in mu dajte nalogo, katere rezultat je viden na disku. Na primer: »Naštej vse datoteke Python v tej mapi in preštej vrstice v vsaki,« nato pa »Ustvari datoteko z imenom test.txt.« Z ukazom ls ali v mapi preverite, ali se je datoteka pojavila. Model brez orodij lahko brez težav ustvari verjeten seznam, ne da bi odprl eno samo datoteko.

Cenejša kot je nevronska mreža, naprednejši usnjeni urejevalnik potrebuje. To ste vi. Pametnejša kot je nevronska mreža, manj morate uporabljati lastno glavo, a vedno morate delati.

Video o celotni nastavitvi Hermes Agent od začetka:

Video prikazuje namestitev Hermesa od začetka, izdelavo vašega prvega zaposlenega z umetno inteligenco ter primerjavo plačevanja za vsako zahtevo z naročnino.

Zakaj prvi odgovor traja več minut#

Pri vsaki zahtevi Hermes pošlje nespremenljivi del: sistemska navodila in opise vseh omogočenih orodij. Brez grafične kartice model najprej dolgo obdeluje ta del, nato pa piše z običajno hitrostjo. To je normalno.

Kaj pomaga:

• hermes prompt-size prikaže velikost nespremenljivega dela;
• hermes tools onemogoči nepotrebne zbirke orodij, hermes skills pa pomaga odstraniti odvečne veščine. Vsak povezan MCP (zunanja storitev) poveča vsako zahtevo: če ga ne uporabljate, ga izklopite;
• ollama ps prikaže, koliko plasti modela je bilo prenesenih na grafično kartico. Tudi delni prenos pospeši delovanje: model 31B na grafični kartici z 12 GB nanjo prenese približno 40 plasti; ostalo obdela procesor;
• na počasnem računalniku v ~/.hermes/.env nastavite HERMES_API_TIMEOUT=1800, da Hermes zaradi časovne omejitve ne prekine zahteve.

Če agent ves čas deluje na strežniku ali odgovarja v Telegramu, upoštevajte: Ollama po 5 minutah nedejavnosti model odstrani, naslednji odgovor pa se bo začel z njegovim ponovnim nalaganjem. Nastavitev Ollama OLLAMA_KEEP_ALIVE=24h ohrani model v pomnilniku. Navodila za premik agenta na strežnik najdete v članku o neprekinjenem delovanju Hermes Agent na strežniku, navodila za nastavitev bota pa v vodniku za nastavitev Hermes Telegram.

Če gre kaj narobe#

Model v oblaku kot rezervna možnost#

Dokumentacija Hermes predlaga, da je lokalni model primarni, model v oblaku pa rezervni. To nastavite tako, da blok iz dokumentacije dodate poleg razdelka model v ~/.hermes/config.yaml:

V dokumentaciji Ailoot poiščite vodiče za orodja

Če lokalni model trikrat odpove, Hermes pošlje nalogo modelu v oblaku. Te zahteve so plačljive in gredo v oblak.

Druga možnost je, da zmogljivejši naročniški model prepustite razmišljanju in odločanju, lokalni model pa rutinskim opravilom. Cilj je ohraniti kakovost in postopoma zmanjšati stroške tokenov. Ta pristop za posamezne korake uporablja cenejše modele, lokalni modeli pa so lahko možnost pozneje. Članek »Koliko stane agent AI za podjetje?« opisuje stroške agentov z naročnino. Če Hermesa še niste namestili, začnite z vodnikom za namestitev Hermes Agent.

Ste že poskusili nastaviti lokalni model? Kaj poganjate na njem? Povejte nam, zanima nas.

Nadaljujte z raziskovanjem Ailoot na ailoot.ai.