Hermes Agent helyi modellel: az Ollama csatlakoztatása

A Hermes Agenthez az asztali alkalmazásban négy kattintással csatlakoztathatsz helyi modellt a Settings → Providers → Local Models útvonalon, vagy manuálisan, az Ollamán keresztül. Akárhogy is, nincs szükség kulcsra, nem kell fizetned minden egyes kérésért, és a beszélgetés nem hagyja el a gépedet.

Nézzük meg, mire hasznos ma egy helyi modell, hogyan csatlakoztatható, és miként ellenőrizhető, hogy az ügynök fájlokkal dolgozik-e. Vágjunk bele.

Ailoot referencia-dokumentáció: ailoot.ai/docs/.

Érdemes helyi modellt használni az ügynökhöz?#

Amire a helyi modellek már most hasznosak:

• Beszéd átírása. Vannak erre ingyenes, nyílt modellek: kicsik, és jól ismerik fel a hangot. A hangod nem szivárog ki a felhőbe, így minden ravasz terved nálad marad. A beállításról külön cikkben találsz útmutatót.
• Rutinfeladatok. Rutinfeladatokhoz már használhatsz kisebb, butácska modelleket: ezeket el tudják végezni.
• Adatok, amelyeket nem szívesen küldenél ki. Ha valóban aggódsz, futtathatsz modellt a saját gépeden. A minőség azonban gyenge lesz.

Jövőre a helyi modellek valószínűleg még kevesebb helyet foglalnak majd. Már most is léteznek hatékony tömörítési módszerek, és videomemória helyett RAM-ot is használhatsz. Szerintem egy év múlva mindenkinek lesz egy kis doboza egy apró, butácska modellel, amely Sonnet 5-szintű feladatokat végez el. Majd meglátjuk.

A beállításhoz érdemes kéznél tartani egy „melyik modell melyik feladathoz” táblázatot, valamint egy PDF-et a Hermes telepítési parancsaival.

A legegyszerűbb módszer: Local Models a Hermes asztali alkalmazásban#

Ha rendelkezel a Hermes asztali alkalmazással, nem kell semmit manuálisan telepítened. A Hermes telepíti a helyi llama.cpp-kiszolgálót, letölt egy modellt, és kiválasztja neked a kontextus méretét:

1. Nyisd meg a Settings → Providers → Local Models menüpontot, vagy az első indításkor válaszd a Run models locally lehetőséget.
2. Kattints az Install runtime gombra: a Hermes letölt egy llama.cpp-buildet a hardveredhez; ez néhány száz megabájtos.
3. Válassz modellt a katalógusból, majd kattints a Download gombra.
4. Kattints a Use gombra: az új csevegések a helyi modellt fogják használni.

A katalógus minden modelljéhez színes címke tartozik: a zöld azt jelenti, hogy a modell teljes egészében elfér a videomemóriában; a sárga azt, hogy RAM-on keresztül fut, és lassabb; a piros pedig azt, hogy túl nagy a számítógépedhez. Az alkalmazás az ajánlott modellekhez legalább 64 000-es kontextust állít be. Egy 8+ GB-os videokártya a katalógus kisebb modelljeit futtatja; egy 16+ GB-os pedig a 27-35B-s modelleket is. Ha 15 percig nem használsz egy modellt, az alkalmazás eltávolítja a memóriából; a következő üzenetednél ismét betölti.

Ez a szakasz az alkalmazás teszt- (canary) buildjeiben szerepel; más buildben a --local indítási kapcsolóval nyithatod meg. Ha nem látod a Local Models részt a beállításokban, valószínűleg ez az oka. Terminálból ugyanez az útvonal: hermes model → Local models.

A modell kiválasztása után ellenőrizd egy fájlokkal végzett feladattal, ahogy az alábbi szakasz ismerteti.

Ha AI-ügynökökkel készítesz saját projekteket, ellenőrizd az eredményt egy kicsi, valós feladaton.

Ollama használata: milyen hardverre van szükséged#

Ollamára akkor van szükséged, ha a Hermes kiszolgálóra van telepítve, vagy nincs Local Models szakasz. A Hermes útmutatója szerinti hardverigény:

A 8 GB csak egy kis, kizárólag szöveges válaszokat adó modellhez elegendő. Ahhoz, hogy a modell ügynökként működjön, legalább 24 GB-ra van szükséged; a részletekért lásd a 2. lépést. Videokártya nélkül is működik minden, csak lassan: egy 8 magos processzoron futó 9B-s modell körülbelül 10 tokent generál másodpercenként; egy 31B-s modell 2-5 tokent, és minden válasz 30-120 másodpercet vesz igénybe.

1. lépés. Az Ollama telepítése#

Az Ollama közvetlenül a számítógépeden futtatja a modelleket. Macen és Linuxon egyetlen terminálparanccsal telepítheted:

curl -fsSL https://ollama.com/install.sh | sh

Windows alatt a PowerShell-parancs:

irm https://ollama.com/install.ps1 | iex

Ellenőrizd, hogy a program települt-e, és válaszol-e a kiszolgáló:

ollama --version
curl http://localhost:11434/api/tags

Ha még nincs modelled, a második parancs üres listát ad vissza. Jegyezd meg a 11434-es portot: a Hermes ezen keresztül éri el a modellt.

2. lépés. Műveletekre képes modell letöltése#

Mit csinál egy modell? Szöveget generál. A körülötte lévő burkoló, a Hermes, kezeli a fájlokkal végzett munkát, a terminálparancsokat és a keresést. Ahhoz, hogy a burkoló működjön, a modellnek képesnek kell lennie eszközöket hívni. Enélkül az ügynök csak válaszol, de semmit sem csinál.

E négy modell közül csak a gemma4:31b használható ügynökként. Ha kevesebb mint 24 GB memóriád van, nem tudsz ügynököt futtatni: a táblázat modelljei csak szöveggel válaszolnak majd. Az Ollama könyvtárában folyamatosan jelennek meg új modellek; mindegyiknél először ellenőrizd, hogy tud-e eszközöket hívni.

ollama pull gemma4:31b

Több modellt is letölthetsz, és a /model paranccsal válthatsz közöttük a Hermesben.

3. lépés. A kontextus növelése 64 000-re#

Alapértelmezés szerint az Ollama 2,048 tokenes kontextust ad a modellnek, miközben a Hermesnek legalább 64 000-re van szüksége az eszközökkel való munkához. Az alapértelmezett kontextusba nem fér bele a feladat, ezért az ügynök hibákkal fog leállni.

Hozz létre egy nagyobb kontextusú modellváltozatot. Futtasd ezt a terminálban:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Most már rendelkezésedre áll a gemma4-64k modell. Mostantól mindenhol ezt használd az eredeti helyett.

4. lépés. Csatlakoztatás a Hermeshez#

Indítsd el a beállítóvarázslót:

hermes setup

Amikor a szolgáltatóról kérdez, válaszd a Custom Endpoint lehetőséget, és add meg:

• cím: http://localhost:11434/v1;
• kulcs: hagyd üresen, vagy írd be, hogy no-key;
• modell: gemma4-64k.

Ugyanezt a konfigurációt kézzel is beírhatod a ~/.hermes/config.yaml fájlba:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Hogyan ellenőrizd, hogy működik-e az ügynök#

Futtasd a hermes parancsot, és adj neki olyan feladatot, amelynek az eredménye látható a lemezen. Például: „Listázd a mappában található összes Python-fájlt, és számold meg mindegyik sorait”, majd: „Hozz létre egy test.txt nevű fájlt.” Az ls paranccsal vagy a mappában ellenőrizd, hogy megjelent-e a fájl. Az eszközök nélküli modell könnyedén összeállíthat egy hihetőnek tűnő listát anélkül, hogy akár egyetlen fájlt is megnyitna.

Minél olcsóbb a használt neurális háló, annál kifinomultabb bőrszerkesztőre van szüksége. Ez te vagy. Minél intelligensebb a neurális hálód, annál kevésbé kell a saját eszedet használnod, de dolgoznod akkor is mindig kell.

Videó a Hermes Agent nulláról történő teljes beállításáról:

A videó bemutatja a Hermes nulláról történő telepítését, az első AI-munkatárs létrehozását, valamint a kérésenkénti fizetés és az előfizetés összehasonlítását.

Miért tart több percig az első válasz#

A Hermes minden kérésnél elküld egy rögzített részt: a rendszerutasításokat és az összes engedélyezett eszköz leírását. Videokártya nélkül a modellnek először sokáig tart ennek feldolgozása, utána a szokásos sebességgel ír. Ez normális.

Ami segíthet:

• a hermes prompt-size megmutatja, mekkora a rögzített rész;
• a hermes tools letiltja a szükségtelen eszközkészleteket, a hermes skills pedig segít eltávolítani a fölösleges készségeket. Minden csatlakoztatott MCP (külső szolgáltatás) növeli az egyes kérések méretét: ha nem használod, kapcsold ki;
• az ollama ps megmutatja, hány modellréteget helyezett át a rendszer a videokártyára. Már a részleges áthelyezés is gyorsít: egy 12 GB-os videokártyán futó 31B-s modell körülbelül 40 réteget helyez rá; a többit a processzor kezeli;
• lassú gépen állítsd be a HERMES_API_TIMEOUT=1800 értéket a ~/.hermes/.env fájlban, hogy a Hermes ne szakítsa meg a kérést időtúllépés miatt.

Ha az ügynök éjjel-nappal fut egy kiszolgálón, vagy Telegramon válaszol, tartsd észben: az Ollama 5 perc tétlenség után eltávolítja a modellt, így a következő válasz előtt ismét be kell töltenie. Az Ollama OLLAMA_KEEP_ALIVE=24h beállítása a memóriában tartja a modellt. Az ügynök kiszolgálóra költöztetéséről a Hermes Agent éjjel-nappali kiszolgálón futtatásáról szóló cikkben, a bot beállításáról pedig a Hermes Telegram beállítási útmutatójában olvashatsz.

Ha valami elromlik#

Felhőmodell tartalékként#

A Hermes dokumentációja azt javasolja, hogy a helyi modell legyen az elsődleges, és tartalékként csatlakoztass egy felhőmodellt. Ehhez a dokumentációból származó blokkot add hozzá a ~/.hermes/config.yaml fájl model szakasza mellé:

Keressen eszközhasználati útmutatókat az Ailoot dokumentációjában

Ha a helyi modell háromszor is hibázik, a Hermes a felhőmodellnek küldi el a feladatot. Ezek a kérések fizetősek, és a felhőbe kerülnek.

Egy másik lehetőség, hogy egy nagy teljesítményű, előfizetéses modellre bízod a gondolkodást és a döntéshozatalt, a helyi modell pedig a rutinfeladatokat végzi. A cél a minőség megőrzése és a tokenköltségek fokozatos csökkentése. Ez a megközelítés az egyes lépésekhez olcsóbb modelleket használ, a helyi modellek pedig későbbi lehetőségként jöhetnek szóba. A „Mennyibe kerül egy üzleti AI-ügynök?” című cikk bemutatja az előfizetéses ügynökök költségét. Ha még nem telepítetted a Hermest, kezdd a Hermes Agent telepítéséről szóló útmutatóval.

Próbáltál már helyi modellt beállítani? Mit futtatsz rajta? Mesélj róla, kíváncsiak vagyunk.

Fedezd fel tovább az Ailootot itt: ailoot.ai.