Hermes Agent met een lokaal model: Ollama verbinden

Je kunt een lokaal model op vier klikken met Hermes Agent verbinden via Settings → Providers → Local Models in de desktopapp, of handmatig via Ollama. In beide gevallen heb je geen sleutel nodig, betaal je niet per verzoek en blijft het gesprek op je computer.

Een lokaal model gebruiken kost niets, en Hermes kan ermee werken. Het belangrijkste is een model te kiezen dat met bestanden en opdrachten kan werken en het een context van minstens 64.000 te geven; anders wordt de agent een gewone chat.

Laten we bekijken waarvoor een lokaal model vandaag nuttig is, hoe je er een verbindt en hoe je controleert of de agent met bestanden werkt. Aan de slag.

Ailoot-referentiedocumentatie: ailoot.ai/docs/.

Moet je een agent op een lokaal model laten draaien?#

Waar een lokaal model nu al nuttig is:

• Spraak transcriberen. Hiervoor bestaan gratis, open modellen: ze zijn klein en herkennen audio goed. Je stem lekt niet naar de cloud, dus al je geheime plannen blijven bij jou. In een apart artikel vind je een stapsgewijze uitleg over hoe je dit instelt.
• Routineklussen. Voor routineklussen kun je nu al kleine, eenvoudige modellen gebruiken: die kunnen ze aan.
• Gegevens die je niet naar buiten wilt sturen. Als je je daar echt zorgen over maakt, kun je een model op je eigen computer draaien. De kwaliteit zal echter matig zijn.

Volgend jaar nemen lokale modellen waarschijnlijk nog minder ruimte in beslag. Er bestaan al krachtige compressiemethoden en je kunt RAM gebruiken in plaats van videogeheugen. Ik denk dat iedereen over een jaar of zo een klein kastje heeft met een eenvoudig, klein model dat taken uitvoert op het niveau van Sonnet 5. We zullen zien.

Voor de installatie is het handig om een tabel met “welk model voor welke taak” en een pdf met Hermes-installatieopdrachten bij de hand te houden.

De eenvoudigste manier: Local Models in Hermes voor desktop#

Als je de Hermes-desktopapp hebt, hoef je niets handmatig te installeren. Hermes installeert de lokale llama.cpp-server, downloadt een model en kiest zelf de contextgrootte:

1. Open Settings → Providers → Local Models of kies Run models locally bij de eerste keer opstarten.
2. Klik op Install runtime: Hermes downloadt een llama.cpp-build voor je hardware; die is een paar honderd megabyte groot.
3. Kies een model uit de catalogus en klik op Download.
4. Klik op Use: nieuwe chats lopen dan via het lokale model.

Elk model in de catalogus heeft een gekleurd label: groen betekent dat het volledig in het videogeheugen past, geel betekent dat het via RAM draait en langzamer is, en rood betekent dat het te groot is voor je computer. De app stelt voor aanbevolen modellen een context van 64,000 of meer in. Een grafische kaart met 8+ GB kan de kleine modellen uit de catalogus draaien; een kaart met 16+ GB kan modellen van 27-35B draaien. Als je een model 15 minuten niet gebruikt, haalt de app het uit het geheugen; zodra je weer een bericht verstuurt, wordt het opnieuw geladen.

Deze sectie is opgenomen in de test- (canary-) builds van de app; open de sectie in andere builds met de startvlag --local. Als je Local Models niet in de instellingen ziet, is dat waarschijnlijk de reden. Vanuit de terminal is het dezelfde route: hermes model → Local models.

Controleer het model na het kiezen met een taak waarbij een bestand wordt gebruikt, zoals in de onderstaande sectie.

Als je met AI-agents je eigen projecten bouwt, controleer dan het resultaat met een kleine, echte taak.

Ollama gebruiken: welke hardware heb je nodig?#

Je hebt Ollama nodig als Hermes op een server is geïnstalleerd of als je de sectie Local Models niet hebt. Dit zijn de hardwarevereisten uit de Hermes-handleiding:

8 GB is alleen genoeg voor een klein model dat uitsluitend tekst als antwoord geeft. Om het model als agent te laten werken, heb je 24 GB of meer nodig; zie stap 2 voor meer informatie. Alles werkt zonder grafische kaart, maar langzaam: een 9B-model op een processor met 8 cores genereert ongeveer 10 tokens per seconde; een 31B-model 2-5, en elk antwoord duurt 30-120 seconden.

Stap 1. Ollama installeren#

Ollama draait modellen rechtstreeks op je computer. Installeer het op Mac en Linux met één opdracht in de terminal:

curl -fsSL https://ollama.com/install.sh | sh

Op Windows is de PowerShell-opdracht:

irm https://ollama.com/install.ps1 | iex

Controleer of het programma is geïnstalleerd en de server reageert:

ollama --version
curl http://localhost:11434/api/tags

Als je nog geen modellen hebt, geeft de tweede opdracht een lege lijst terug. Onthoud poort 11434: Hermes gebruikt die om het model te bereiken.

Stap 2. Een model downloaden dat acties kan uitvoeren#

Wat doet een model? Het genereert tekst. De wrapper eromheen, Hermes, regelt het werken met bestanden, terminalopdrachten en zoeken. Om de wrapper te laten werken, moet het model tools kunnen aanroepen. Zonder die mogelijkheid antwoordt de agent alleen en doet hij niets.

Van deze vier modellen werkt alleen gemma4:31b als agent. Als je minder dan 24 GB geheugen hebt, kun je geen agent draaien: de modellen in de tabel geven alleen tekstuele antwoorden. Er verschijnen voortdurend nieuwe modellen in de Ollama-bibliotheek; controleer bij elk model eerst of het tools kan aanroepen.

ollama pull gemma4:31b

Je kunt verschillende modellen downloaden en ertussen wisselen in Hermes met de opdracht /model.

Stap 3. De context vergroten tot 64,000#

Standaard geeft Ollama het model een context van 2,048 tokens, terwijl Hermes minstens 64,000 nodig heeft om met tools te werken. Met de standaardcontext past de taak er niet in en loopt de agent vast met fouten.

Maak een modelvariant met een grotere context. Voer dit uit in de terminal:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Je hebt nu het model gemma4-64k. Gebruik dit vanaf nu overal in plaats van het oorspronkelijke model.

Stap 4. Het verbinden met Hermes#

Start de installatiewizard:

hermes setup

Kies Custom Endpoint wanneer naar de provider wordt gevraagd en voer het volgende in:

• adres: http://localhost:11434/v1;
• sleutel: laat leeg of voer no-key in;
• model: gemma4-64k.

Je kunt dezelfde configuratie handmatig invoeren in ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Controleren of de agent werkt#

Voer hermes uit en geef het een taak waarvan het resultaat op schijf zichtbaar is. Bijvoorbeeld: “Som alle Python-bestanden in deze map op en tel de regels in elk bestand,” gevolgd door “Maak een bestand met de naam test.txt.” Controleer met de opdracht ls of in de map of het bestand is verschenen. Een model zonder tools kan met gemak een aannemelijk ogende lijst produceren zonder ook maar één bestand te openen.

Hoe goedkoper het neurale netwerk dat je gebruikt, hoe vaardiger de redacteur moet zijn die het begeleidt. Dat ben jij. Hoe slimmer je neurale netwerk, hoe minder je je eigen verstand hoeft te gebruiken, maar werken blijft altijd nodig.

Video over de volledige installatie van Hermes Agent vanaf nul:

De video laat zien hoe je Hermes vanaf nul installeert, je eerste AI-medewerker bouwt en betalen per verzoek vergelijkt met een abonnement.

Waarom duurt het eerste antwoord enkele minuten?#

Bij elk verzoek stuurt Hermes een vast gedeelte mee: de systeeminstructies en beschrijvingen van alle ingeschakelde tools. Zonder grafische kaart heeft het model veel tijd nodig om dit eerst te verwerken; daarna schrijft het op de gebruikelijke snelheid. Dat is normaal.

Wat helpt:

• hermes prompt-size toont hoe groot het vaste gedeelte is;
• hermes tools schakelt onnodige toolsets uit en hermes skills helpt extra skills te verwijderen. Elke gekoppelde MCP (externe dienst) maakt elk verzoek groter: gebruik je die niet, schakel hem dan uit;
• ollama ps toont hoeveel modellagen naar de grafische kaart zijn verplaatst. Zelfs gedeeltelijke offloading versnelt het proces: een 31B-model zet ongeveer 40 lagen op een grafische kaart met 12 GB; de processor verwerkt de rest;
• stel op een trage computer HERMES_API_TIMEOUT=1800 in ~/.hermes/.env in, zodat Hermes het verzoek niet afbreekt als de time-out verstrijkt.

Als de agent dag en nacht op een server draait of via Telegram antwoordt, houd er dan rekening mee dat Ollama het model na 5 minuten inactiviteit uit het geheugen haalt. Het volgende antwoord begint dan met het opnieuw laden. De Ollama-instelling OLLAMA_KEEP_ALIVE=24h houdt het model in het geheugen. In het artikel over Hermes Agent dag en nacht op een server draaien vind je een stapsgewijze uitleg over hoe je de agent naar een server verplaatst; de handleiding voor het instellen van Hermes voor Telegram legt uit hoe je een bot instelt.

Als er iets misgaat#

Een cloudmodel als terugvaloptie#

De Hermes-documentatie raadt aan een lokaal model als hoofdmodel te houden en een cloudmodel als terugvaloptie te verbinden. Voeg hiervoor het blok uit de documentatie toe naast de sectie model in ~/.hermes/config.yaml:

Vind handleidingen voor tools in de Ailoot-documentatie

Als het lokale model drie keer faalt, stuurt Hermes de taak naar het cloudmodel. Die verzoeken zijn betaald en gaan naar de cloud.

Een andere optie is om een krachtig abonnementsmodel te laten nadenken en beslissingen nemen, terwijl het lokale model routineklussen afhandelt. Het doel is de kwaliteit te behouden en de tok kosten geleidelijk te verlagen. Bij deze aanpak worden goedkopere modellen voor afzonderlijke stappen gebruikt; lokale modellen kunnen later een mogelijke optie zijn. Het artikel “Wat kost een AI-agent voor bedrijven?” beschrijft wat agents op abonnementen kosten. Als je Hermes nog niet hebt geïnstalleerd, begin dan met de handleiding over Hermes Agent installeren.

Heb je al geprobeerd een lokaal model in te stellen? Wat draai je erop? Vertel het ons; we zijn benieuwd.

Ontdek Ailoot verder op ailoot.ai.