Hermes Agent med en lokal modell: anslut Ollama

Du kan ansluta en lokal modell till Hermes Agent i skrivbordsappen med fyra klick via Settings → Providers → Local Models, eller manuellt via Ollama. Oavsett vilket behövs ingen nyckel, du betalar inte per förfrågan och konversationen lämnar inte din dator.

Det kostar inget att köra en lokal modell, och Hermes kan arbeta med en. Det viktigaste är att välja en modell som kan arbeta med filer och kommandon och ge den ett kontextfönster på minst 64 000; annars blir agenten en vanlig chatt.

Vi går igenom var en lokal modell är användbar i dag, hur du ansluter en och hur du kontrollerar att agenten arbetar med filer. Nu kör vi.

Ailoots referensdokumentation: ailoot.ai/docs/.

Bör du köra en agent med en lokal modell?#

Där en lokal modell redan är användbar:

• Transkribera tal. Det finns kostnadsfria öppna modeller för detta: de är små och känner igen ljud bra. Din röst läcker inte ut i molnet, så alla dina listiga planer stannar hos dig. Här finns en genomgång av hur du ställer in detta i en separat artikel.
• Rutinsysslor. Du kan redan använda små, dumma modeller för rutinsysslor: de klarar dem.
• Data som du inte vill skicka utanför din dator. Om du verkligen är orolig kan du köra en modell på din egen dator. Men kvaliteten blir dålig.

Nästa år tar lokala modeller förmodligen ännu mindre plats. Det finns redan kraftfulla komprimeringsmetoder, och du kan använda RAM i stället för grafikminne. Jag tror att alla om ett år eller så kommer att ha en liten låda med en liten, dum modell som utför uppgifter på Sonnet 5-nivå. Vi får se.

När du ställer in det är det praktiskt att ha en tabell över ”vilken modell för vilken uppgift” och en PDF med installationskommandon för Hermes nära till hands.

Det enklaste sättet: Local Models i Hermes för skrivbordet#

Om du har Hermes skrivbordsapp behöver du inte installera något manuellt. Hermes installerar den lokala llama.cpp-servern, laddar ner en modell och väljer en kontextstorlek åt dig:

1. Öppna Settings → Providers → Local Models eller välj Run models locally vid första starten.
2. Klicka på Install runtime: Hermes laddar ner en version av llama.cpp för din maskinvara; den är några hundra megabyte.
3. Välj en modell i katalogen och klicka på Download.
4. Klicka på Use: nya chattar går via den lokala modellen.

Varje modell i katalogen har en färgad etikett: grönt betyder att den ryms helt i grafikminnet, gult betyder att den körs via RAM och är långsammare, och rött betyder att den är för stor för din dator. Appen ställer in en kontext på minst 64 000 för rekommenderade modeller. Ett grafikkort med minst 8 GB kan köra katalogens små modeller; ett med minst 16 GB kan köra modeller med 27–35B parametrar. Om du inte använder en modell på 15 minuter frigör appen dess minne; den laddas in igen när du skickar ett nytt meddelande.

Avsnittet ingår i appens testbyggen (canary); i andra byggen öppnar du det med startflaggan --local. Om du inte ser Local Models i inställningarna är det troligen därför. Från terminalen är det samma väg: hermes model → Local models.

När du har valt en modell kontrollerar du den med en uppgift som omfattar en fil, som i avsnittet nedan.

Om du bygger egna projekt med AI-agenter kan du kontrollera resultatet med en liten, verklig uppgift.

Använda Ollama: vilken maskinvara behöver du?#

Du behöver Ollama om Hermes är installerat på en server eller om du saknar avsnittet Local Models. Maskinvarukrav från Hermes-guiden:

8 GB räcker bara för en liten modell som enbart svarar med text. För att modellen ska fungera som en agent behöver du minst 24 GB; se steg 2 för detaljer. Allt fungerar utan grafikkort, men långsamt: en 9B-modell på en processor med 8 kärnor genererar omkring 10 tokens per sekund; en 31B-modell 2–5, och varje svar tar 30–120 sekunder.

Steg 1. Installera Ollama#

Ollama kör modeller direkt på din dator. På Mac och Linux installerar du det med ett kommando i terminalen:

curl -fsSL https://ollama.com/install.sh | sh

På Windows är PowerShell-kommandot:

irm https://ollama.com/install.ps1 | iex

Kontrollera att programmet är installerat och att servern svarar:

ollama --version
curl http://localhost:11434/api/tags

Om du inte har några modeller än returnerar det andra kommandot en tom lista. Kom ihåg port 11434: Hermes använder den för att nå modellen.

Steg 2. Ladda ner en modell som kan utföra åtgärder#

Vad gör en modell? Den genererar text. Omslaget runt den, Hermes, hanterar arbete med filer, terminalkommandon och sökning. För att omslaget ska fungera måste modellen kunna anropa verktyg. Utan det svarar agenten bara och gör ingenting.

Av de här fyra modellerna fungerar bara gemma4:31b som agent. Om du har mindre än 24 GB minne kan du inte köra en agent: modellerna i tabellen svarar då bara med text. Nya modeller dyker hela tiden upp i Ollama-biblioteket; kontrollera först om var och en kan anropa verktyg.

ollama pull gemma4:31b

Du kan ladda ner flera modeller och växla mellan dem i Hermes med kommandot /model.

Steg 3. Öka kontexten till 64 000#

Som standard ger Ollama modellen en kontext på 2 048 tokens, medan Hermes behöver minst 64 000 för att arbeta med verktyg. Med standardkontexten ryms inte uppgiften, och agenten misslyckas med felmeddelanden.

Skapa en modellvariant med större kontext. Kör detta i terminalen:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Nu har du modellen gemma4-64k. Använd den överallt från och med nu, inte originalet.

Steg 4. Anslut den till Hermes#

Starta installationsguiden:

hermes setup

När du får frågan om leverantör väljer du Custom Endpoint och anger:

• adress: http://localhost:11434/v1;
• nyckel: lämna tomt eller ange no-key;
• modell: gemma4-64k.

Du kan ange samma konfiguration manuellt i ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Så kontrollerar du att agenten fungerar#

Kör hermes och ge den en uppgift vars resultat syns på disken. Till exempel: ”Lista alla Python-filer i den här mappen och räkna raderna i varje” och sedan ”Skapa en fil med namnet test.txt.” Kontrollera med kommandot ls eller i mappen om filen har dykt upp. En modell utan verktyg kan lugnt ge en lista som ser trovärdig ut utan att öppna en enda fil.

Ju billigare neuralt nätverk du använder, desto mer avancerad läderredaktör behöver det. Det är du. Ju smartare ditt neurala nätverk är, desto mindre behöver du använda ditt eget huvud, men du måste alltid arbeta.

Video om hur du ställer in Hermes Agent från grunden:

Videon visar hur du installerar Hermes från grunden, bygger din första AI-medarbetare och jämför betalning per förfrågan med en prenumeration.

Varför tar det första svaret flera minuter?#

Med varje förfrågan skickar Hermes en fast del: systeminstruktionerna och beskrivningarna av alla aktiverade verktyg. Utan ett grafikkort tar modellen lång tid på sig att bearbeta detta först och skriver sedan i sin vanliga hastighet. Det är normalt.

Det här hjälper:

• hermes prompt-size visar hur stor den fasta delen är;
• hermes tools inaktiverar verktygsuppsättningar du inte behöver, och hermes skills hjälper dig att ta bort extra färdigheter. Varje ansluten MCP (extern tjänst) gör varje förfrågan större: om du inte använder den, stäng av den;
• ollama ps visar hur många modellager som har flyttats till grafikkortet. Även delvis flytt ger högre hastighet: en 31B-modell på ett grafikkort med 12 GB placerar ungefär 40 lager på kortet; processorn hanterar resten;
• på en långsam dator ställer du in HERMES_API_TIMEOUT=1800 i ~/.hermes/.env så att Hermes inte avbryter förfrågan när tidsgränsen går ut.

Om agenten körs på en server dygnet runt eller svarar i Telegram bör du känna till följande: Ollama avlastar modellen efter 5 minuters inaktivitet, och nästa svar börjar med att modellen laddas igen. Ollama-inställningen OLLAMA_KEEP_ALIVE=24h håller modellen i minnet. Här finns en genomgång av hur du flyttar agenten till en server som kör dygnet runt i artikeln om att köra Hermes Agent på en server dygnet runt, och om hur du ställer in en bot i guiden för Hermes Telegram-konfiguration.

Om något går fel#

En molnmodell som reserv#

Hermes dokumentation föreslår att du behåller en lokal modell som primär modell och ansluter en molnmodell som reserv. Lägg till blocket från dokumentationen bredvid avsnittet model i ~/.hermes/config.yaml:

Hitta verktygsguider i Ailoot-dokumentationen

Om den lokala modellen misslyckas tre gånger skickar Hermes uppgiften till molnmodellen. De förfrågningarna kostar pengar och går till molnet.

Ett annat alternativ är att låta en kraftfull prenumerationsmodell tänka och fatta beslut medan den lokala modellen hanterar rutinsysslor. Målet är att bevara kvaliteten och gradvis minska tokenkostnaderna. Med det här arbetssättet används billigare modeller för enskilda steg, och lokala modeller kan vara ett alternativ längre fram. I artikeln ”Vad kostar en AI-agent för företag?” beskrivs vad agenter med prenumeration kostar. Om du inte har installerat Hermes än kan du börja med genomgången om hur du installerar Hermes Agent.

Har du provat att ställa in en lokal modell än? Vad kör du på den? Berätta gärna; vi är nyfikna.

Fortsätt utforska Ailoot på ailoot.ai.