Hermes Agent med en lokal model: tilslutning af Ollama

Du kan forbinde en lokal model til Hermes Agent i desktopappen med fire klik via Settings → Providers → Local Models eller manuelt via Ollama. Uanset hvad behøver du ingen nøgle, du betaler ikke for hver forespørgsel, og samtalen forlader ikke din computer.

Det koster ikke noget at køre en lokal model, og Hermes kan arbejde med en. Det vigtigste er at vælge en model, der kan arbejde med filer og kommandoer, og give den en kontekst på mindst 64.000; ellers bliver agenten til en almindelig chat.

Lad os se på, hvor en lokal model er nyttig i dag, hvordan du forbinder en, og hvordan du kontrollerer, at agenten arbejder med filer. Lad os komme i gang.

Ailoots referencedokumentation: ailoot.ai/docs/.

Bør du sætte en agent på en lokal model?#

Her er en lokal model allerede nyttig:

• Transskribering af tale. Der findes gratis, åbne modeller til dette: De er små og genkender lyd godt. Din stemme lækker ikke ud i skyen, så alle dine snedige planer bliver hos dig. Der er en gennemgang af, hvordan du sætter det op i en separat artikel.
• Rutineopgaver. Du kan allerede bruge små, dumme modeller til rutineopgaver: De kan godt klare dem.
• Data, du er bange for at sende ud. Hvis du virkelig er bekymret, kan du køre en model på din egen computer. Men kvaliteten bliver dårlig.

Næste år fylder lokale modeller sandsynligvis endnu mindre. Der findes allerede effektive komprimeringsmetoder, og du kan bruge RAM i stedet for videohukommelse. Jeg tror, at alle om et års tid vil have en lille boks med en lille, dum model, der løser opgaver på niveau med Sonnet 5. Vi får se.

Til opsætningen er det nyttigt at have en tabel over ”hvilken model til hvilken opgave” og en PDF med Hermes-installationskommandoer i nærheden.

Den nemmeste måde: Local Models i Hermes til desktop#

Hvis du har Hermes-desktopappen, behøver du ikke installere noget manuelt. Hermes installerer den lokale llama.cpp-server, downloader en model og vælger en kontekststørrelse for dig:

1. Åbn Settings → Providers → Local Models, eller vælg Run models locally ved første start.
2. Klik på Install runtime: Hermes downloader et llama.cpp-build til din hardware; det fylder nogle få hundrede megabyte.
3. Vælg en model fra kataloget, og klik på Download.
4. Klik på Use: Nye chats går gennem den lokale model.

Hver model i kataloget har en farvet etiket: grøn betyder, at den passer helt ind i videohukommelsen, gul betyder, at den kører via RAM og er langsommere, og rød betyder, at den er for stor til din computer. Appen indstiller en kontekst på 64.000 eller mere for anbefalede modeller. Et grafikkort med mindst 8 GB kan køre katalogets små modeller; et med mindst 16 GB kan køre modeller med 27-35B. Hvis du ikke bruger en model i 15 minutter, frigør appen den fra hukommelsen; den indlæses igen, når du sender en ny besked.

Afsnittet er med i appens testbuilds (canary); i andre builds kan du åbne det med startflaget --local. Hvis du ikke kan se Local Models i indstillingerne, er det sandsynligvis derfor. Fra terminalen er det samme sti: hermes model → Local models.

Når du har valgt en model, kan du kontrollere den med en opgave, der involverer en fil, som i afsnittet nedenfor.

Hvis du bygger dine egne projekter med AI-agenter, så kontrollér resultatet på en lille, reel opgave.

Brug af Ollama: hvilken hardware skal du bruge?#

Du skal bruge Ollama, hvis Hermes er installeret på en server, eller hvis du ikke har afsnittet Local Models. Hardwarekrav fra Hermes-guiden:

8 GB er kun nok til en lille model, der kun svarer med tekst. For at få modellen til at fungere som agent skal du bruge mindst 24 GB; se trin 2 for detaljer. Alt fungerer uden et grafikkort, men langsomt: En 9B-model på en processor med 8 kerner genererer omkring 10 tokens i sekundet; en 31B-model genererer 2-5, og hvert svar tager 30-120 sekunder.

Trin 1. Installér Ollama#

Ollama kører modeller direkte på din computer. På Mac og Linux installerer du det med én kommando i terminalen:

curl -fsSL https://ollama.com/install.sh | sh

På Windows er PowerShell-kommandoen:

irm https://ollama.com/install.ps1 | iex

Kontrollér, at programmet er installeret, og at serveren svarer:

ollama --version
curl http://localhost:11434/api/tags

Hvis du endnu ikke har nogen modeller, returnerer den anden kommando en tom liste. Husk port 11434: Hermes bruger den til at få adgang til modellen.

Trin 2. Download en model, der kan handle#

Hvad gør en model? Den genererer tekst. Wrapperen omkring den, Hermes, håndterer arbejde med filer, terminalkommandoer og søgning. For at wrapperen kan fungere, skal modellen kunne kalde værktøjer. Uden det svarer agenten kun og gør ingenting.

Af disse fire modeller fungerer kun gemma4:31b som agent. Hvis du har mindre end 24 GB hukommelse, kan du ikke køre en agent: Modellerne i tabellen svarer kun med tekst. Der kommer hele tiden nye modeller i Ollama-biblioteket; kontrollér først, om hver enkelt kan kalde værktøjer.

ollama pull gemma4:31b

Du kan downloade flere modeller og skifte mellem dem i Hermes med kommandoen /model.

Trin 3. Forøg konteksten til 64.000#

Som standard giver Ollama modellen en kontekst på 2.048 tokens, mens Hermes skal bruge mindst 64.000 for at arbejde med værktøjer. Opgaven kan ikke være i standardkonteksten, og agenten vil fejle med fejlmeddelelser.

Opret en modelvariant med en større kontekst. Kør dette i terminalen:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Nu har du modellen gemma4-64k. Brug den til alt fremover, ikke originalen.

Trin 4. Forbind den til Hermes#

Start opsætningsguiden:

hermes setup

Når du bliver spurgt om udbyderen, skal du vælge Custom Endpoint og indtaste:

• adresse: http://localhost:11434/v1;
• nøgle: lad feltet stå tomt, eller indtast no-key;
• model: gemma4-64k.

Du kan indtaste den samme konfiguration manuelt i ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Sådan kontrollerer du, at agenten fungerer#

Kør hermes, og giv den en opgave, hvis resultat kan ses på disken. For eksempel: ”Vis alle Python-filer i denne mappe, og tæl linjerne i hver af dem” og derefter ”Opret en fil med navnet test.txt.” Kontrollér med kommandoen ls eller i mappen, om filen er dukket op. En model uden værktøjer kan uden videre fremstille en liste, der ser troværdig ud, uden at åbne en eneste fil.

Jo billigere neuralt netværk du bruger, desto mere avanceret læderredaktør har det brug for. Det er dig. Jo klogere dit neurale netværk er, desto mindre behøver du at bruge dit eget hoved, men du skal altid arbejde.

Video om den komplette opsætning af Hermes Agent fra bunden:

Videoen viser, hvordan du installerer Hermes fra bunden, bygger din første AI-medarbejder og sammenligner betaling for hver forespørgsel med et abonnement.

Hvorfor tager det første svar flere minutter?#

Ved hver forespørgsel sender Hermes en fast del: systeminstruktionerne og beskrivelserne af alle aktiverede værktøjer. Uden et grafikkort tager det lang tid for modellen først at behandle dette; bagefter skriver den med sin sædvanlige hastighed. Det er normalt.

Det hjælper:

• hermes prompt-size viser, hvor stor den faste del er;
• hermes tools deaktiverer unødvendige værktøjssæt, og hermes skills hjælper med at fjerne ekstra færdigheder. Hver tilsluttet MCP (ekstern tjeneste) gør hver forespørgsel større: Hvis du ikke bruger den, skal du slå den fra;
• ollama ps viser, hvor mange modellag der er blevet flyttet over på grafikkortet. Selv delvis flytning øger hastigheden: En 31B-model på et grafikkort med 12 GB får omkring 40 lag over på kortet; processoren håndterer resten;
• på en langsom maskine skal du indstille HERMES_API_TIMEOUT=1800 i ~/.hermes/.env, så Hermes ikke afbryder forespørgslen ved timeout.

Hvis agenten kører på en server døgnet rundt eller svarer i Telegram, skal du huske: Ollama aflæser modellen efter 5 minutters inaktivitet, og det næste svar begynder med at indlæse den igen. Ollama-indstillingen OLLAMA_KEEP_ALIVE=24h holder modellen i hukommelsen. Der er en gennemgang af, hvordan du flytter agenten til en server, der kører døgnet rundt, i artiklen om at køre Hermes Agent på en server døgnet rundt, og af opsætning af en bot i guiden til Hermes Telegram-opsætning.

Hvis noget går galt#

En cloudmodel som reserve#

Hermes-dokumentationen anbefaler, at du beholder en lokal model som primær model og forbinder en cloudmodel som reserve. Gør det ved at tilføje blokken fra dokumentationen ved siden af afsnittet model i ~/.hermes/config.yaml:

Find vejledninger til værktøjer i Ailoot-dokumentationen

Hvis den lokale model fejler tre gange, sender Hermes opgaven til cloudmodellen. Disse forespørgsler koster penge og sendes til skyen.

En anden mulighed er at lade en kraftig abonnementsmodel stå for tænkningen og beslutningerne, mens den lokale model håndterer rutineopgaver. Målet er at bevare kvaliteten og gradvist reducere tokenomkostningerne. Denne tilgang bruger billigere modeller til enkelte trin, mens lokale modeller muligvis kan bruges senere. Artiklen ”Hvad koster en AI-agent til virksomheder?” beskriver, hvad agenter på abonnementer koster. Hvis du ikke har installeret Hermes endnu, kan du begynde med gennemgangen af hvordan du installerer Hermes Agent.

Har du prøvet at sætte en lokal model op endnu? Hvad kører du på den? Fortæl os det; vi er nysgerrige.

Fortsæt med at udforske Ailoot på ailoot.ai.