Hermes Agent med en lokal modell: koble til Ollama

Du kan koble en lokal modell til Hermes Agent i skrivebordsappen med fire klikk via Settings → Providers → Local Models, eller manuelt via Ollama. Uansett trenger du ingen nøkkel, du betaler ikke for hver forespørsel, og samtalen forlater ikke maskinen din.

Det koster ingenting å kjøre en lokal modell, og Hermes kan arbeide med en. Det viktigste er å velge en modell som kan arbeide med filer og kommandoer, og gi den en kontekst på minst 64 000; ellers blir agenten en vanlig chat.

La oss se på hvor en lokal modell er nyttig i dag, hvordan du kobler til en, og hvordan du sjekker at agenten arbeider med filer. Sett i gang.

Ailoot-referansedokumentasjon: ailoot.ai/docs/.

Bør du bruke en lokal modell til en agent?#

Dette kan en lokal modell allerede være nyttig til:

• Transkribering av tale. Det finnes gratis, åpne modeller for dette: de er små og gjenkjenner lyd godt. Stemmen din lekker ikke ut i skyen, så alle de hemmelige planene dine blir hos deg. Det finnes en gjennomgang av hvordan du setter dette opp i en egen artikkel.
• Rutineoppgaver. Du kan allerede bruke små, enkle modeller til rutineoppgaver: de klarer dem.
• Data du er redd for å sende ut. Hvis du er ordentlig bekymret, kan du kjøre en modell på din egen maskin. Men kvaliteten blir dårlig.

Neste år vil lokale modeller sannsynligvis ta enda mindre plass. Det finnes allerede kraftige komprimeringsmetoder, og du kan bruke RAM i stedet for videominne. Jeg tror alle om et års tid vil ha en liten boks med en liten, enkel modell som utfører oppgaver på nivå med Sonnet 5. Vi får se.

Til oppsettet er det nyttig å ha en tabell over «hvilken modell til hvilken oppgave» og en PDF med Hermes-installasjonskommandoer i nærheten.

Den enkleste måten: Local Models i Hermes for skrivebord#

Hvis du har Hermes-skrivebordsappen, trenger du ikke å installere noe manuelt. Hermes installerer den lokale llama.cpp-serveren, laster ned en modell og velger kontekststørrelse for deg:

1. Åpne Settings → Providers → Local Models, eller velg Run models locally første gang du starter appen.
2. Klikk på Install runtime: Hermes laster ned en llama.cpp-byggversjon for maskinvaren din; den er på noen hundre megabyte.
3. Velg en modell fra katalogen og klikk på Download.
4. Klikk på Use: nye chatter går via den lokale modellen.

Hver modell i katalogen har en farget etikett: grønn betyr at den får plass i videominnet, gul betyr at den kjører via RAM og er tregere, og rød betyr at den er for stor for datamaskinen din. Appen setter konteksten til 64,000 eller mer for anbefalte modeller. Et grafikkort med 8+ GB kan kjøre katalogens små modeller; et med 16+ GB kan kjøre 27-35B-modeller. Hvis du ikke bruker en modell på 15 minutter, losser appen den fra minnet; den laster den inn igjen når du sender en ny melding.

Denne delen er med i appens testversjoner (canary); i andre versjoner åpner du den med startflagget --local. Hvis du ikke ser Local Models i innstillingene, er det sannsynligvis derfor. Fra terminalen er samme fremgangsmåte: hermes model → Local models.

Når du har valgt en modell, sjekker du den med en oppgave som involverer en fil, slik det beskrives i delen nedenfor.

Hvis du bygger egne prosjekter med AI-agenter, bør du sjekke resultatet med en liten, reell oppgave.

Bruke Ollama: hvilken maskinvare trenger du?#

Du trenger Ollama hvis Hermes er installert på en server, eller hvis du ikke har delen Local Models. Maskinvarekrav fra Hermes-guiden:

8 GB er nok bare til en liten modell som kun svarer med tekst. For at modellen skal fungere som en agent, trenger du 24 GB eller mer; se trinn 2 for detaljer. Alt fungerer uten grafikkort, men sakte: en 9B-modell på en prosessor med 8 kjerner genererer rundt 10 tokener per sekund; en 31B-modell genererer 2-5, og hvert svar tar 30-120 sekunder.

Trinn 1. Installer Ollama#

Ollama kjører modeller direkte på datamaskinen din. På Mac og Linux installerer du den med én kommando i terminalen:

curl -fsSL https://ollama.com/install.sh | sh

På Windows bruker du denne PowerShell-kommandoen:

irm https://ollama.com/install.ps1 | iex

Sjekk at programmet er installert og at serveren svarer:

ollama --version
curl http://localhost:11434/api/tags

Hvis du ikke har noen modeller ennå, returnerer den andre kommandoen en tom liste. Husk port 11434: Hermes bruker den til å nå modellen.

Trinn 2. Last ned en modell som kan utføre handlinger#

Hva gjør en modell? Den genererer tekst. Hermes, som er laget utenpå den, håndterer arbeid med filer, terminalkommandoer og søk. For at dette laget skal fungere, må modellen kunne kalle verktøy. Uten det svarer agenten bare og gjør ingenting.

Av disse fire modellene er det bare gemma4:31b som fungerer som en agent. Hvis du har mindre enn 24 GB minne, kan du ikke kjøre en agent: modellene i tabellen svarer bare med tekst. Det kommer stadig nye modeller i Ollama-biblioteket; sjekk først om hver enkelt kan kalle verktøy.

ollama pull gemma4:31b

Du kan laste ned flere modeller og bytte mellom dem i Hermes med kommandoen /model.

Trinn 3. Øk konteksten til 64,000#

Som standard gir Ollama modellen en kontekst på 2,048 tokener, mens Hermes trenger minst 64,000 for å arbeide med verktøy. Oppgaven får ikke plass med standardkonteksten, og agenten vil stoppe med feil.

Lag en modellvariant med større kontekst. Kjør dette i terminalen:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Nå har du modellen gemma4-64k. Bruk den overalt fra nå av, ikke den opprinnelige modellen.

Trinn 4. Koble den til Hermes#

Start oppsettsveiviseren:

hermes setup

Når du blir spurt om leverandør, velger du Custom Endpoint og skriver inn:

• adresse: http://localhost:11434/v1;
• nøkkel: la feltet stå tomt eller skriv inn no-key;
• modell: gemma4-64k.

Du kan skrive inn den samme konfigurasjonen manuelt i ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Slik sjekker du at agenten fungerer#

Kjør hermes og gi den en oppgave der resultatet er synlig på disken. For eksempel: «List opp alle Python-filene i denne mappen og tell linjene i hver av dem», og deretter «Opprett en fil som heter test.txt». Sjekk med ls-kommandoen eller i mappen om filen dukket opp. En modell uten verktøy kan fint lage en liste som ser troverdig ut uten å åpne en eneste fil.

Jo billigere nevrale nettverk du bruker, desto flinkere redaktør trenger det. Det er deg. Jo smartere det nevrale nettverket er, desto mindre trenger du å bruke ditt eget hode, men du må alltid arbeide.

Video om komplett oppsett av Hermes Agent fra grunnen av:

Videoen viser hvordan du installerer Hermes fra grunnen av, bygger din første AI-medarbeider og sammenligner betaling per forespørsel med et abonnement.

Hvorfor tar det flere minutter å få det første svaret?#

For hver forespørsel sender Hermes en fast del: systeminstruksjonene og beskrivelsene av alle aktiverte verktøy. Uten grafikkort bruker modellen lang tid på å behandle dette først, og skriver deretter i vanlig hastighet. Det er normalt.

Dette hjelper:

• hermes prompt-size viser hvor stor den faste delen er;
• hermes tools deaktiverer unødvendige verktøysett, og hermes skills hjelper deg med å fjerne ekstra ferdigheter. Hver tilkoblede MCP (ekstern tjeneste) gjør hver forespørsel større: hvis du ikke bruker den, slå den av;
• ollama ps viser hvor mange modellag som er flyttet over til grafikkortet. Selv delvis flytting øker hastigheten: en 31B-modell legger omtrent 40 lag på et grafikkort med 12 GB; prosessoren håndterer resten;
• på en treg maskin setter du HERMES_API_TIMEOUT=1800 i ~/.hermes/.env, slik at Hermes ikke avbryter forespørselen når tidsavbruddet nås.

Hvis agenten kjører på en server døgnet rundt eller svarer i Telegram, bør du huske at Ollama losser modellen etter 5 minutter uten aktivitet, og neste svar starter med å laste den inn igjen. Ollama-innstillingen OLLAMA_KEEP_ALIVE=24h holder modellen i minnet. Du finner en gjennomgang av hvordan du flytter agenten til en server i artikkelen om å kjøre Hermes Agent på en server døgnet rundt, og om oppsett av en bot i guiden for oppsett av Hermes på Telegram.

Hvis noe går galt#

En skymodell som reserve#

Hermes-dokumentasjonen anbefaler å beholde en lokal modell som hovedmodell og koble til en skymodell som reserve. Legg til blokken fra dokumentasjonen ved siden av model-delen i ~/.hermes/config.yaml:

Finn veiledninger for verktøy i Ailoot-dokumentasjonen

Hvis den lokale modellen feiler tre ganger, sender Hermes oppgaven til skymodellen. Disse forespørslene koster penger og sendes til skyen.

Et annet alternativ er å la en kraftig abonnementsmodell stå for tenking og beslutningstaking, mens den lokale modellen håndterer rutineoppgaver. Målet er å bevare kvaliteten og gradvis redusere tokenkostnadene. Denne tilnærmingen bruker billigere modeller til enkelttrinn, og lokale modeller kan bli et alternativ senere. Artikkelen «Hvor mye koster en AI-agent for virksomheten?» beskriver hva abonnementsbaserte agenter koster. Hvis du ikke har installert Hermes ennå, kan du begynne med gjennomgangen av hvordan du installerer Hermes Agent.

Har du prøvd å sette opp en lokal modell ennå? Hva kjører du på den? Fortell oss det; vi er nysgjerrige.

Fortsett å utforske Ailoot på ailoot.ai.