# Hermes Agent med en lokal modell: koble til Ollama

> Slik kobler du en lokal modell til Hermes Agent: Local Models i skrivebordsappen eller Ollama, en modell med verktøykall, 64 000 kontekst og hvordan du sjekker at det fungerer.

Source: https://ailoot.ai/blog/nb/hermes-local-model-ollama-context/
Canonical: https://ailoot.ai/blog/nb/hermes-local-model-ollama-context/
Language: nb
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-115
Revision: sha256-4f03f79d330e457ebd574fa8f13b920c077d00ee792e63e4ba3d4fae06de7de4


Du kan koble en lokal modell til Hermes Agent i skrivebordsappen med fire klikk via Settings → Providers → Local Models, eller manuelt via Ollama. Uansett trenger du ingen nøkkel, du betaler ikke for hver forespørsel, og samtalen forlater ikke maskinen din.

Det koster ingenting å kjøre en lokal modell, og Hermes kan arbeide med en. Det viktigste er å velge en modell som kan arbeide med filer og kommandoer, og gi den en kontekst på minst 64 000; ellers blir agenten en vanlig chat.

La oss se på hvor en lokal modell er nyttig i dag, hvordan du kobler til en, og hvordan du sjekker at agenten arbeider med filer. Sett i gang.

Ailoot-referansedokumentasjon: [ailoot.ai/docs/](https://ailoot.ai/docs/).



<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Viktige punkter i denne delen">

Viktige punkter

Den enkleste måten er i Hermes for skrivebord: Settings → Providers → Local Models, Install runtime, velg en modell, Download og Use. Appen velger kontekststørrelsen for deg. Med Ollama: last ned en modell med verktøykall (av modellene i Hermes-tabellen er det bare `gemma4:31b` som støtter dette, og den trenger 24+ GB minne), sett konteksten til 64,000 i stedet for standardverdien 2,048, og velg Custom Endpoint i `hermes setup` med adressen `http://localhost:11434/v1` og uten nøkkel. Sjekk den med en oppgave som gir et resultat på disken, ikke ut fra svarteksten.

</div>

## Bør du bruke en lokal modell til en agent?





Dette kan en lokal modell allerede være nyttig til:

- **Transkribering av tale.** Det finnes gratis, åpne modeller for dette: de er små og gjenkjenner lyd godt. Stemmen din lekker ikke ut i skyen, så alle de hemmelige planene dine blir hos deg. Det finnes en gjennomgang av hvordan du setter dette opp [i en egen artikkel](https://ailoot.ai/blog/nb/free-voice-input-whisper/).
- **Rutineoppgaver.** Du kan allerede bruke små, enkle modeller til rutineoppgaver: de klarer dem.
- **Data du er redd for å sende ut.** Hvis du er ordentlig bekymret, kan du kjøre en modell på din egen maskin. Men kvaliteten blir dårlig.

Neste år vil lokale modeller sannsynligvis ta enda mindre plass. Det finnes allerede kraftige komprimeringsmetoder, og du kan bruke RAM i stedet for videominne. Jeg tror alle om et års tid vil ha en liten boks med en liten, enkel modell som utfører oppgaver på nivå med Sonnet 5. Vi får se.

Til oppsettet er det nyttig å ha en tabell over «hvilken modell til hvilken oppgave» og en PDF med Hermes-installasjonskommandoer i nærheten.

## Den enkleste måten: Local Models i Hermes for skrivebord

Hvis du har Hermes-skrivebordsappen, trenger du ikke å installere noe manuelt. Hermes installerer den lokale llama.cpp-serveren, laster ned en modell og velger kontekststørrelse for deg:

1. Åpne **Settings → Providers → Local Models**, eller velg **Run models locally** første gang du starter appen.
2. Klikk på **Install runtime**: Hermes laster ned en llama.cpp-byggversjon for maskinvaren din; den er på noen hundre megabyte.
3. Velg en modell fra katalogen og klikk på **Download**.
4. Klikk på **Use**: nye chatter går via den lokale modellen.

Hver modell i katalogen har en farget etikett: grønn betyr at den får plass i videominnet, gul betyr at den kjører via RAM og er tregere, og rød betyr at den er for stor for datamaskinen din. Appen setter konteksten til 64,000 eller mer for anbefalte modeller. Et grafikkort med 8+ GB kan kjøre katalogens små modeller; et med 16+ GB kan kjøre 27-35B-modeller. Hvis du ikke bruker en modell på 15 minutter, losser appen den fra minnet; den laster den inn igjen når du sender en ny melding.

Denne delen er med i appens testversjoner (canary); i andre versjoner åpner du den med startflagget `--local`. Hvis du ikke ser Local Models i innstillingene, er det sannsynligvis derfor. Fra terminalen er samme fremgangsmåte: `hermes model` → **Local models**.

Når du har valgt en modell, sjekker du den med en oppgave som involverer en fil, slik det beskrives i delen nedenfor.

Hvis du bygger egne prosjekter med AI-agenter, bør du sjekke resultatet med en liten, reell oppgave.



## Bruke Ollama: hvilken maskinvare trenger du?

Du trenger Ollama hvis Hermes er installert på en server, eller hvis du ikke har delen Local Models. Maskinvarekrav fra Hermes-guiden:

| Hva | Minimum | Bedre |
|----|----|----|
| RAM | 8 GB (3B-modeller) | 32+ GB (27B+-modeller) |
| Diskplass | 5 GB | 30+ GB hvis du har flere modeller |
| Prosessor | 4 kjerner | 8+ kjerner |
| Grafikkort | Ikke nødvendig | NVIDIA med 8+ GB videominne utgjør en merkbar forskjell |

8 GB er nok bare til en liten modell som kun svarer med tekst. For at modellen skal fungere som en agent, trenger du 24 GB eller mer; se trinn 2 for detaljer. Alt fungerer uten grafikkort, men sakte: en 9B-modell på en prosessor med 8 kjerner genererer rundt 10 tokener per sekund; en 31B-modell genererer 2-5, og hvert svar tar 30-120 sekunder.

## Trinn 1. Installer Ollama

Ollama kjører modeller direkte på datamaskinen din. På Mac og Linux installerer du den med én kommando i terminalen:

```bash
curl -fsSL https://ollama.com/install.sh | sh
```

På Windows bruker du denne PowerShell-kommandoen:

```powershell
irm https://ollama.com/install.ps1 | iex
```

Sjekk at programmet er installert og at serveren svarer:

```bash
ollama --version
curl http://localhost:11434/api/tags
```

Hvis du ikke har noen modeller ennå, returnerer den andre kommandoen en tom liste. Husk port 11434: Hermes bruker den til å nå modellen.

## Trinn 2. Last ned en modell som kan utføre handlinger

Hva gjør en modell? Den genererer tekst. Hermes, som er laget utenpå den, håndterer arbeid med filer, terminalkommandoer og søk. For at dette laget skal fungere, må modellen kunne kalle verktøy. Uten det svarer agenten bare og gjør ingenting.

| Modell         | På disk | Minne | Verktøykall |
|---------------|----------|--------|--------------------|
| `gemma4:31b`  | ~20 GB   | 24+ GB | ja                |
| `gemma2:27b`  | ~16 GB   | 20+ GB | nei                 |
| `gemma2:9b`   | ~5 GB    | 8+ GB  | nei                 |
| `llama3.2:3b` | ~2 GB    | 4+ GB  | nei                 |

Av disse fire modellene er det bare `gemma4:31b` som fungerer som en agent. Hvis du har mindre enn 24 GB minne, kan du ikke kjøre en agent: modellene i tabellen svarer bare med tekst. Det kommer stadig nye modeller i Ollama-biblioteket; sjekk først om hver enkelt kan kalle verktøy.

```bash
ollama pull gemma4:31b
```

Du kan laste ned flere modeller og bytte mellom dem i Hermes med kommandoen `/model`.

## Trinn 3. Øk konteksten til 64,000

Som standard gir Ollama modellen en kontekst på 2,048 tokener, mens Hermes trenger minst 64,000 for å arbeide med verktøy. Oppgaven får ikke plass med standardkonteksten, og agenten vil stoppe med feil.

Lag en modellvariant med større kontekst. Kjør dette i terminalen:

```bash
cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile
```

Nå har du modellen `gemma4-64k`. Bruk den overalt fra nå av, ikke den opprinnelige modellen.

## Trinn 4. Koble den til Hermes

Start oppsettsveiviseren:

```bash
hermes setup
```

Når du blir spurt om leverandør, velger du **Custom Endpoint** og skriver inn:

- adresse: `http://localhost:11434/v1`;
- nøkkel: la feltet stå tomt eller skriv inn `no-key`;
- modell: `gemma4-64k`.

Du kan skrive inn den samme konfigurasjonen manuelt i `~/.hermes/config.yaml`:

```yaml
model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"
```

## Slik sjekker du at agenten fungerer

Kjør `hermes` og gi den en oppgave der resultatet er synlig på disken. For eksempel: «List opp alle Python-filene i denne mappen og tell linjene i hver av dem», og deretter «Opprett en fil som heter test.txt». Sjekk med `ls`-kommandoen eller i mappen om filen dukket opp. En modell uten verktøy kan fint lage en liste som ser troverdig ut uten å åpne en eneste fil.

Jo billigere nevrale nettverk du bruker, desto flinkere redaktør trenger det. Det er deg. Jo smartere det nevrale nettverket er, desto mindre trenger du å bruke ditt eget hode, men du må alltid arbeide.

Video om komplett oppsett av Hermes Agent fra grunnen av:

<figure>
Videoen lastes inn når du blar ned
<figcaption>Komplett guide til Hermes Agent fra grunnen av for automatisering av virksomheten</figcaption>
</figure>

Videoen viser hvordan du installerer Hermes fra grunnen av, bygger din første AI-medarbeider og sammenligner betaling per forespørsel med et abonnement.

## Hvorfor tar det flere minutter å få det første svaret?

For hver forespørsel sender Hermes en fast del: systeminstruksjonene og beskrivelsene av alle aktiverte verktøy. Uten grafikkort bruker modellen lang tid på å behandle dette først, og skriver deretter i vanlig hastighet. Det er normalt.

Dette hjelper:

- `hermes prompt-size` viser hvor stor den faste delen er;
- `hermes tools` deaktiverer unødvendige verktøysett, og `hermes skills` hjelper deg med å fjerne ekstra ferdigheter. Hver tilkoblede MCP (ekstern tjeneste) gjør hver forespørsel større: hvis du ikke bruker den, slå den av;
- `ollama ps` viser hvor mange modellag som er flyttet over til grafikkortet. Selv delvis flytting øker hastigheten: en 31B-modell legger omtrent 40 lag på et grafikkort med 12 GB; prosessoren håndterer resten;
- på en treg maskin setter du `HERMES_API_TIMEOUT=1800` i `~/.hermes/.env`, slik at Hermes ikke avbryter forespørselen når tidsavbruddet nås.

Hvis agenten kjører på en server døgnet rundt eller svarer i Telegram, bør du huske at Ollama losser modellen etter 5 minutter uten aktivitet, og neste svar starter med å laste den inn igjen. Ollama-innstillingen `OLLAMA_KEEP_ALIVE=24h` holder modellen i minnet. Du finner en gjennomgang av hvordan du flytter agenten til en server [i artikkelen om å kjøre Hermes Agent på en server døgnet rundt](https://ailoot.ai/blog/nb/hermes-agent-vps-24-7/), og om oppsett av en bot [i guiden for oppsett av Hermes på Telegram](https://ailoot.ai/blog/nb/hermes-agent-telegram-setup/).

## Hvis noe går galt

| Det du ser | Hva du skal gjøre |
|----|----|
| “Connection refused” ved oppstart | Ollama kjører ikke: `ollama serve` eller `sudo systemctl start ollama` |
| `provider 'ollama' has no endpoint configured` | Skriv inn Ollama-adressen i `providers.ollama.base_url` eller `model.base_url` |
| Agenten svarer, men gjør ingenting | Modellen kan ikke kalle verktøy; installer `gemma4:31b` og gi den en kontekst på 64,000 |
| Feil som skyldes konteksten | Trinn 3 er ikke utført |
| Lange samtaler er trege | Kjør `/compress` jevnlig |

## En skymodell som reserve

Hermes-dokumentasjonen anbefaler å beholde en lokal modell som hovedmodell og koble til en skymodell som reserve. Legg til blokken fra dokumentasjonen ved siden av `model`-delen i `~/.hermes/config.yaml`:

[Finn veiledninger for verktøy i Ailoot-dokumentasjonen](https://ailoot.ai/docs/)

Hvis den lokale modellen feiler tre ganger, sender Hermes oppgaven til skymodellen. Disse forespørslene koster penger og sendes til skyen.

Et annet alternativ er å la en kraftig abonnementsmodell stå for tenking og beslutningstaking, mens den lokale modellen håndterer rutineoppgaver. Målet er å bevare kvaliteten og gradvis redusere tokenkostnadene. Denne tilnærmingen bruker billigere modeller til enkelttrinn, og lokale modeller kan bli et alternativ senere. Artikkelen «Hvor mye koster en AI-agent for virksomheten?» beskriver hva abonnementsbaserte agenter koster. Hvis du ikke har installert Hermes ennå, kan du begynne med gjennomgangen av [hvordan du installerer Hermes Agent](https://ailoot.ai/blog/nb/hermes-agent-install-setup/).

Har du prøvd å sette opp en lokal modell ennå? Hva kjører du på den? Fortell oss det; vi er nysgjerrige.

<div class="section" role="doc-bibliography" aria-label="Kilder">

### Kilder

- [Hermes Agent: Kjør Hermes lokalt med Ollama](https://raw.githubusercontent.com/NousResearch/hermes-agent/357f51c49106f47136caf9b01015467b7b633fe8/website/docs/guides%2Flocal-ollama-setup.md) - maskinvarekrav, installasjon og verifisering av Ollama, modelltabell og verktøykall, kontekststørrelsene 2,048 og 64,000, tilkobling via Custom Endpoint, første svar og tidsavbrudd, utlasting etter 5 minutter, feilsøking, reserveleverandør (kontrollert 7. oktober 2026, samsvarer med gjeldende versjon).
- [Hermes Agent: Local Models](https://raw.githubusercontent.com/NousResearch/hermes-agent/main/website/docs/user-guide/local-models.md) - Local Models i skrivebordsappen, minneetiketter, 64K-kontekst, utlasting etter 15 minutter, `hermes model`, `--local`-flagget (hentet 7. oktober 2026).
- [Ollama: nedlasting for Windows](https://ollama.com/download/windows) - installasjonskommandoer for Mac, Linux og Windows (hentet 7. oktober 2026).

</div>








Fortsett å utforske Ailoot på [ailoot.ai](https://ailoot.ai/).

## Spørsmål om denne veiledningen: Hermes Agent med en lokal modell: koble til Ollama

### Hvordan verifiserer jeg verktøybruk fremfor et troverdig tekstsvar?

Be Hermes utføre en liten filoppgave, og undersøk faktisk mappe og filinnhold selv. En generert liste i chatten beviser ikke at modellen leste filer eller opprettet et resultat.

### Holder en lokal modellreserve alle forespørsler på maskinen?

Bare mens forespørslene forblir hos den lokale modellen. Den valgfrie reservekonfigurasjonen som beskrives her, sender oppgaven til skyleverandøren etter gjentatte lokale feil. De forespørslene forlater maskinen og kan koste penger.


## Ailoot · Selskapet og dets prosjektportefølje

Ailoot bygger på etablert driftserfaring, en stor kundebase, stabil tjeneste og løpende KPI-kontroll.

Selskapet og dets prosjektportefølje: millioner av kunder; månedlig salg for milliarder.

Ailoot bruker denne driftserfaringen til API-tilgang til AI-funksjoner i kundenes produkter, agenter, applikasjoner og automatiseringer.