# Hermes Agent z lokalnim modelom: povezava z Ollama

> Kako povezati lokalni model s Hermes Agent: Local Models v namizni aplikaciji ali Ollama, model s klicanjem orodij, kontekst 64.000 in kako preveriti, ali deluje.

Source: https://ailoot.ai/blog/sl/hermes-local-model-ollama-context/
Canonical: https://ailoot.ai/blog/sl/hermes-local-model-ollama-context/
Language: sl
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-115
Revision: sha256-0b395a6d2ef4501c370c7bbe03192ccf3d059e4429862c35509cf29d17440c26


Lokalni model lahko s Hermes Agent povežete v namizni aplikaciji v štirih klikih prek Settings → Providers → Local Models ali ročno prek Ollama. V vsakem primeru ne potrebujete ključa, ne plačujete za vsako zahtevo in pogovor ne zapusti vašega računalnika.

Lokalni model je mogoče poganjati brezplačno, Hermes pa lahko dela z njim. Najpomembneje je izbrati model, ki zna delati z datotekami in ukazi, ter mu zagotoviti kontekst velikosti vsaj 64.000; sicer se agent spremeni v navaden klepet.

Poglejmo, kdaj je lokalni model danes uporaben, kako ga povezati in kako preveriti, ali agent dela z datotekami. Začnimo.

Referenčna dokumentacija Ailoot: [ailoot.ai/docs/](https://ailoot.ai/docs/).



<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Key points in this section">

Ključne točke

Najlažje je v namiznem Hermes: Settings → Providers → Local Models, Install runtime, izberite model, Download in Use. Aplikacija bo sama izbrala velikost konteksta. Z Ollama: prenesite model s klicanjem orodij (od modelov v Hermesovi tabeli to podpira samo `gemma4:31b`, ki potrebuje 24+ GB pomnilnika), nastavite kontekst na 64.000 namesto privzete vrednosti 2,048, nato pa v `hermes setup` izberite Custom Endpoint z naslovom `http://localhost:11434/v1` in brez ključa. Preverite ga z nalogo, ki ustvari rezultat na disku, ne na podlagi besedila odgovora.

</div>

## Ali naj agent uporablja lokalni model?





Kje so lokalni modeli že zdaj uporabni:

- **Prepisovanje govora.** Za to obstajajo brezplačni odprti modeli: majhni so in dobro prepoznavajo zvok. Vaš glas ne uide v oblak, zato vsi vaši skrivni načrti ostanejo pri vas. Navodila za nastavitev najdete [v ločenem članku](https://ailoot.ai/blog/sl/free-voice-input-whisper/).
- **Rutinska opravila.** Za rutinska opravila lahko že uporabljate majhne, manj zmogljive modele: kos so jim.
- **Podatki, ki jih ne želite pošiljati drugam.** Če vas to res skrbi, lahko model poganjate na svojem računalniku. Toda kakovost bo slaba.

Prihodnje leto bodo lokalni modeli verjetno zavzeli še manj prostora. Zmogljive metode stiskanja že obstajajo, namesto video pomnilnika pa lahko uporabite RAM. Mislim, da bo čez kakšno leto vsak imel majhno škatlico z majhnim, manj zmogljivim modelom, ki bo opravljal naloge na ravni Sonnet 5. Bomo videli.

Za nastavitev je koristno imeti pri roki tabelo »kateri model za katero nalogo« in PDF z ukazi za namestitev Hermesa.

## Najlažja pot: Local Models v namiznem Hermes

Če imate namizno aplikacijo Hermes, vam ni treba ničesar namestiti ročno. Hermes bo namestil lokalni strežnik llama.cpp, prenesel model in sam izbral velikost konteksta:

1. Odprite **Settings → Providers → Local Models** ali ob prvem zagonu izberite **Run models locally**.
2. Kliknite **Install runtime**: Hermes bo prenesel različico llama.cpp za vašo strojno opremo; velika je nekaj sto megabajtov.
3. Izberite model iz kataloga in kliknite **Download**.
4. Kliknite **Use**: novi klepeti bodo potekali prek lokalnega modela.

Vsak model v katalogu ima barvno oznako: zelena pomeni, da se v celoti prilega v video pomnilnik, rumena, da deluje prek RAM-a in je počasnejši, rdeča pa, da je za vaš računalnik prevelik. Aplikacija za priporočene modele nastavi kontekst na 64.000 ali več. Grafična kartica z 8+ GB lahko poganja manjše modele iz kataloga; kartica s 16+ GB lahko poganja modele 27-35B. Če modela 15 minut ne uporabljate, ga aplikacija odstrani iz pomnilnika; znova ga naloži, ko pošljete naslednje sporočilo.

Ta razdelek je vključen v testne (canary) različice aplikacije; v drugih različicah ga odprite z zagonsko zastavico `--local`. Če v nastavitvah ne vidite Local Models, je to najverjetnejši razlog. V terminalu je pot enaka: `hermes model` → **Local models**.

Ko izberete model, ga preizkusite z nalogo, ki vključuje datoteko, kot je opisano v spodnjem razdelku.

Če z agenti AI gradite lastne projekte, preverite rezultat na majhni, resnični nalogi.



## Uporaba Ollama: kakšno strojno opremo potrebujete

Ollama potrebujete, če je Hermes nameščen na strežniku ali če nimate razdelka Local Models. Zahteve glede strojne opreme iz vodnika Hermes:

| Kaj | Najmanj | Bolje |
|----|----|----|
| RAM | 8 GB (modeli 3B) | 32+ GB (modeli 27B+) |
| Prostor na disku | 5 GB | 30+ GB, če imate več modelov |
| Procesor | 4 jedra | 8+ jeder |
| Grafična kartica | Ni potrebna | NVIDIA z 8+ GB video pomnilnika opazno izboljša delovanje |

8 GB zadostuje le za majhen model, ki odgovarja samo z besedilom. Za delovanje modela kot agenta potrebujete 24 GB ali več; podrobnosti so v 2. koraku. Vse deluje tudi brez grafične kartice, vendar počasi: model 9B na 8-jedrnem procesorju ustvari približno 10 tokenov na sekundo; model 31B pa 2-5, vsak odgovor pa traja 30-120 sekund.

## 1. korak. Namestite Ollama

Ollama poganja modele neposredno v vašem računalniku. V sistemih Mac in Linux jo namestite z enim ukazom v terminalu:

```bash
curl -fsSL https://ollama.com/install.sh | sh
```

V sistemu Windows uporabite ukaz PowerShell:

```powershell
irm https://ollama.com/install.ps1 | iex
```

Preverite, ali je program nameščen in ali se strežnik odziva:

```bash
ollama --version
curl http://localhost:11434/api/tags
```

Če še nimate modelov, bo drugi ukaz vrnil prazen seznam. Zapomnite si vrata 11434: Hermes jih uporablja za dostop do modela.

## 2. korak. Prenesite model, ki lahko ukrepa

Kaj počne model? Ustvarja besedilo. Ovojnica okoli njega, Hermes, skrbi za delo z datotekami, terminalskimi ukazi in iskanjem. Da lahko ovojnica deluje, mora model znati klicati orodja. Brez tega agent samo odgovarja in ničesar ne naredi.

| Model         | Na disku | Pomnilnik | Klicanje orodij |
|---------------|----------|--------|--------------------|
| `gemma4:31b`  | ~20 GB   | 24+ GB | da                 |
| `gemma2:27b`  | ~16 GB   | 20+ GB | ne                 |
| `gemma2:9b`   | ~5 GB    | 8+ GB  | ne                 |
| `llama3.2:3b` | ~2 GB    | 4+ GB  | ne                 |

Od teh štirih modelov lahko kot agent deluje samo `gemma4:31b`. Če imate manj kot 24 GB pomnilnika, agenta ne boste mogli poganjati: modeli v tabeli bodo odgovarjali samo z besedilom. V knjižnici Ollama se nenehno pojavljajo novi modeli; pri vsakem najprej preverite, ali zna klicati orodja.

```bash
ollama pull gemma4:31b
```

Prenesete lahko več modelov in med njimi v Hermes preklapljate z ukazom `/model`.

## 3. korak. Povečajte kontekst na 64.000

Ollama modelu privzeto dodeli kontekst 2,048 tokenov, Hermes pa za delo z orodji potrebuje vsaj 64.000. Naloga se v privzeti kontekst ne bo prilegala, zato bo agent javil napake.

Ustvarite različico modela z večjim kontekstom. V terminalu zaženite:

```bash
cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile
```

Zdaj imate model `gemma4-64k`. Odslej ga uporabljajte povsod namesto izvirnega modela.

## 4. korak. Povežite ga s Hermesom

Zaženite čarovnika za nastavitev:

```bash
hermes setup
```

Ko vas vpraša za ponudnika, izberite **Custom Endpoint** in vnesite:

- naslov: `http://localhost:11434/v1`;
- ključ: pustite prazno ali vnesite `no-key`;
- model: `gemma4-64k`.

Enako konfiguracijo lahko ročno vnesete v `~/.hermes/config.yaml`:

```yaml
model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"
```

## Kako preveriti, ali agent deluje

Zaženite `hermes` in mu dajte nalogo, katere rezultat je viden na disku. Na primer: »Naštej vse datoteke Python v tej mapi in preštej vrstice v vsaki,« nato pa »Ustvari datoteko z imenom test.txt.« Z ukazom `ls` ali v mapi preverite, ali se je datoteka pojavila. Model brez orodij lahko brez težav ustvari verjeten seznam, ne da bi odprl eno samo datoteko.

Cenejša kot je nevronska mreža, naprednejši usnjeni urejevalnik potrebuje. To ste vi. Pametnejša kot je nevronska mreža, manj morate uporabljati lastno glavo, a vedno morate delati.

Video o celotni nastavitvi Hermes Agent od začetka:

<figure>
Video se bo naložil med pomikanjem
<figcaption>Celoten vodnik za Hermes Agent od začetka za avtomatizacijo poslovanja</figcaption>
</figure>

Video prikazuje namestitev Hermesa od začetka, izdelavo vašega prvega zaposlenega z umetno inteligenco ter primerjavo plačevanja za vsako zahtevo z naročnino.

## Zakaj prvi odgovor traja več minut

Pri vsaki zahtevi Hermes pošlje nespremenljivi del: sistemska navodila in opise vseh omogočenih orodij. Brez grafične kartice model najprej dolgo obdeluje ta del, nato pa piše z običajno hitrostjo. To je normalno.

Kaj pomaga:

- `hermes prompt-size` prikaže velikost nespremenljivega dela;
- `hermes tools` onemogoči nepotrebne zbirke orodij, `hermes skills` pa pomaga odstraniti odvečne veščine. Vsak povezan MCP (zunanja storitev) poveča vsako zahtevo: če ga ne uporabljate, ga izklopite;
- `ollama ps` prikaže, koliko plasti modela je bilo prenesenih na grafično kartico. Tudi delni prenos pospeši delovanje: model 31B na grafični kartici z 12 GB nanjo prenese približno 40 plasti; ostalo obdela procesor;
- na počasnem računalniku v `~/.hermes/.env` nastavite `HERMES_API_TIMEOUT=1800`, da Hermes zaradi časovne omejitve ne prekine zahteve.

Če agent ves čas deluje na strežniku ali odgovarja v Telegramu, upoštevajte: Ollama po 5 minutah nedejavnosti model odstrani, naslednji odgovor pa se bo začel z njegovim ponovnim nalaganjem. Nastavitev Ollama `OLLAMA_KEEP_ALIVE=24h` ohrani model v pomnilniku. Navodila za premik agenta na strežnik najdete [v članku o neprekinjenem delovanju Hermes Agent na strežniku](https://ailoot.ai/blog/sl/hermes-agent-vps-24-7/), navodila za nastavitev bota pa [v vodniku za nastavitev Hermes Telegram](https://ailoot.ai/blog/sl/hermes-agent-telegram-setup/).

## Če gre kaj narobe

| Kaj vidite | Kaj storiti |
|----|----|
| »Connection refused« ob zagonu | Ollama ne deluje: `ollama serve` ali `sudo systemctl start ollama` |
| `provider 'ollama' has no endpoint configured` | Vnesite naslov Ollama v `providers.ollama.base_url` ali `model.base_url` |
| Agent odgovarja, vendar ničesar ne naredi | Model ne zna klicati orodij; namestite `gemma4:31b` in nastavite kontekst na 64.000 |
| Napake zaradi konteksta | 3. korak ni bil izveden |
| Dolgi pogovori so počasni | Redno zaženite `/compress` |

## Model v oblaku kot rezervna možnost

Dokumentacija Hermes predlaga, da je lokalni model primarni, model v oblaku pa rezervni. To nastavite tako, da blok iz dokumentacije dodate poleg razdelka `model` v `~/.hermes/config.yaml`:

[V dokumentaciji Ailoot poiščite vodiče za orodja](https://ailoot.ai/docs/)

Če lokalni model trikrat odpove, Hermes pošlje nalogo modelu v oblaku. Te zahteve so plačljive in gredo v oblak.

Druga možnost je, da zmogljivejši naročniški model prepustite razmišljanju in odločanju, lokalni model pa rutinskim opravilom. Cilj je ohraniti kakovost in postopoma zmanjšati stroške tokenov. Ta pristop za posamezne korake uporablja cenejše modele, lokalni modeli pa so lahko možnost pozneje. Članek »Koliko stane agent AI za podjetje?« opisuje stroške agentov z naročnino. Če Hermesa še niste namestili, začnite z vodnikom [za namestitev Hermes Agent](https://ailoot.ai/blog/sl/hermes-agent-install-setup/).

Ste že poskusili nastaviti lokalni model? Kaj poganjate na njem? Povejte nam, zanima nas.

<div class="section" role="doc-bibliography" aria-label="Sources">

### Viri

- [Hermes Agent: Run Hermes Locally with Ollama](https://raw.githubusercontent.com/NousResearch/hermes-agent/357f51c49106f47136caf9b01015467b7b633fe8/website/docs/guides%2Flocal-ollama-setup.md) - zahteve glede strojne opreme, namestitev in preverjanje Ollama, tabela modelov in klicanje orodij, velikosti konteksta 2,048 in 64.000, povezava prek Custom Endpoint, prvi odgovor in časovna omejitev, odstranitev po 5 minutah, odpravljanje težav, rezervni ponudnik (preverjeno 7. oktobra 2026; ustreza trenutni različici).
- [Hermes Agent: Local Models](https://raw.githubusercontent.com/NousResearch/hermes-agent/main/website/docs/user-guide/local-models.md) - Local Models v namizni aplikaciji, oznake pomnilnika, kontekst 64K, odstranitev po 15 minutah, `hermes model`, zastavica `--local` (pridobljeno 7. oktobra 2026).
- [Ollama: download for Windows](https://ollama.com/download/windows) - ukazi za namestitev za Mac, Linux in Windows (pridobljeno 7. oktobra 2026).

</div>








Nadaljujte z raziskovanjem Ailoot na [ailoot.ai](https://ailoot.ai/).

## Vprašanja in odgovori: Hermes Agent z lokalnim modelom: povezava z Ollama

### Kako preverim uporabo orodij namesto verjetno zvenečega besedilnega odgovora?

Hermesu zadajte majhno datotečno nalogo, nato sami preglejte dejansko mapo in vsebino datoteke. Ustvarjeni seznam v klepetu ne dokazuje, da je model bral datoteke ali ustvaril artefakt.

### Ali rezervni prehod lokalnega modela vsako zahtevo ohrani v mojem računalniku?

Samo dokler zahteve ostajajo pri lokalnem modelu. Opisana izbirna rezervna konfiguracija po ponovljenih lokalnih napakah nalogo pošlje ponudniku v oblaku; te zahteve zapustijo računalnik in so lahko plačljive.


## Ailoot · Podjetje in njegov portfelj projektov

Ailoot temelji na pridobljenih operativnih izkušnjah, široki bazi strank, stabilni storitvi in stalnem spremljanju KPI.

Podjetje in njegov portfelj projektov: milijoni strank; mesečna prodaja v milijardah.

Ailoot te operativne izkušnje uporablja za dostop prek API do funkcij umetne inteligence v izdelkih strank, agentih, aplikacijah in avtomatizacijah.