Hermes Agent con un modello locale: collegare Ollama

Puoi collegare un modello locale a Hermes Agent nell’app desktop in quattro clic tramite Settings → Providers → Local Models, oppure manualmente tramite Ollama. In entrambi i casi non serve una chiave, non paghi per ogni richiesta e la conversazione non lascia il tuo computer.

Un modello locale non costa nulla da usare e Hermes può lavorarci. L’importante è scegliere un modello in grado di lavorare con file e comandi e fornirgli un contesto di almeno 64.000; altrimenti l’agente si trasforma in una normale chat.

Vediamo dove un modello locale è utile oggi, come collegarne uno e come verificare che l’agente lavori con i file. Andiamo.

Documentazione di riferimento di Ailoot: ailoot.ai/docs/.

Dovresti usare un modello locale per un agente?#

Dove un modello locale è già utile:

• Trascrivere il parlato. Esistono modelli gratuiti e open source per questo: sono piccoli e riconoscono bene l’audio. La tua voce non finisce nel cloud, quindi tutti i tuoi piani astuti restano con te. Puoi trovare una guida per configurarlo in un articolo separato.
• Attività di routine. Puoi già usare piccoli modelli poco intelligenti per le attività di routine: riescono a gestirle.
• Dati che temi di inviare all’esterno. Se sei davvero preoccupato, puoi eseguire un modello sul tuo computer. Ma la qualità sarà scarsa.

L’anno prossimo i modelli locali probabilmente occuperanno ancora meno spazio. Esistono già metodi di compressione potenti e puoi usare la RAM invece della memoria video. Penso che tra un anno circa tutti avranno una piccola scatola con un piccolo modello poco intelligente, capace di svolgere attività al livello di Sonnet 5. Vedremo.

Per la configurazione, è utile tenere a portata di mano una tabella «quale modello per quale attività» e un PDF con i comandi di installazione di Hermes.

Il modo più semplice: Local Models in Hermes desktop#

Se hai l’app desktop Hermes, non devi installare nulla manualmente. Hermes installerà il server locale llama.cpp, scaricherà un modello e sceglierà la dimensione del contesto per te:

1. Apri Settings → Providers → Local Models oppure scegli Run models locally al primo avvio.
2. Fai clic su Install runtime: Hermes scaricherà una build di llama.cpp per il tuo hardware; occupa alcune centinaia di megabyte.
3. Scegli un modello dal catalogo e fai clic su Download.
4. Fai clic su Use: le nuove chat passeranno attraverso il modello locale.

Ogni modello nel catalogo ha un’etichetta colorata: verde significa che entra interamente nella memoria video, giallo che usa la RAM ed è più lento, rosso che è troppo grande per il tuo computer. L’app imposta un contesto di almeno 64.000 per i modelli consigliati. Una scheda grafica con almeno 8 GB può eseguire i modelli piccoli del catalogo; una con almeno 16 GB può eseguire modelli da 27-35B. Se non usi un modello per 15 minuti, l’app lo scarica dalla memoria; lo ricarica quando invii un altro messaggio.

La sezione è inclusa nelle build di test (canary) dell’app; nelle altre build, aprila con il flag di avvio --local. Se non vedi Local Models nelle impostazioni, probabilmente è per questo. Dal terminale, il percorso equivalente è: hermes model → Local models.

Dopo aver scelto un modello, verificalo con un’attività che coinvolge un file, come descritto nella sezione seguente.

Se crei i tuoi progetti con agenti IA, verifica il risultato con un’attività piccola e reale.

Usare Ollama: l’hardware necessario#

Ti serve Ollama se Hermes è installato su un server o se non hai la sezione Local Models. Requisiti hardware indicati nella guida di Hermes:

8 GB bastano solo per un modello piccolo che risponde esclusivamente con testo. Per fare in modo che il modello agisca da agente, servono almeno 24 GB; vedi il passaggio 2 per i dettagli. Tutto funziona senza scheda grafica, ma lentamente: un modello 9B su un processore a 8 core genera circa 10 token al secondo; un modello 31B, 2-5, e ogni risposta richiede 30-120 secondi.

Passaggio 1. Installare Ollama#

Ollama esegue i modelli direttamente sul tuo computer. Su Mac e Linux, installalo con un solo comando nel terminale:

curl -fsSL https://ollama.com/install.sh | sh

Su Windows, il comando PowerShell è:

irm https://ollama.com/install.ps1 | iex

Verifica che il programma sia installato e che il server risponda:

ollama --version
curl http://localhost:11434/api/tags

Se non hai ancora modelli, il secondo comando restituirà un elenco vuoto. Ricorda la porta 11434: Hermes la usa per raggiungere il modello.

Passaggio 2. Scaricare un modello in grado di agire#

Che cosa fa un modello? Genera testo. Il wrapper che lo circonda, Hermes, gestisce il lavoro con i file, i comandi del terminale e la ricerca. Perché il wrapper funzioni, il modello deve poter chiamare gli strumenti. Senza questa capacità, l’agente risponde soltanto e non fa nulla.

Solo gemma4:31b tra questi quattro modelli funziona da agente. Se hai meno di 24 GB di memoria, non potrai eseguire un agente: i modelli della tabella risponderanno solo con testo. Nella libreria Ollama compaiono continuamente nuovi modelli; per ciascuno, controlla prima che possa chiamare gli strumenti.

ollama pull gemma4:31b

Puoi scaricare diversi modelli e passare dall’uno all’altro in Hermes con il comando /model.

Passaggio 3. Aumentare il contesto a 64.000#

Per impostazione predefinita, Ollama assegna al modello un contesto di 2.048 token, mentre Hermes ne richiede almeno 64.000 per lavorare con gli strumenti. Con il contesto predefinito, l’attività non ci starà e l’agente restituirà errori.

Crea una variante del modello con un contesto più ampio. Esegui questo comando nel terminale:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Ora hai il modello gemma4-64k. Da questo momento usalo ovunque al posto dell’originale.

Passaggio 4. Collegarlo a Hermes#

Avvia la procedura guidata di configurazione:

hermes setup

Quando ti viene chiesto di scegliere il provider, seleziona Custom Endpoint e inserisci:

• indirizzo: http://localhost:11434/v1;
• chiave: lascia il campo vuoto oppure inserisci no-key;
• modello: gemma4-64k.

Puoi inserire la stessa configurazione manualmente in ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Come verificare che l’agente funzioni#

Esegui hermes e assegnagli un’attività il cui risultato sia visibile su disco. Per esempio: «Elenca tutti i file Python in questa cartella e conta le righe di ciascuno», poi «Crea un file chiamato test.txt». Controlla con il comando ls o nella cartella per vedere se è apparso il file. Un modello senza strumenti può tranquillamente produrre un elenco dall’aspetto plausibile senza aprire nemmeno un file.

Quanto più economica è la rete neurale che usi, tanto più serve un editor di pelle evoluto. Cioè tu. Più intelligente è la tua rete neurale, meno devi usare la testa, ma il lavoro lo devi sempre fare.

Video sulla configurazione completa di Hermes Agent da zero:

Il video mostra come installare Hermes da zero, creare il tuo primo dipendente IA e confrontare il pagamento per ogni richiesta con un abbonamento.

Perché la prima risposta richiede diversi minuti#

A ogni richiesta, Hermes invia una parte fissa: le istruzioni di sistema e le descrizioni di tutti gli strumenti abilitati. Senza una scheda grafica, il modello impiega molto tempo a elaborarla, poi scrive alla sua velocità abituale. È normale.

Cosa può aiutare:

• hermes prompt-size mostra la dimensione della parte fissa;
• hermes tools disabilita i set di strumenti non necessari e hermes skills aiuta a rimuovere le skill superflue. Ogni MCP collegato (servizio esterno) rende più grande ogni richiesta: se non lo usi, disattivalo;
• ollama ps mostra quanti livelli del modello sono stati trasferiti alla scheda grafica. Anche il trasferimento parziale accelera le cose: un modello 31B su una scheda grafica con 12 GB ci carica circa 40 livelli; il processore gestisce il resto;
• su una macchina lenta, imposta HERMES_API_TIMEOUT=1800 in ~/.hermes/.env affinché Hermes non interrompa la richiesta per timeout.

Se l’agente è in esecuzione su un server giorno e notte o risponde su Telegram, tieni presente che Ollama scarica il modello dopo 5 minuti di inattività e che la risposta successiva inizierà ricaricandolo. L’impostazione Ollama OLLAMA_KEEP_ALIVE=24h mantiene il modello in memoria. Puoi trovare una guida per spostare l’agente su un server nell’articolo sull’esecuzione di Hermes Agent su un server giorno e notte e per configurare un bot nella guida alla configurazione di Hermes per Telegram.

Se qualcosa va storto#

Un modello cloud come alternativa#

La documentazione di Hermes consiglia di mantenere un modello locale come modello principale e collegare un modello cloud come alternativa. Per farlo, aggiungi il blocco della documentazione accanto alla sezione model in ~/.hermes/config.yaml:

Trova guide agli strumenti nella documentazione di Ailoot

Se il modello locale fallisce tre volte, Hermes invia l’attività al modello cloud. Queste richieste sono a pagamento e vengono inviate al cloud.

Un’altra opzione consiste nel lasciare che un potente modello su abbonamento si occupi del ragionamento e delle decisioni, mentre il modello locale gestisce le attività di routine. L’obiettivo è preservare la qualità e ridurre gradualmente i costi dei token. Questo approccio usa modelli più economici per singoli passaggi, con la possibilità di usare modelli locali in seguito. L’articolo «Quanto costa un agente IA per le aziende?» descrive il costo degli agenti su abbonamento. Se non hai ancora installato Hermes, inizia dalla guida su come installare Hermes Agent.

Hai già provato a configurare un modello locale? Che cosa ci esegui? Raccontacelo, siamo curiosi.

Continua a esplorare Ailoot su ailoot.ai.