Hermes Agent avec un modèle local : connecter Ollama

Vous pouvez connecter un modèle local à Hermes Agent dans l’application de bureau en quatre clics via Settings → Providers → Local Models, ou manuellement avec Ollama. Dans les deux cas, aucune clé n’est nécessaire, vous ne payez pas chaque requête et la conversation ne quitte pas votre machine.

Un modèle local ne coûte rien à faire tourner, et Hermes peut en utiliser un. L’essentiel est de choisir un modèle capable de travailler avec des fichiers et des commandes, et de lui donner un contexte d’au moins 64 000 ; sinon, l’agent devient un chat ordinaire.

Voyons à quoi un modèle local peut servir aujourd’hui, comment le connecter et comment vérifier que l’agent travaille avec des fichiers. Allons-y.

Documentation de référence Ailoot : ailoot.ai/docs/.

Faut-il faire fonctionner un agent avec un modèle local ?#

Voici à quoi les modèles locaux sont déjà utiles :

• Transcrire la parole. Il existe des modèles gratuits et ouverts pour cela : ils sont petits et reconnaissent bien la parole. Votre voix ne part pas dans le cloud, donc tous vos plans ingénieux restent chez vous. Un guide explique comment configurer cela dans un article distinct.
• Tâches courantes. Vous pouvez déjà utiliser de petits modèles stupides pour les tâches courantes : ils savent s’en charger.
• Données que vous ne voulez pas envoyer à l’extérieur. Si cela vous préoccupe vraiment, vous pouvez exécuter un modèle sur votre propre machine. Mais la qualité sera médiocre.

L’année prochaine, les modèles locaux occuperont probablement encore moins de place. Il existe déjà des méthodes de compression puissantes, et vous pouvez utiliser la RAM au lieu de la mémoire vidéo. Je pense que d’ici un an environ, tout le monde aura une petite boîte avec un petit modèle stupide qui effectuera des tâches au niveau de Sonnet 5. On verra.

Pour la configuration, il est utile de garder à portée de main un tableau « quel modèle pour quelle tâche » et un PDF contenant les commandes d’installation de Hermes.

La méthode la plus simple : Local Models dans Hermes sur ordinateur#

Si vous avez l’application de bureau Hermes, vous n’avez rien à installer manuellement. Hermes installera le serveur llama.cpp local, téléchargera un modèle et choisira une taille de contexte pour vous :

1. Ouvrez Settings → Providers → Local Models ou choisissez Run models locally au premier lancement.
2. Cliquez sur Install runtime : Hermes téléchargera une version de llama.cpp adaptée à votre matériel ; elle pèse quelques centaines de mégaoctets.
3. Choisissez un modèle dans le catalogue et cliquez sur Download.
4. Cliquez sur Use : les nouveaux chats passeront par le modèle local.

Chaque modèle du catalogue porte une étiquette de couleur : vert signifie qu’il tient entièrement dans la mémoire vidéo, jaune qu’il fonctionne via la RAM et est plus lent, et rouge qu’il est trop volumineux pour votre ordinateur. Pour les modèles recommandés, l’application définit un contexte de 64 000 ou plus. Une carte graphique avec au moins 8+ GB peut faire fonctionner les petits modèles du catalogue ; une carte avec au moins 16+ GB peut faire fonctionner les modèles 27-35B. Si vous n’utilisez pas un modèle pendant 15 minutes, l’application le décharge de la mémoire ; elle le recharge lorsque vous envoyez un autre message.

Cette section est incluse dans les versions de test (canary) de l’application ; dans les autres versions, ouvrez-la avec l’option de lancement --local. Si vous ne voyez pas Local Models dans les paramètres, c’est très probablement la raison. Dans le terminal, le même chemin est : hermes model → Local models.

Après avoir choisi un modèle, vérifiez-le avec une tâche faisant intervenir un fichier, comme indiqué dans la section ci-dessous.

Si vous créez vos propres projets avec des agents IA, vérifiez le résultat sur une petite tâche réelle.

Utiliser Ollama : quel matériel faut-il ?#

Vous avez besoin d’Ollama si Hermes est installé sur un serveur ou si vous ne disposez pas de la section Local Models. Voici les exigences matérielles indiquées dans le guide Hermes :

8 GB suffisent uniquement pour un petit modèle qui ne répond qu’avec du texte. Pour que le modèle fonctionne comme un agent, il vous faut 24 GB ou plus ; voyez l’étape 2 pour plus de détails. Tout fonctionne sans carte graphique, mais lentement : un modèle 9B sur un processeur à 8 cœurs génère environ 10 tokens par seconde ; un modèle 31B, 2-5, et chaque réponse prend 30-120 secondes.

Étape 1. Installer Ollama#

Ollama exécute les modèles directement sur votre ordinateur. Sur Mac et Linux, installez-le avec une commande dans le terminal :

curl -fsSL https://ollama.com/install.sh | sh

Sous Windows, la commande PowerShell est :

irm https://ollama.com/install.ps1 | iex

Vérifiez que le programme est installé et que le serveur répond :

ollama --version
curl http://localhost:11434/api/tags

Si vous n’avez pas encore de modèles, la deuxième commande renverra une liste vide. Retenez le port 11434 : Hermes l’utilise pour accéder au modèle.

Étape 2. Télécharger un modèle capable d’agir#

Que fait un modèle ? Il génère du texte. L’enveloppe qui l’entoure, Hermes, gère le travail avec les fichiers, les commandes du terminal et la recherche. Pour que l’enveloppe fonctionne, le modèle doit pouvoir appeler des outils. Sans cela, l’agent se contente de répondre et ne fait rien.

Parmi ces quatre modèles, seul gemma4:31b fonctionne comme un agent. Si vous avez moins de 24 GB de mémoire, vous ne pourrez pas faire fonctionner un agent : les modèles du tableau ne répondront qu’avec du texte. De nouveaux modèles apparaissent constamment dans la bibliothèque Ollama ; pour chacun d’eux, vérifiez d’abord s’il peut appeler des outils.

ollama pull gemma4:31b

Vous pouvez télécharger plusieurs modèles et passer de l’un à l’autre dans Hermes avec la commande /model.

Étape 3. Augmenter le contexte à 64 000#

Par défaut, Ollama donne au modèle un contexte de 2 048 tokens, alors que Hermes a besoin d’au moins 64 000 pour travailler avec des outils. Avec le contexte par défaut, la tâche ne tiendra pas et l’agent échouera avec des erreurs.

Créez une variante du modèle avec un contexte plus grand. Exécutez ceci dans le terminal :

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Vous disposez maintenant du modèle gemma4-64k. Désormais, utilisez-le partout au lieu du modèle d’origine.

Étape 4. Le connecter à Hermes#

Lancez l’assistant de configuration :

hermes setup

Quand il vous demande de choisir un fournisseur, sélectionnez Custom Endpoint et indiquez :

• adresse : http://localhost:11434/v1 ;
• clé : laissez le champ vide ou saisissez no-key ;
• modèle : gemma4-64k.

Vous pouvez saisir la même configuration à la main dans ~/.hermes/config.yaml :

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Comment vérifier que Hermes Agent fonctionne avec un modèle local ?#

Lancez hermes et donnez-lui une tâche dont le résultat est visible sur le disque. Par exemple : « Liste tous les fichiers Python de ce dossier et compte le nombre de lignes de chacun », puis « Crée un fichier nommé test.txt ». Vérifiez avec la commande ls ou dans le dossier si le fichier est apparu. Un modèle sans outils peut produire tranquillement une liste qui semble plausible sans ouvrir le moindre fichier.

Plus le réseau neuronal que vous utilisez est bon marché, plus il a besoin d’un éditeur en cuir évolué. Cet éditeur, c’est vous. Plus votre réseau neuronal est intelligent, moins vous devez faire appel à votre propre cerveau, mais vous devez toujours travailler.

Vidéo sur la configuration complète de Hermes Agent depuis le début :

La vidéo montre comment installer Hermes depuis le début, créer votre premier employé IA et comparer le paiement à chaque requête à un abonnement.

Pourquoi la première réponse prend plusieurs minutes#

À chaque requête, Hermes envoie une partie fixe : les instructions système et les descriptions de tous les outils activés. Sans carte graphique, le modèle met longtemps à traiter cette partie, puis écrit à sa vitesse habituelle. C’est normal.

Ce qui aide :

• hermes prompt-size indique la taille de la partie fixe ;
• hermes tools désactive les ensembles d’outils inutiles, et hermes skills aide à supprimer les compétences superflues. Chaque MCP connecté (service externe) augmente la taille de chaque requête : si vous ne l’utilisez pas, désactivez-le ;
• ollama ps indique combien de couches du modèle ont été déchargées vers la carte graphique. Même un déchargement partiel accélère les choses : une carte graphique de 12 GB peut accueillir environ 40 couches d’un modèle 31B ; le processeur s’occupe du reste ;
• sur une machine lente, définissez HERMES_API_TIMEOUT=1800 dans ~/.hermes/.env afin que Hermes n’interrompe pas la requête à cause d’un délai d’attente dépassé.

Si l’agent fonctionne sur un serveur en continu ou répond sur Telegram, gardez à l’esprit qu’Ollama décharge le modèle après 5 minutes d’inactivité, et que le chargement recommencera lors de la réponse suivante. Le paramètre Ollama OLLAMA_KEEP_ALIVE=24h maintient le modèle en mémoire. Vous trouverez un guide pour déplacer l’agent sur un serveur dans l’article consacré à l’exécution de Hermes Agent sur un serveur en continu, et pour configurer un bot dans le guide de configuration de Telegram pour Hermes.

En cas de problème#

Un modèle cloud en solution de secours#

La documentation Hermes suggère d’utiliser un modèle local comme modèle principal et de connecter un modèle cloud comme solution de secours. Pour cela, ajoutez le bloc de la documentation à côté de la section model dans ~/.hermes/config.yaml :

Trouver des guides sur les outils dans la documentation Ailoot

Si le modèle local échoue trois fois, Hermes envoie la tâche au modèle cloud. Ces requêtes sont payantes et passent par le cloud.

Une autre option consiste à confier la réflexion et la prise de décision à un modèle d’abonnement puissant, tandis que le modèle local se charge des tâches courantes. Le but est de préserver la qualité et de réduire progressivement les coûts des tokens. Cette approche utilise des modèles moins chers pour certaines étapes, les modèles locaux pouvant devenir une option par la suite. L’article « Combien coûte un agent IA pour une entreprise ? » décrit le coût des agents avec abonnement. Si vous n’avez pas encore installé Hermes, commencez par le guide sur l’installation de Hermes Agent.

Avez-vous déjà essayé de configurer un modèle local ? Qu’est-ce que vous lui faites exécuter ? Dites-le-nous ; ça nous intéresse.

Continuez à découvrir Ailoot sur ailoot.ai.