Hermes Agent con un modelo local: conectar Ollama

Puedes conectar un modelo local a Hermes Agent en la aplicación de escritorio en cuatro clics, desde Settings → Providers → Local Models, o manualmente mediante Ollama. En cualquiera de los dos casos, no necesitas una clave, no pagas por cada solicitud y la conversación no sale de tu equipo.

Ejecutar un modelo local no cuesta nada, y Hermes puede trabajar con él. Lo principal es elegir un modelo que pueda trabajar con archivos y comandos, y darle un contexto de al menos 64.000; de lo contrario, el agente se convierte en un chat normal.

Veamos para qué sirve hoy un modelo local, cómo conectarlo y cómo comprobar que el agente trabaja con archivos. Vamos allá.

Documentación de referencia de Ailoot: ailoot.ai/docs/.

¿Deberías poner un agente a trabajar con un modelo local?#

Para qué son útiles ya los modelos locales:

• Transcribir voz. Hay modelos gratuitos y abiertos para esto: son pequeños y reconocen bien el audio. Tu voz no se filtra a la nube, así que todos tus planes ingeniosos se quedan contigo. Puedes consultar un tutorial sobre cómo configurarlo en un artículo aparte.
• Tareas rutinarias. Ya puedes usar modelos pequeños y tontos para las tareas rutinarias: pueden con ellas.
• Datos que no quieres enviar fuera. Si realmente te preocupa, puedes ejecutar un modelo en tu propio equipo. Pero la calidad será mala.

El año que viene, los modelos locales probablemente ocuparán aún menos espacio. Ya existen métodos de compresión potentes y puedes usar la RAM en lugar de la memoria de vídeo. Creo que dentro de más o menos un año todo el mundo tendrá una pequeña caja con un modelito tonto que realizará tareas al nivel de Sonnet 5. Ya veremos.

Para la configuración, conviene tener a mano una tabla de «qué modelo usar para cada tarea» y un PDF con los comandos de instalación de Hermes.

La forma más sencilla: Local Models en Hermes de escritorio#

Si tienes la aplicación de escritorio Hermes, no necesitas instalar nada manualmente. Hermes instalará el servidor local llama.cpp, descargará un modelo y elegirá el tamaño del contexto por ti:

1. Abre Settings → Providers → Local Models o elige Run models locally la primera vez que inicies la aplicación.
2. Haz clic en Install runtime: Hermes descargará una versión de llama.cpp para tu hardware; ocupa unos cientos de megabytes.
3. Elige un modelo del catálogo y haz clic en Download.
4. Haz clic en Use: los chats nuevos se realizarán con el modelo local.

Cada modelo del catálogo tiene una etiqueta de color: verde significa que cabe por completo en la memoria de vídeo; amarillo, que funciona a través de la RAM y es más lento; y rojo, que es demasiado grande para tu equipo. La aplicación configura un contexto de 64.000 o más para los modelos recomendados. Una tarjeta gráfica con 8+ GB puede ejecutar los modelos pequeños del catálogo; una con 16+ GB puede ejecutar modelos 27-35B. Si no usas un modelo durante 15 minutos, la aplicación lo descarga de la memoria; vuelve a cargarlo cuando envías otro mensaje.

La sección está incluida en las versiones de prueba (canary) de la aplicación; en las demás versiones, ábrela con la opción de inicio --local. Si no ves Local Models en la configuración, esa es probablemente la razón. Desde el terminal, el mismo recorrido es: hermes model → Local models.

Después de elegir un modelo, compruébalo con una tarea que implique un archivo, como se explica en la sección siguiente.

Si creas tus propios proyectos con agentes de IA, comprueba el resultado con una tarea pequeña y real.

Usar Ollama: qué hardware necesitas#

Necesitas Ollama si Hermes está instalado en un servidor o no tienes la sección Local Models. Estos son los requisitos de hardware de la guía de Hermes:

8 GB bastan únicamente para un modelo pequeño que solo responde con texto. Para que el modelo funcione como agente, necesitas 24 GB o más; consulta el paso 2 para más detalles. Todo funciona sin tarjeta gráfica, pero lentamente: un modelo 9B en un procesador de 8 núcleos genera alrededor de 10 tokens por segundo; uno 31B, 2-5, y cada respuesta tarda 30-120 segundos.

Paso 1. Instalar Ollama#

Ollama ejecuta modelos directamente en tu equipo. En Mac y Linux, instálalo con un comando en el terminal:

curl -fsSL https://ollama.com/install.sh | sh

En Windows, el comando de PowerShell es:

irm https://ollama.com/install.ps1 | iex

Comprueba que el programa esté instalado y que el servidor responda:

ollama --version
curl http://localhost:11434/api/tags

Si todavía no tienes ningún modelo, el segundo comando devolverá una lista vacía. Recuerda el puerto 11434: Hermes lo usa para acceder al modelo.

Paso 2. Descargar un modelo que pueda actuar#

¿Qué hace un modelo? Genera texto. Hermes, el envoltorio que lo rodea, se encarga de trabajar con archivos, comandos del terminal y búsquedas. Para que ese envoltorio funcione, el modelo debe poder llamar a herramientas. Sin esa capacidad, el agente solo responde y no hace nada.

De estos cuatro modelos, solo gemma4:31b funciona como agente. Si tienes menos de 24 GB de memoria, no podrás ejecutar un agente: los modelos de la tabla solo responderán con texto. Constantemente aparecen modelos nuevos en la biblioteca de Ollama; antes de usar cada uno, comprueba si puede llamar a herramientas.

ollama pull gemma4:31b

Puedes descargar varios modelos y alternar entre ellos en Hermes con el comando /model.

Paso 3. Aumentar el contexto a 64.000#

De forma predeterminada, Ollama asigna al modelo un contexto de 2.048 tokens, mientras que Hermes necesita al menos 64.000 para trabajar con herramientas. Con el contexto predeterminado, la tarea no cabrá y el agente fallará con errores.

Crea una variante del modelo con un contexto mayor. Ejecuta esto en el terminal:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Ahora tienes el modelo gemma4-64k. A partir de ahora, úsalo en todas partes en lugar del original.

Paso 4. Conectarlo a Hermes#

Inicia el asistente de configuración:

hermes setup

Cuando te pregunte por el proveedor, elige Custom Endpoint e introduce:

• dirección: http://localhost:11434/v1;
• clave: déjala en blanco o escribe no-key;
• modelo: gemma4-64k.

También puedes introducir la misma configuración manualmente en ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

¿Cómo comprobar que Hermes Agent funciona con un modelo local?#

Ejecuta hermes y dale una tarea cuyo resultado pueda verse en el disco. Por ejemplo: «Enumera todos los archivos Python de esta carpeta y cuenta las líneas de cada uno» y luego «Crea un archivo llamado test.txt». Comprueba con el comando ls o en la carpeta si apareció el archivo. Un modelo sin herramientas puede generar sin problema una lista que parece convincente sin abrir ni un solo archivo.

Cuanto más barata sea la red neuronal que uses, más avanzado tendrá que ser el editor de cuero que necesita. Ese eres tú. Cuanto más inteligente sea tu red neuronal, menos tendrás que usar la cabeza, pero siempre tendrás que trabajar.

Vídeo sobre la configuración completa de Hermes Agent desde cero:

El vídeo muestra cómo instalar Hermes desde cero, crear a tu primer empleado de IA y comparar el pago por cada solicitud con una suscripción.

Por qué la primera respuesta tarda varios minutos#

Con cada solicitud, Hermes envía una parte fija: las instrucciones del sistema y las descripciones de todas las herramientas activadas. Sin una tarjeta gráfica, el modelo tarda mucho en procesar esa parte y después escribe a su velocidad habitual. Es normal.

Qué puede ayudar:

• hermes prompt-size muestra el tamaño de la parte fija;
• hermes tools desactiva los conjuntos de herramientas que no necesitas, y hermes skills ayuda a eliminar habilidades sobrantes. Cada MCP conectado (servicio externo) hace que cada solicitud sea más grande: si no lo usas, desactívalo;
• ollama ps muestra cuántas capas del modelo se han descargado a la tarjeta gráfica. Incluso descargar solo una parte acelera el proceso: una tarjeta gráfica con 12 GB puede alojar unas 40 capas de un modelo 31B; el procesador se encarga del resto;
• en un equipo lento, configura HERMES_API_TIMEOUT=1800 en ~/.hermes/.env para que Hermes no interrumpa la solicitud cuando se agote el tiempo de espera.

Si el agente funciona en un servidor las 24 horas o responde en Telegram, ten en cuenta que Ollama descarga el modelo tras 5 minutos de inactividad, y la siguiente respuesta empezará cargándolo de nuevo. El ajuste de Ollama OLLAMA_KEEP_ALIVE=24h mantiene el modelo en memoria. Encontrarás un tutorial para trasladar el agente a un servidor en el artículo sobre cómo ejecutar Hermes Agent en un servidor las 24 horas, y para configurar un bot en la guía de configuración de Telegram para Hermes.

Si algo sale mal#

Un modelo en la nube como alternativa#

La documentación de Hermes sugiere mantener un modelo local como modelo principal y conectar un modelo en la nube como alternativa. Para ello, añade el bloque de la documentación junto a la sección model en ~/.hermes/config.yaml:

Buscar guías de herramientas en la documentación de Ailoot

Si el modelo local falla tres veces, Hermes envía la tarea al modelo en la nube. Esas solicitudes son de pago y se envían a la nube.

Otra opción es que un modelo de suscripción potente se encargue del razonamiento y la toma de decisiones, mientras que el modelo local asume las tareas rutinarias. El objetivo es preservar la calidad y reducir gradualmente los costes de los tokens. Este enfoque usa modelos más baratos para pasos concretos; los modelos locales pueden ser una opción más adelante. El artículo «¿Cuánto cuesta un agente de IA para empresas?» describe cuánto cuestan los agentes con suscripción. Si aún no has instalado Hermes, empieza con el tutorial sobre cómo instalar Hermes Agent.

¿Has probado ya a configurar un modelo local? ¿Qué ejecutas en él? Cuéntanos; nos interesa.

Sigue explorando Ailoot en ailoot.ai.