# Cómo evaluar un enrutador de LLM para producción

> Una guía basada en fuentes para evaluar las decisiones de enrutamiento, los cambios de tareas, los efectos de la caché de prompts, la observabilidad, las credenciales y la implementación en producción.

Source: https://ailoot.ai/blog/es/evaluate-llm-router-production/
Canonical: https://ailoot.ai/blog/es/evaluate-llm-router-production/
Language: es
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100017
Revision: sha256-5a0862a2cd8d042bc944d08574bbc3d75613b28f00a8e7470a1ecb3854b685fe


## ¿Cómo elegir uno para tu propia carga de trabajo?

**1. Registra los campos que lo determinan todo:** Por llamada: modelo, tokens de entrada, tokens de entrada en caché, tokens de escritura en caché, tokens de salida, latencia, tipo de tarea y si el resultado se aceptó o se volvió a intentar. El campo de entrada en caché es el que los equipos omiten y el que determina si el enrutamiento puede ayudarte. Una semana de esto cuesta una tarde de instrumentación.

**2. Calcula tu límite máximo antes de comparar opciones:** El ahorro máximo es S = f x (1 - r), donde f es la proporción de llamadas que pueden dejar de usar el modelo de vanguardia y r es el coste del modelo barato como fracción del coste del modelo de vanguardia. Ambos valores se obtienen en el primer paso. Dedica ese tiempo al almacenamiento en caché de prompts, los endpoints por lotes y el esfuerzo de razonamiento.

**3. Crea un conjunto de referencia a partir de tu propio tráfico, por clase de tarea:** Entre cincuenta y doscientas solicitudes reales con resultados correctos conocidos, muestreadas de tus registros en vez de redactadas a mano. Este es el artefacto que hace concretas todas las conversaciones posteriores con un proveedor. Sin él, estás comparando publicidad.

**4. Prueba las dos condiciones que predicen el comportamiento en producción:** Primero, ejecuta el enrutador en modo sombra sobre tráfico en vivo y compara el gasto enrutado con una línea de base que use solo el modelo de vanguardia, calculada con una caché activa, que es la única comparación justa. Segundo, y este es el paso que nadie da, reserva una clase de tarea que el enrutador nunca haya visto y mídelo ahí. La sección 2 explica por qué. Un enrutador que parece funcionar bien con tu conjunto de calibración y se viene abajo en un área de funcionalidades nueva no te avisará.

**5. Condiciona el despliegue a la evaluación y sigue ejecutándola:** Exige que el modelo barato supere un umbral establecido en cada clase de tarea antes de que esa clase pueda enrutarse. Luego, mantén el proceso en ejecución, porque las versiones de los modelos cambian y un enrutador calibrado en marzo describe una oferta de modelos que ya no existe.

## ¿Qué distingue a un enrutador de LLM de producción de una demostración?

### 1. La optimalidad, no el ahorro anunciado

Una cifra de ahorro sin una cifra de calidad al lado es una frase a medias.

La optimalidad es el criterio que nadie destaca en el marketing y es lo que determina tu factura. Mide con qué frecuencia el enrutador eligió el modelo más barato que aun así respondió correctamente. Un enrutador puede mostrar una buena cifra de precisión mientras derrocha dinero.

Pídele a cualquier proveedor la proporción de selección óptima. Si no puede proporcionarla, no ha medido aquello por lo que estás pagando.

### 2. Resistencia cuando cambia el tipo de tarea

Compra el enrutador que haya visto tráfico con características similares al tuyo y exige que te muestren un resultado con una distribución en la que no se haya ajustado.

### 3. Qué hace cuando la caché está activa

Un enrutador solo es tan bueno como el mecanismo que lo sustenta.

[Anthropic publica los multiplicadores](https://platform.claude.com/docs/en/build-with-claude/prompt-caching): leer desde la caché cuesta 0.1x la entrada base, escribir en caché con una duración de cinco minutos cuesta 1.25x y escribir con una duración de una hora cuesta 2x. Así que cambiar de modelo durante un turno cuesta aproximadamente doce veces lo que habría costado mantener el mismo prefijo, y solo se recupera ese coste si el nuevo modelo conserva la sesión.

Esto es compatible. El proveedor mantiene activo el prefijo abandonado, así que volver sale barato; la parte costosa es la escritura en el modelo al que cambiaste. Que compense depende de la longitud de tus prefijos y de la frecuencia con que vuelves. Nadie puede responderlo por ti, y ese es precisamente el punto.

### 4. Dónde se sitúa el límite del enrutamiento

Un enrutador que vuelve a decidir en cada turno toma una decisión para la que no tiene suficiente información y paga una escritura en caché cada vez que cambia de opinión.

Los buenos límites de enrutamiento son aquellos que una sesión no cruza de vuelta: una subtarea completa, una fase diferenciada o un trabajo en segundo plano.

### 5. Si puedes ver y anular la decisión

Cuando baja la calidad de las respuestas, un ingeniero necesita contestar rápidamente a una pregunta: ¿cambió el modelo o lo cambié yo? Un enrutador que registra qué modelo eligió, por qué y cuánto costó permite depurar el sistema. Uno que no lo hace es una fuente de regresiones misteriosas.

Exige un campo de modelo por solicitud, un campo de coste por solicitud y una opción para anular la decisión.

### 6. Radio de impacto, porque el enrutador tiene tus claves

Por diseño, un enrutador se encuentra en la ruta de las credenciales. Tiene claves de proveedores y, en un despliegue autogestionado, también puede tener credenciales de nube. Eso lo convierte en una dependencia de gran valor. Al evaluar un enrutador, pregunta cómo se distribuye, si las versiones están firmadas, si la ruta de despliegue fija las dependencias y a qué puede acceder en el host. El alojamiento propio no es automáticamente más seguro que un servicio gestionado; la exposición es distinta.

### 7. Quién se hará cargo dentro de dieciocho meses

Es un motivo para preguntar, durante la evaluación, cómo es la hoja de ruta bajo la propiedad actual y cuál es la ruta de migración si el producto deja de funcionar.

## ¿Cuándo no deberías usar un enrutador de LLM?

**Cuando tu tráfico es uniformemente difícil:** El ahorro del enrutamiento depende de cuánto varía tu tráfico, no de lo inteligente que sea el enrutador.

## ¿Qué deberías hacer a continuación?

Ahora tienes las dos preguntas que distinguen un enrutador que funcionará de uno que hará una buena demostración: ¿cuál es su proporción de selección óptima y qué ocurre cuando cambia el tipo de tarea?

Empieza por el primer paso. Añade los tokens de entrada en caché y el tipo de tarea a los registros de solicitudes y déjalos recopilándose durante una semana. Ese único campo marca la diferencia entre un valor real para f y una conjetura.

## Preguntas frecuentes

### ¿Qué es un enrutador de LLM?

Un enrutador de LLM es una capa de decisión entre tu aplicación y un conjunto de modelos que envía cada solicitud al modelo con más probabilidades de completarla de forma aceptable al menor coste. Los enrutadores previos a la generación deciden basándose solo en el prompt; los enrutadores en cascada permiten que un modelo barato responda primero y escalan a otro cuando un evaluador rechaza la respuesta. La mayoría de los sistemas de producción combina ahora ambos enfoques.

### ¿Los enrutadores de LLM realmente ahorran dinero?

Sí, pero mucho menos de lo que sugieren las cifras anunciadas, y la cantidad depende de tu tráfico, no del enrutador. Calcula S = f x (1 - r) a partir de tus propios registros antes de creer cualquier cifra de un proveedor.

### ¿Cuál es la diferencia entre un enrutador de LLM y una pasarela de IA?

Una pasarela te ofrece un endpoint, conmutación por error, gestión de claves, presupuestos y observabilidad para muchos proveedores. Un enrutador decide qué modelo gestiona una solicitud determinada. La mayoría de las pasarelas incluye ahora un enrutador, pero ambas capacidades son independientes.

### ¿Puedo crear mi propio enrutador de LLM en vez de comprar uno?

Puedes hacerlo, y el trabajo de medición es idéntico en ambos casos, así que primero completa los pasos uno a tres de la secuencia anterior. Si lo creas, empieza con una tabla de búsqueda por tipo de tarea. Añade un clasificador entrenado solo cuando esa línea de base se quede claramente corta.

### ¿Cambiar de modelo rompe la caché de prompts?

Cambiar de modelo te cuesta una escritura en caché en el nuevo modelo, facturada a 1.25x la entrada base para un TTL de cinco minutos, frente a 0.1x por la lectura que abandonaste. La compensación depende de la longitud del prefijo y de la frecuencia con que vuelves, así que mídelo con tu propio tráfico.

## Pon en práctica esta guía con Ailoot

Conecta modelos de IA con tus aplicaciones, agentes y automatizaciones a través de una única API de Ailoot. Elige el modelo que se ajuste a tu tarea y sigue la [documentación de Ailoot](https://ailoot.ai/docs/) para empezar.


## Ailoot · La empresa y su cartera de proyectos

Ailoot se apoya en la experiencia operativa acumulada, una amplia base de clientes, un servicio estable y el seguimiento continuo de KPI.

La empresa y su cartera de proyectos: millones de clientes; ventas por miles de millones al mes.

Ailoot aplica esa experiencia operativa al acceso por API a funciones de IA en productos de clientes, agentes, aplicaciones y automatizaciones.
