Blog

Comment évaluer un routeur LLM pour la production

Markdown

Un guide fondé sur des sources pour évaluer les décisions de routage, les changements de tâches, les effets du cache de prompts, l’observabilité, les identifiants d’accès et le déploiement en production.

Comment en choisir un pour votre propre charge de travail ?

1. Consignez les champs qui déterminent tout : pour chaque appel : le modèle, les jetons d’entrée, les jetons d’entrée mis en cache, les jetons d’écriture du cache, les jetons de sortie, la latence, le type de tâche et l’acceptation ou la nouvelle tentative du résultat. Le champ des entrées mises en cache est celui que les équipes omettent, et c’est lui qui détermine si le routage peut vous aider. Une semaine de collecte nécessite un après-midi d’instrumentation.

2. Calculez votre plafond avant de chercher : les économies maximales sont S = f x (1 - r), où f correspond à la part des appels qui peuvent quitter le modèle frontier et r au coût du modèle bon marché en proportion de celui du modèle frontier. Vous obtenez ces deux valeurs à l’étape un. Consacrez plutôt du temps au cache de prompts, aux points de terminaison batch et à l’effort de raisonnement.

3. Constituez un jeu de référence à partir de votre propre trafic, pour chaque classe de tâches : cinquante à deux cents requêtes réelles avec des résultats reconnus comme bons, échantillonnées dans vos journaux plutôt que rédigées à la main. Cet artefact rend concrète toute conversation ultérieure avec un fournisseur. Sans lui, vous comparez des arguments marketing.

4. Testez les deux conditions qui prédisent le comportement en production : d’abord, exécutez le routeur en mode fantôme sur le trafic en direct et comparez les dépenses liées au routage à une référence où toutes les requêtes passent par le modèle frontier, avec un cache chaud : c’est la seule comparaison équitable. Ensuite — et c’est l’étape que personne ne réalise — mettez de côté une classe de tâches que le routeur n’a jamais vue et mesurez ses résultats sur celle-ci. La section 2 explique pourquoi. Un routeur qui semble bien fonctionner sur votre jeu de calibration, mais s’effondre sur un nouveau domaine fonctionnel, ne vous avertira pas.

5. Conditionnez le déploiement aux évaluations et continuez à les exécuter : exigez que le modèle bon marché dépasse un seuil établi pour chaque classe de tâches avant que celle-ci puisse être routée. Puis laissez le processus tourner, car les versions des modèles évoluent et un routeur calibré en mars décrit une gamme de modèles qui n’existe plus.

Qu’est-ce qui distingue un routeur LLM de production d’une démo ?

1. L’optimalité, pas les économies mises en avant

Un chiffre d’économies sans indicateur de qualité à côté, c’est une phrase incomplète.

L’optimalité est le critère que personne ne met en avant, et c’est celui qui détermine votre facture. Elle mesure la fréquence à laquelle le routeur a choisi le modèle le moins cher qui répondait tout de même correctement. Un routeur peut afficher un bon taux de précision tout en gaspillant de l’argent.

Demandez à chaque fournisseur le taux de sélection optimale. S’il ne peut pas le fournir, il n’a pas mesuré ce que vous achetez.

2. Sa résistance aux changements de type de tâche

Achetez le routeur qui a vu un trafic semblable au vôtre, et exigez de voir un résultat obtenu sur une distribution sur laquelle il n’a pas été réglé.

3. Ce qu’il fait lorsque le cache est chaud

Un routeur ne vaut que ce que vaut le mécanisme qui le sous-tend.

Anthropic publie les multiplicateurs : la lecture du cache coûte 0.1x le tarif de base des entrées, l’écriture dans le cache pour cinq minutes coûte 1.25x et celle pour une heure coûte 2x. Un changement de modèle en cours de tour coûte donc environ douze fois plus que de rester sur le même modèle avec le même préfixe, et n’est rentable que si le nouveau modèle conserve la session.

Ces coûts sont conciliables. Le fournisseur garde votre préfixe abandonné en cache, ce qui rend le retour peu coûteux ; la partie chère est l’écriture sur le modèle vers lequel vous avez basculé. La rentabilité de cet échange dépend de la longueur de vos préfixes et de la fréquence à laquelle vous revenez. Personne ne peut répondre à votre place, et c’est précisément le propos.

4. Où se situe la limite du routage

Un routeur qui prend une nouvelle décision à chaque tour décide sans disposer des informations nécessaires et paie une écriture dans le cache chaque fois qu’il change d’avis.

Les bonnes limites de routage sont celles qu’une session ne franchit pas à nouveau dans l’autre sens : une sous-tâche entière, une phase distincte, un travail en arrière-plan.

5. Votre capacité à voir et à remplacer la décision

Lorsque la qualité des résultats baisse, un ingénieur doit pouvoir répondre rapidement à une question : le modèle a-t-il changé, ou est-ce moi ? Un routeur qui consigne le modèle choisi, la raison de ce choix et son coût peut être débogué. Un routeur qui ne le fait pas est une source de régressions mystérieuses.

Exigez un champ de modèle et un champ de coût pour chaque requête, ainsi qu’une option de remplacement.

6. L’ampleur des dégâts possibles, puisque le routeur détient vos clés

Par conception, un routeur se trouve sur le chemin des identifiants d’accès. Il détient des clés de fournisseurs et, dans un déploiement auto-hébergé, peut également détenir des identifiants d’accès au cloud. C’est donc une dépendance de grande valeur. Lorsque vous évaluez un routeur, demandez comment il est distribué, si les versions sont signées, si le processus de déploiement verrouille les dépendances et à quelles données il peut accéder sur l’hôte. L’auto-hébergement n’est pas automatiquement plus sûr qu’un service géré ; l’exposition est différente.

7. Qui en sera propriétaire dans dix-huit mois

C’est une raison de demander, pendant l’appel d’évaluation, à quoi ressemble la feuille de route avec les propriétaires actuels et quel est le parcours de migration si le service s’arrête.

Quand ne devriez-vous pas utiliser de routeur LLM ?

Lorsque votre trafic est uniformément difficile : les économies liées au routage dépendent de l’irrégularité de votre trafic, pas de l’intelligence du routeur.

Que faire ensuite ?

Vous connaissez maintenant les deux questions qui distinguent un routeur qui fonctionnera d’un routeur qui fera bonne impression en démo : quel est son taux de sélection optimale, et que se passe-t-il lorsque le type de tâche change ?

Commencez par l’étape un. Ajoutez les jetons d’entrée mis en cache et le type de tâche à vos journaux de requêtes, puis laissez-les s’accumuler pendant une semaine. Ce seul champ fait la différence entre une valeur réelle de f et une estimation.

Foire aux questions

Qu’est-ce qu’un routeur LLM ?

Un routeur LLM est une couche de décision entre votre application et un ensemble de modèles. Il envoie chaque requête au modèle le plus susceptible de la traiter de façon satisfaisante au coût le plus bas. Les routeurs qui interviennent avant la génération décident à partir du seul prompt ; les routeurs en cascade laissent d’abord un modèle bon marché répondre, puis passent au modèle supérieur lorsqu’un évaluateur rejette la réponse. La plupart des systèmes de production combinent désormais les deux approches.

Les routeurs LLM permettent-ils vraiment de faire des économies ?

Oui, mais beaucoup moins que ne le laissent entendre les chiffres mis en avant, et le montant dépend de votre trafic, pas du routeur. Calculez S = f x (1 - r) à partir de vos propres journaux avant de croire les chiffres d’un fournisseur.

Quelle est la différence entre un routeur LLM et une passerelle IA ?

Une passerelle vous fournit un point de terminaison unique, le basculement, la gestion des clés, les budgets et l’observabilité pour de nombreux fournisseurs. Un routeur décide quel modèle traite une requête donnée. La plupart des passerelles intègrent désormais un routeur, mais ces deux fonctionnalités sont indépendantes.

Puis-je créer mon propre routeur LLM au lieu d’en acheter un ?

Oui, et le travail de mesure est identique dans les deux cas. Commencez donc par les étapes un à trois de la séquence ci-dessus. Si vous le créez, commencez par une table de correspondance par type de tâche. N’ajoutez un classificateur entraîné que lorsque cette base montre clairement ses limites.

Le changement de modèle perturbe-t-il le cache de prompts ?

Quitter un modèle vous coûte une écriture dans le cache du nouveau modèle, facturée à 1.25x le tarif de base des entrées pour une TTL de cinq minutes, contre 0.1x pour la lecture que vous abandonnez. Le compromis dépend de la longueur du préfixe et de la fréquence à laquelle vous revenez ; mesurez-le donc sur votre propre trafic.

Mettez ce guide en pratique avec Ailoot

Connectez des modèles d’IA à vos applications, agents et automatisations grâce à une seule API Ailoot. Choisissez le modèle adapté à votre tâche et suivez la documentation Ailoot pour commencer.