Einen LLM-Router für den Produktionseinsatz bewerten
MarkdownEin quellenbasierter Leitfaden zur Bewertung von Routing-Entscheidungen, Aufgabenwechseln, Prompt-Cache-Effekten, Beobachtbarkeit, Zugangsdaten und dem Rollout in der Produktion.
Wie wählt man einen für die eigene Arbeitslast aus?
1. Protokollieren Sie die entscheidenden Felder: Für jeden Aufruf: Modell, Eingabetokens, zwischengespeicherte Eingabetokens, Cache-Schreib-Tokens, Ausgabetokens, Latenz, Aufgabentyp und ob das Ergebnis akzeptiert oder erneut angefordert wurde. Das Feld für zwischengespeicherte Eingaben wird von Teams oft ausgelassen, entscheidet aber darüber, ob Routing Ihnen überhaupt helfen kann. Eine Woche davon kostet einen Nachmittag für die Instrumentierung.
2. Berechnen Sie Ihre Obergrenze, bevor Sie sich umsehen: Die maximalen Einsparungen betragen S = f x (1 - r), wobei f der Anteil der Aufrufe ist, die das Frontier-Modell verlassen können, und r die Kosten des günstigen Modells als Anteil der Kosten des Frontier-Modells. Beides ergibt sich aus Schritt eins. Investieren Sie die Zeit stattdessen in Prompt-Caching, Batch-Endpunkte und den Reasoning-Aufwand.
3. Erstellen Sie für jede Aufgabenklasse einen Golden Set aus Ihrem eigenen Traffic: Fünfzig bis zweihundert echte Anfragen mit bekanntermaßen guten Ergebnissen, aus Ihren Logs entnommen statt von Hand verfasst. Dieses Artefakt macht jedes spätere Gespräch mit einem Anbieter konkret. Ohne dieses Set vergleichen Sie Marketing.
4. Testen Sie die beiden Bedingungen, die das Verhalten in der Produktion vorhersagen: Lassen Sie den Router zunächst im Shadow-Modus auf Live-Traffic laufen und vergleichen Sie die gerouteten Kosten mit einer vollständig über das Frontier-Modell laufenden Baseline, berechnet mit einem warmen Cache. Nur das ist ein fairer Vergleich. Halten Sie zweitens – und diesen Schritt überspringt jeder – eine Aufgabenklasse zurück, die der Router noch nie gesehen hat, und messen Sie ihn damit. Abschnitt 2 erklärt warum. Ein Router, der auf Ihrem Kalibrierungsset gut aussieht und bei einem neuen Funktionsbereich einbricht, wird das nicht ankündigen.
5. Machen Sie den Rollout von der Evaluation abhängig und führen Sie sie weiter aus: Verlangen Sie, dass das günstige Modell bei jeder Aufgabenklasse einen festgelegten Grenzwert erreicht, bevor diese Klasse geroutet werden darf. Lassen Sie den Job anschließend weiterlaufen, denn Modellversionen ändern sich, und ein im März kalibrierter Router beschreibt eine Modellpalette, die es nicht mehr gibt.
Was unterscheidet einen LLM-Router für die Produktion von einer Demo?
1. Optimalität statt der prominent beworbenen Einsparung
Eine Einsparungszahl ohne danebenstehende Qualitätskennzahl ist nur ein halber Satz.
Optimalität ist die Kennzahl, mit der niemand wirbt, und sie entscheidet über Ihre Rechnung. Sie gibt an, wie oft der Router das günstigste Modell gewählt hat, das dennoch richtig geantwortet hat. Ein Router kann eine gute Genauigkeitszahl vorweisen und dabei trotzdem Geld verbrennen.
Fragen Sie jeden Anbieter nach der Quote optimaler Auswahlentscheidungen. Wenn er sie nicht nennen kann, hat er nicht gemessen, was Sie kaufen.
2. Leistungsfähigkeit bei Änderungen des Aufgabentyps
Kaufen Sie den Router, der Traffic ähnlich Ihrem gesehen hat, und verlangen Sie ein Ergebnis für eine Verteilung, auf die er nicht abgestimmt wurde.
3. Was passiert, wenn der Cache warm ist
Ein Router ist nur so gut wie der Mechanismus, der darunterliegt.
Anthropic veröffentlicht die Multiplikatoren: Ein Cache-Lesezugriff kostet 0.1x des Basispreises für Eingaben, ein Cache-Schreibzugriff mit fünf Minuten Laufzeit kostet 1.25x und ein Schreibzugriff mit einer Stunde Laufzeit 2x. Ein Wechsel während eines Turns kostet also ungefähr zwölfmal so viel, wie es gekostet hätte, mit demselben Präfix beim bisherigen Modell zu bleiben, und rechnet sich nur, wenn das neue Modell die Sitzung beibehält.
Diese Kosten lassen sich miteinander in Einklang bringen. Der Anbieter hält Ihr aufgegebenes Präfix warm, sodass die Rückkehr günstig ist; teuer ist der Schreibzugriff auf das Modell, zu dem Sie gewechselt sind. Ob sich dieser Tausch lohnt, hängt davon ab, wie lang Ihre Präfixe sind und wie oft Sie zurückkehren. Das kann Ihnen niemand beantworten – genau darum geht es.
4. Wo die Routing-Grenze liegt
Ein Router, der bei jedem Turn neu entscheidet, trifft eine Entscheidung, für die ihm die nötigen Informationen fehlen, und bezahlt jedes Mal einen Cache-Schreibzugriff, wenn er seine Meinung ändert.
Gute Routing-Grenzen sind solche, die eine Sitzung nicht wieder zurück überschreitet: eine vollständige Teilaufgabe, eine klar abgegrenzte Phase, ein Hintergrundjob.
5. Ob Sie die Entscheidung sehen und überschreiben können
Wenn die Ausgabequalität sinkt, muss ein Ingenieur schnell eine Frage beantworten: Hat sich das Modell geändert oder ich? Ein Router, der protokolliert, welches Modell er gewählt hat, warum er es gewählt hat und was es gekostet hat, lässt sich debuggen. Einer, der das nicht tut, ist eine Quelle mysteriöser Regressionen.
Bestehen Sie auf einem Modellfeld pro Anfrage, einem Kostenfeld pro Anfrage und einer Möglichkeit zum Überschreiben.
6. Schadensradius, denn der Router verwahrt Ihre Schlüssel
Ein Router befindet sich konstruktionsbedingt auf dem Zugangsdatenpfad. Er hat Schlüssel für Anbieter und kann bei einer selbst gehosteten Bereitstellung auch Cloud-Zugangsdaten haben. Dadurch ist er eine besonders wertvolle Abhängigkeit. Fragen Sie bei der Bewertung eines Routers, wie er verteilt wird, ob Releases signiert sind, ob der Bereitstellungspfad Abhängigkeiten festschreibt und worauf er auf dem Host zugreifen kann. Selbst gehostet ist nicht automatisch sicherer als ein verwalteter Dienst; die Angriffsfläche ist eine andere.
7. Wem er in achtzehn Monaten gehört
Das ist ein Grund, im Evaluierungsgespräch zu fragen, wie die Roadmap unter den derzeitigen Eigentümern aussieht und wie der Migrationspfad verläuft, falls der Betrieb eingestellt wird.
Wann sollte man keinen LLM-Router verwenden?
Wenn Ihr Traffic durchgehend anspruchsvoll ist: Die Einsparungen durch Routing hängen davon ab, wie uneinheitlich Ihr Traffic ist, nicht davon, wie clever der Router ist.
Was sollten Sie als Nächstes tun?
Sie kennen nun die beiden Fragen, die einen funktionierenden Router von einem unterscheiden, der sich gut in einer Demo macht: Wie hoch ist seine Quote optimaler Auswahlentscheidungen, und was passiert, wenn sich der Aufgabentyp ändert?
Beginnen Sie mit Schritt eins. Ergänzen Sie Ihre Anfrage-Logs um zwischengespeicherte Eingabetokens und den Aufgabentyp und lassen Sie die Protokollierung eine Woche laufen. Dieses eine Feld macht aus einem echten Wert für f eine bloße Schätzung.
Häufig gestellte Fragen
Was ist ein LLM-Router?
Ein LLM-Router ist eine Entscheidungsschicht zwischen Ihrer Anwendung und einer Gruppe von Modellen. Er leitet jede Anfrage an das Modell weiter, das sie wahrscheinlich zu den geringsten Kosten zufriedenstellend erledigen kann. Router vor der Generierung entscheiden allein anhand des Prompts; kaskadierende Router lassen zunächst ein günstiges Modell antworten und eskalieren, wenn ein Scorer die Antwort ablehnt. Die meisten Produktionssysteme kombinieren inzwischen beides.
Sparen LLM-Router tatsächlich Geld?
Ja, aber deutlich weniger, als die prominent beworbenen Zahlen vermuten lassen. Die Höhe der Einsparungen hängt von Ihrem Traffic ab, nicht vom Router. Berechnen Sie S = f x (1 - r) anhand Ihrer eigenen Logs, bevor Sie einer Anbieterzahl glauben.
Was ist der Unterschied zwischen einem LLM-Router und einem AI-Gateway?
Ein Gateway bietet Ihnen einen Endpunkt, Failover, Schlüsselverwaltung, Budgets und Beobachtbarkeit über viele Anbieter hinweg. Ein Router entscheidet, welches Modell eine bestimmte Anfrage bearbeitet. Die meisten Gateways werden inzwischen mit einem Router ausgeliefert, doch die beiden Funktionen sind unabhängig voneinander.
Kann ich meinen eigenen LLM-Router bauen, statt einen zu kaufen?
Das können Sie, und der Messaufwand ist in beiden Fällen gleich. Führen Sie daher zuerst die Schritte eins bis drei der obigen Reihenfolge aus. Wenn Sie selbst bauen, beginnen Sie mit einer Nachschlagetabelle pro Aufgabentyp. Ergänzen Sie einen trainierten Klassifikator erst, wenn nachweislich klar ist, dass diese Baseline nicht ausreicht.
Wird Prompt-Caching durch einen Modellwechsel beeinträchtigt?
Ein Wechsel kostet Sie einen Cache-Schreibzugriff auf dem neuen Modell, der bei einer TTL von fünf Minuten mit 1.25x des Basispreises für Eingaben berechnet wird. Dem stehen 0.1x für den Lesezugriff gegenüber, den Sie aufgegeben haben. Der Kompromiss hängt von der Präfixlänge und davon ab, wie oft Sie zurückkehren. Messen Sie ihn daher mit Ihrem eigenen Traffic.
Setzen Sie diesen Leitfaden mit Ailoot um
Verbinden Sie KI-Modelle über eine einzige Ailoot-API mit Ihren Anwendungen, Agenten und Automatisierungen. Wählen Sie das Modell, das zu Ihrer Aufgabe passt, und folgen Sie der Ailoot-Dokumentation, um loszulegen.