# Wat is modelroutering?

> Definieert modelroutering en beschrijft criteria voor het beoordelen van routeringsregels, aliassen, verdeling over providers, gedrag bij nieuwe pogingen en terugval, load balancing en afwegingen tussen kosten en latentie.

Source: https://ailoot.ai/blog/nl/what-is-model-routing/
Canonical: https://ailoot.ai/blog/nl/what-is-model-routing/
Language: nl
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100045
Revision: sha256-eea064412e80324c9e32a2a2cad4389d068ae9396021f9981877b780acaced4d


Modelroutering is het proces waarbij een binnenkomend LLM-verzoek op het moment van de aanvraag wordt gekoppeld aan een specifieke provider, modelidentifier en API-sleutel, op basis van beleid in plaats van applicatiecode. Een modelrouter beoordeelt de context van het verzoek (headers, tenant, budgetstatus, promptcomplexiteit) en de status van de provider (foutpercentage, latentie, resterende capaciteit binnen de rate limit) en herschrijft vervolgens het doel vóór de aanroep van de provider. Een modelrouteringslaag die de tokenkosten van LLM’s verlaagt, is meestal de plek waar teams voor het eerst rendement zien.

De term omvat drie mechanismen die vaak met elkaar worden verward:

- **Statische routering** koppelt een modelnaam op basis van vaste gewichten aan providers.
- **Conditionele routering** evalueert voor elk verzoek een expressie (tierheader, team, verbruikt budget, complexiteitsniveau) en overschrijft bij een overeenkomst het doel.
- **Adaptieve routering** herverdeelt continu de gewichten van providers en sleutels op basis van waargenomen foutpercentages en latentie.

Een LLM-router voor productie heeft alle drie nodig; een tool die er maar één biedt, laat de andere twee over aan de applicatiecode. De gids voor slimme LLM-routering, over het kiezen van het optimale model per verzoek, behandelt het tweede mechanisme uitgebreid.

## Een LLM-router beoordelen

| Criterium | Wat moet je controleren? |
|----|----|
| Taal voor routeringsregels | Kan een regel headers, tenant, budgetgebruik en verzoektype uitlezen, met een vastgelegde prioriteitsvolgorde? |
| Modelaliassen | Kan `best-model` zonder codewijziging naar verschillende identifiers worden vertaald per sleutel, team of omgeving? |
| Verdeling op basis van gewichten | Worden gewichten toegepast op provider- en API-sleutelniveau en per model genormaliseerd? |
| Semantiek van terugval en nieuwe pogingen | Heeft elke terugvaloptie een eigen budget voor nieuwe pogingen? Wordt `429` anders afgehandeld dan `401`? |
| Adaptieve load balancing | Worden gewichten opnieuw berekend op basis van actuele foutpercentages en latentie, en hoe snel wordt een herstelde route weer actief? |
| Kostenbewustzijn | Worden prijsgegevens gesynchroniseerd en kunnen ze worden overschreven, en kan een regel reageren op het verbruikte budget? |
| Overhead en implementatie | Gemeten latentie bij aanhoudende doorvoer; zelf gehost, gehost of alleen als bibliotheek beschikbaar? |

Het onderscheid tussen een nieuwe poging en terugval ontbreekt het vaakst in vergelijkingen van leveranciers: bij een nieuwe poging wordt dezelfde provider opnieuw geprobeerd, bij terugval wordt overgeschakeld naar een andere provider, en een router die deze twee samenvoegt kan er niet afzonderlijk budget voor toewijzen.

## Veelvoorkomende uitdagingen met tools voor modelroutering

De meeste problemen met modelroutering in productie zijn terug te voeren op enkele terugkerende tekortkomingen, die elk op configuratieniveau kunnen worden opgelost.

- **Routeringsstatus staat in de applicatiecode.** Modelnamen, providerpreferenties en terugvallijsten die in services zijn ingebouwd, kunnen niet worden gewijzigd zonder een nieuwe implementatie; configuratie van virtuele sleutels en routeringsregels maakt ze controleerbaar.
- **Nieuwe pogingen houden geen rekening met de foutklasse.** Op een `401` opnieuw proberen met een oplopende wachttijd verspilt seconden en slaagt nooit; een router moet de inloggegevens als ongeldig markeren en onmiddellijk naar een andere sleutel overschakelen..
- **Geen registratie van de routeringsbeslissing.** Het gedrag van providers bij rate limits, zoals de getrapte RPM- en TPM-limieten van OpenAI, is veel eenvoudiger te analyseren wanneer de gateway logt welke engine de route heeft gekozen en welke sleutel een limiet heeft bereikt.

## Veelgestelde vragen

### Wat is een LLM-router?

Een LLM-router is een component die voor elk verzoek de provider, het model en de inloggegevens selecteert op basis van geconfigureerde regels, statische gewichten of actuele prestatiestatistieken. De router staat tussen de applicatie en de providers, herschrijft vóór de aanroep het doel van het verzoek en handelt nieuwe pogingen en terugval af wanneer de route mislukt.

### Wat is het verschil tussen een modelrouter en een AI-gateway?

Een modelrouter bepaalt waar een verzoek naartoe gaat. Een AI-gateway voert het verzoek uit en beheert daarnaast inloggegevens, budgetten, rate limits, beveiligingsmaatregelen en logging.

### Hoe verlaagt modelroutering de kosten van LLM’s?

Modelroutering verlaagt de kosten door elk verzoek naar het goedkoopste model te sturen dat aan de kwaliteitseisen voldoet, en door verkeer weg te leiden van providers die dicht bij hun budget- of rate limit zitten.

### Wat is het verschil tussen nieuwe pogingen en terugval?

Na een tijdelijke fout, zoals een `5xx` of `429`, wordt bij een nieuwe poging dezelfde provider opnieuw geprobeerd, eventueel met een andere API-sleutel. Bij terugval wordt overgeschakeld naar een andere provider en model nadat de nieuwe pogingen voor de primaire route zijn uitgeput.

### Wat is adaptieve load balancing in een LLM-router?

Adaptieve load balancing berekent routegewichten opnieuw op basis van waargenomen statistieken in plaats van een statische configuratie.

## Pas deze gids toe met Ailoot

Koppel AI-modellen via één Ailoot-API aan je applicaties, agents en automatiseringen. Kies het model dat bij je taak past en volg de [Ailoot-documentatie](https://ailoot.ai/docs/) om aan de slag te gaan.


## Ailoot · Het bedrijf en zijn projectenportefeuille

Ailoot bouwt op opgebouwde operationele ervaring, een groot klantenbestand, een stabiele dienst en doorlopende KPI-controle.

Het bedrijf en zijn projectenportefeuille: miljoenen klanten; maandelijkse verkopen in de miljarden.

Ailoot gebruikt die operationele ervaring voor API-toegang tot AI-functies in klantproducten, agents, applicaties en automatiseringen.
