Ιστολόγιο

Τι είναι η δρομολόγηση LLM;

Markdown

Πώς η δρομολόγηση LLM επιλέγει μοντέλα με βάση τις απαιτήσεις του αιτήματος, το κόστος, την ποιότητα, την καθυστέρηση, το πλαίσιο και την πολιτική.

Η δρομολόγηση LLM είναι η πρακτική της αποστολής κάθε αιτήματος AI στο μοντέλο και στον πάροχο που του ταιριάζουν καλύτερα, αντί να είναι κάθε κλήση προγραμματισμένη εξαρχής για ένα μόνο μοντέλο. Ένας δρομολογητής αξιολογεί το αίτημα με βάση τους στόχους σας, το κόστος, την ποιότητα, την καθυστέρηση, το μήκος του πλαισίου και την πολιτική και το κατευθύνει στην επιλογή που ταιριάζει καλύτερα.

Οι περισσότερες ομάδες ξεκινούν συνδέοντας την εφαρμογή τους απευθείας με έναν πάροχο, συνήθως την OpenAI. Αυτό λειτουργεί μέχρι να πάψει να λειτουργεί: ένα φθηνότερο μοντέλο θα μπορούσε να εξυπηρετεί εξίσου καλά το 60% της κίνησής σας, ένας πάροχος αντιμετωπίζει διακοπή λειτουργίας, ένα αίτημα χρειάζεται μεγαλύτερο παράθυρο πλαισίου ή ένας ρυθμιζόμενος φόρτος εργασίας δεν μπορεί να φύγει από μια δικαιοδοσία. Ένας δρομολογητής τα αντιμετωπίζει όλα αυτά μέσω ενός μόνο τελικού σημείου.

Πώς λειτουργεί η δρομολόγηση LLM

Στρέφετε το υπάρχον SDK που είναι συμβατό με το OpenAI στον δρομολογητή αντί στον πάροχο. Για κάθε αίτημα, ο δρομολογητής:

  1. Δημιουργεί ένα σύνολο υποψηφίων από μοντέλα που μπορούν να εξυπηρετήσουν το αίτημα (κατάλληλες δυνατότητες, παράθυρο πλαισίου και διαθεσιμότητα).
  2. Βαθμολογεί τους υποψηφίους με βάση τον στόχο σας, για παράδειγμα «η φθηνότερη επιλογή πάνω από ένα κατώτατο όριο ποιότητας» ή «η χαμηλότερη μετρημένη καθυστέρηση».
  3. Εφαρμόζει περιορισμούς, όπως προϋπολογισμούς, επιτρεπόμενους παρόχους, τοποθεσία αποθήκευσης δεδομένων και λίστες επιτρεπόμενων μοντέλων ανά κλειδί.
  4. Δρομολογεί και μεταβαίνει σε εναλλακτική επιλογή: αν η πρώτη επιλογή εμφανίσει σφάλμα ή λήξει το χρονικό όριο, δοκιμάζει αυτόματα τον επόμενο καλύτερο υποψήφιο.

Γιατί οι ομάδες χρησιμοποιούν δρομολόγηση αντί να προγραμματίζουν απευθείας έναν πάροχο

  • Κόστος. Δρομολογείτε τα απλά αιτήματα σε φθηνά μοντέλα και κρατάτε τα κορυφαία μοντέλα για όσα τα χρειάζονται.
  • Αξιοπιστία. Η αυτόματη μετάβαση μεταξύ παρόχων σημαίνει ότι μια διακοπή λειτουργίας ενός προμηθευτή δεν θέτει εκτός λειτουργίας το προϊόν σας.
  • Ευελιξία. Αντικαθιστάτε ή προσθέτετε μοντέλα χωρίς να εκδίδετε νέο κώδικα, επειδή η δρομολόγηση βασίζεται σε μια πολιτική και όχι στην εφαρμογή σας.
  • Διακυβέρνηση. Επιβάλλετε κεντρικά προϋπολογισμούς, τοποθεσία αποθήκευσης δεδομένων και ελάχιστα όρια ποιότητας, αντί να το κάνετε ανά υπηρεσία.

Δρομολόγηση σε σύγκριση με μια απλή εναλλακτική λύση

Η εναλλακτική λύση («αν αποτύχει η OpenAI, δοκίμασε την Anthropic») είναι η πιο βασική μορφή δρομολόγησης, αλλά η πραγματική δρομολόγηση βελτιστοποιεί κάθε αίτημα, όχι μόνο όσα αποτυγχάνουν: επιλέγει εξαρχής την καλύτερη επιλογή με βάση το κόστος και την ποιότητα και όχι μόνο όταν κάτι πάει στραβά.

Αξιοποιήστε αυτόν τον οδηγό με την Ailoot

Συνδέστε μοντέλα AI με τις εφαρμογές, τους πράκτορες και τους αυτοματισμούς σας μέσω ενός API της Ailoot. Επιλέξτε το μοντέλο που ταιριάζει στην εργασία σας και ακολουθήστε την τεκμηρίωση της Ailoot για να ξεκινήσετε.