Ιστολόγιο

Τι είναι η δρομολόγηση μοντέλων;

Markdown

Ορίζει τη δρομολόγηση μοντέλων και περιγράφει κριτήρια για την αξιολόγηση κανόνων δρομολόγησης, ψευδωνύμων, κατανομής παρόχων, συμπεριφοράς επανάληψης και εφεδρικής μετάβασης, εξισορρόπησης φορτίου και συμβιβασμών κόστους/καθυστέρησης.

Η δρομολόγηση μοντέλων είναι η διαδικασία αντιστοίχισης ενός εισερχόμενου αιτήματος LLM με συγκεκριμένο πάροχο, αναγνωριστικό μοντέλου και κλειδί API τη στιγμή του αιτήματος, σύμφωνα με μια πολιτική και όχι τον κώδικα της εφαρμογής. Ένας δρομολογητής μοντέλων αξιολογεί το πλαίσιο του αιτήματος (κεφαλίδες, μισθωτής, κατάσταση προϋπολογισμού, πολυπλοκότητα προτροπής) και την κατάσταση του παρόχου (ποσοστό σφαλμάτων, καθυστέρηση, διαθέσιμο περιθώριο ορίων ρυθμού) και, στη συνέχεια, επανεγγράφει τον προορισμό πριν από την κλήση στον πάροχο. Ένα επίπεδο δρομολόγησης μοντέλων που μειώνει το κόστος των token LLM είναι συνήθως το σημείο όπου οι ομάδες βλέπουν πρώτα την απόδοση της επένδυσης.

Ο όρος καλύπτει τρεις μηχανισμούς που συχνά συγχέονται:

  • Η στατική δρομολόγηση αντιστοιχίζει ένα όνομα μοντέλου σε παρόχους με σταθερά βάρη.
  • Η υπό συνθήκη δρομολόγηση αξιολογεί μια έκφραση για κάθε αίτημα (κεφαλίδα βαθμίδας, ομάδα, καταναλωμένος προϋπολογισμός, βαθμίδα πολυπλοκότητας) και παρακάμπτει τον προορισμό όταν υπάρχει αντιστοιχία.
  • Η προσαρμοστική δρομολόγηση αναπροσαρμόζει συνεχώς τα βάρη των παρόχων και των κλειδιών βάσει των παρατηρούμενων ποσοστών σφαλμάτων και της καθυστέρησης.

Ένας δρομολογητής LLM παραγωγής χρειάζεται και τους τρεις μηχανισμούς· ένα εργαλείο που προσφέρει μόνο έναν αφήνει τους άλλους δύο στον κώδικα της εφαρμογής. Ο οδηγός έξυπνης δρομολόγησης LLM για την επιλογή του βέλτιστου μοντέλου ανά αίτημα καλύπτει τον δεύτερο μηχανισμό σε βάθος.

Πώς να αξιολογήσετε έναν δρομολογητή LLM

ΚριτήριοΤι να ελέγξετε
Γλώσσα κανόνων δρομολόγησηςΜπορεί ένας κανόνας να διαβάζει κεφαλίδες, μισθωτή, χρήση προϋπολογισμού και τύπο αιτήματος, με καθορισμένη σειρά προτεραιότητας;
Ψευδωνυμοποίηση μοντέλωνΜπορεί το best-model να αντιστοιχίζεται σε διαφορετικά αναγνωριστικά ανά κλειδί, ομάδα ή περιβάλλον χωρίς αλλαγή κώδικα;
Σταθμισμένη κατανομήΕφαρμόζονται τα βάρη σε επίπεδο παρόχου και κλειδιού API και κανονικοποιούνται ανά μοντέλο;
Σημασιολογία εφεδρικής μετάβασης και επανάληψηςΈχει κάθε εφεδρική μετάβαση δικό της προϋπολογισμό επαναλήψεων; Αντιμετωπίζεται το 429 διαφορετικά από το 401;
Προσαρμοστική εξισορρόπηση φορτίουΕπανυπολογίζονται τα βάρη βάσει του ζωντανού ποσοστού σφαλμάτων και της καθυστέρησης, και πόσο γρήγορα επανέρχεται μια διαδρομή μετά την αποκατάστασή της;
Επίγνωση κόστουςΣυγχρονίζονται τα δεδομένα τιμολόγησης και μπορούν να παρακαμφθούν, και μπορεί ένας κανόνας να αντιδρά στον καταναλωμένο προϋπολογισμό;
Επιβάρυνση και ανάπτυξηΜετρημένη καθυστέρηση σε διατηρήσιμη ροή αιτημάτων· αυτοφιλοξενία, φιλοξενία από πάροχο ή μόνο βιβλιοθήκη;

Η διάκριση ανάμεσα στην επανάληψη και την εφεδρική μετάβαση είναι το κριτήριο που λείπει συχνότερα από τις συγκρίσεις προμηθευτών: η επανάληψη δοκιμάζει ξανά τον ίδιο πάροχο, η εφεδρική μετάβαση μεταφέρει το αίτημα σε άλλον και ένας δρομολογητής που συγχωνεύει τους δύο μηχανισμούς δεν μπορεί να ορίσει ξεχωριστό προϋπολογισμό για τον καθένα.

Συνήθεις προκλήσεις με τα εργαλεία δρομολόγησης μοντέλων

Οι περισσότερες αστοχίες δρομολόγησης μοντέλων σε παραγωγή οφείλονται σε λίγα επαναλαμβανόμενα κενά, καθένα από τα οποία έχει απάντηση στο επίπεδο της διαμόρφωσης.

  • Η κατάσταση δρομολόγησης βρίσκεται στον κώδικα της εφαρμογής. Τα ονόματα μοντέλων, οι προτιμήσεις παρόχων και οι λίστες εφεδρικής μετάβασης που είναι ενσωματωμένα στις υπηρεσίες δεν μπορούν να αλλάξουν χωρίς νέα ανάπτυξη· η διαμόρφωση εικονικών κλειδιών και οι κανόνες δρομολόγησης τα καθιστούν ελέγξιμα.
  • Επαναλήψεις που αγνοούν την κατηγορία σφάλματος. Η επανάληψη ενός 401 με καθυστέρηση σπαταλά δευτερόλεπτα και δεν πετυχαίνει ποτέ· ένας δρομολογητής θα πρέπει να επισημαίνει το διαπιστευτήριο ως μη έγκυρο και να το αντικαθιστά αμέσως..
  • Δεν υπάρχει καταγραφή της απόφασης δρομολόγησης. Η συμπεριφορά των παρόχων ως προς τα όρια ρυθμού, όπως τα κλιμακωτά όρια RPM και TPM της OpenAI, είναι πολύ ευκολότερο να αναλυθεί όταν η πύλη καταγράφει ποιος μηχανισμός επέλεξε τη διαδρομή και ποιο κλειδί έφτασε σε όριο.

Συχνές ερωτήσεις

Τι είναι ένας δρομολογητής LLM;

Ένας δρομολογητής LLM είναι ένα στοιχείο που επιλέγει τον πάροχο, το μοντέλο και το διαπιστευτήριο για κάθε αίτημα, βάσει διαμορφωμένων κανόνων, στατικών βαρών ή ζωντανών μετρικών απόδοσης. Βρίσκεται ανάμεσα στην εφαρμογή και τους παρόχους, επανεγγράφει τον προορισμό του αιτήματος πριν από την κλήση και διαχειρίζεται τις επαναλήψεις και τις εφεδρικές μεταβάσεις όταν αποτυγχάνει η διαδρομή.

Ποια είναι η διαφορά ανάμεσα σε έναν δρομολογητή μοντέλων και μια πύλη AI;

Ένας δρομολογητής μοντέλων αποφασίζει πού θα κατευθυνθεί ένα αίτημα. Μια πύλη AI εκτελεί το αίτημα και διαχειρίζεται επίσης διαπιστευτήρια, προϋπολογισμούς, όρια ρυθμού, δικλίδες ασφαλείας και καταγραφή.

Πώς μειώνει το κόστος LLM η δρομολόγηση μοντέλων;

Η δρομολόγηση μοντέλων μειώνει το κόστος στέλνοντας κάθε αίτημα στο φθηνότερο μοντέλο που πληροί τις απαιτήσεις ποιότητάς του και μετατοπίζοντας την κίνηση μακριά από παρόχους που πλησιάζουν ένα όριο προϋπολογισμού ή ρυθμού.

Ποια είναι η διαφορά ανάμεσα στις επαναλήψεις και τις εφεδρικές μεταβάσεις;

Η επανάληψη δοκιμάζει ξανά τον ίδιο πάροχο, προαιρετικά με διαφορετικό κλειδί API, έπειτα από μια παροδική αποτυχία όπως 5xx ή 429. Η εφεδρική μετάβαση μεταφέρει το αίτημα σε διαφορετικό πάροχο και μοντέλο αφού εξαντληθούν οι επαναλήψεις του κύριου παρόχου.

Τι είναι η προσαρμοστική εξισορρόπηση φορτίου σε έναν δρομολογητή LLM;

Η προσαρμοστική εξισορρόπηση φορτίου επανυπολογίζει τα βάρη διαδρομής βάσει παρατηρούμενων μετρικών αντί στατικής διαμόρφωσης.

Αξιοποιήστε αυτόν τον οδηγό με την Ailoot

Συνδέστε μοντέλα AI με τις εφαρμογές, τους πράκτορες και τους αυτοματισμούς σας μέσω ενός API της Ailoot. Επιλέξτε το μοντέλο που ταιριάζει στην εργασία σας και ακολουθήστε την τεκμηρίωση της Ailoot για να ξεκινήσετε.