VoyageAI by MongoDB: rerank-2.5-lite

Το rerank-2.5-lite είναι το ελαφρύ μέλος της κυκλοφορίας reranker 2.5 της Voyage AI. Ο κατασκευαστής το περιγράφει ως μοντέλο γενικής χρήσης που ισορροπεί καθυστέρηση και ποιότητα συνάφειας, με τήρηση οδηγιών φυσικής γλώσσας και πολύγλωσση υποστήριξη. Η είσοδός του είναι ερώτημα και υποψήφια κείμενα και η έξοδος βελτιωμένη σειρά αυτών των υποψηφίων με βαθμολογίες συνάφειας.

Μια ελαφριά απόφαση συνάφειας δεύτερου σταδίου

Το μοντέλο Lite επεξεργάζεται από κοινού κάθε ζεύγος ερωτήματος–εγγράφου ως cross-encoder. Μπορεί να ακολουθεί αναζήτηση πρώτου σταδίου με embeddings ή λεξική αναζήτηση, βελτιώνοντας τα επιλεγμένα αποσπάσματα. Αυτό διαφέρει από την προετοιμασία επαναχρησιμοποιήσιμου ευρετηρίου embeddings: ο reranker εξετάζει μαζί το υποβαλλόμενο ερώτημα και το κείμενο εγγράφου για την τρέχουσα απόφαση συνάφειας.

Για διαδραστική αναζήτηση βοήθειας, υποβάλετε τις υποψήφιες εξηγήσεις που μπορεί να απαντούν στην ερώτηση χρήστη. Κρατήστε αρκετό από κάθε απόσπασμα ώστε να μεταδίδει τη συμπεριφορά και τις προϋποθέσεις της και διατηρήστε την αντιστοίχιση δείκτη εισόδου με αρχικό στοιχείο. Ένα στοχευμένο σύνολο υποψηφίων διευκρινίζει την εργασία ανακατάταξης, αφήνοντας τα ανακτημένα τεκμήρια χρήσιμα για εμφάνιση ή μεταγενέστερη απάντηση.

Οι οδηγίες εκφράζουν τις προτεραιότητες του χρήστη

Όπως το rerank-2.5, το Lite δέχεται οδηγίες φυσικής γλώσσας πριν ή μετά το ερώτημα. Τα παραδείγματα του κατασκευαστή τις χρησιμοποιούν για έμφαση σε στοιχεία εγγράφων, επιλογή προτιμώμενου τύπου πηγής ή προσθήκη συμφραζομένων σε αμφίσημη λέξη. Μια εφαρμογή μπορεί να δίνει σταθερή προτίμηση συνάφειας ή η τρέχουσα ερώτηση να περιλαμβάνει πιο συγκεκριμένη.

Ένα ενδεικτικό ερώτημα υποστήριξης μπορεί να ρωτά ποιο απόσπασμα εξηγεί σφάλμα, με οδηγία προτεραιότητας σε βήματα αντιμετώπισης αντί γενικών περιγραφών προϊόντος. Μια αναζήτηση εγγράφου μπορεί να ζητά αρχική διατύπωση πολιτικής αντί συζήτησής της. Περιγράψτε τα επιθυμητά τεκμήρια και κρατήστε σύντομη την οδηγία. Οι οδηγίες επηρεάζουν βαθμολογίες συνάφειας· προετοιμάστε αυστηρούς περιορισμούς έκδοσης, ημερομηνίας ή δικαιωμάτων στην επιλογή υποψηφίων αντί να θεωρείτε την προτίμηση συνάφειας εγγυημένο φίλτρο.

Διαβάστε την κατάταξη και επιστρέψτε το αρχικό απόσπασμα

Η έξοδος ταξινομείται κατά φθίνουσα συνάφεια. Κάθε αποτέλεσμα περιλαμβάνει αρχικό δείκτη εγγράφου και βαθμολογία κινητής υποδιαστολής· η προαιρετική ρύθμιση επιστροφής εγγράφων επιστρέφει επίσης το αντίστοιχο κείμενο εισόδου. Η επιλογή top-k καθορίζει τον αριθμό κορυφαίων αποτελεσμάτων, ενώ η παράλειψή της επιστρέφει κατάταξη όλων των υποβαλλόμενων υποψηφίων.

Χρησιμοποιήστε τους δείκτες για ανάκτηση αρχικού αποσπάσματος και αναγνωριστικού του. Ένας ανακαταταγμένος υποψήφιος μπορεί να γίνει αποτέλεσμα αναζήτησης ή τεκμήριο για το επόμενο βήμα RAG, αλλά η έξοδος είναι σειρά παρεχόμενων κειμένων και όχι επαναδιατυπωμένη απάντηση. Αξιολογήστε αν τα κορυφαία αποσπάσματα ικανοποιούν και την ερώτηση και την οδηγία συνάφειας, περιλαμβάνοντας τις γλώσσες και τους τύπους εγγράφων που υπάρχουν πραγματικά στη συλλογή.

Όρια και πρακτικός προϋπολογισμός υποψηφίων

Η έκδοση 2.5 Lite έχει τεκμηριωμένο μέγιστο ερώτημα 8.000 token και όριο 32.000 token για ερώτημα μαζί με κάθε μεμονωμένο έγγραφο. Διαφέρει από το προηγούμενο rerank-2-lite και το μικρότερο παράθυρό του. Υποβάλλονται έως 1.000 έγγραφα και η συνολική είσοδος περιορίζεται σε 600.000 token βάσει του τύπου: token ερωτήματος επί πλήθος υποψηφίων, συν άθροισμα token υποψήφιων εγγράφων.

Για χρήση ευαίσθητη στην καθυστέρηση, το FAQ του κατασκευαστή συνιστά rerank-2.5-lite με έως 200.000 συνολικά token ανά αίτημα. Είναι πρακτική οδηγία κάτω από το δηλωμένο μέγιστο, όχι διαφορετικό παράθυρο ανά έγγραφο. Μακρύτερο ερώτημα ή οδηγία μετριέται μία φορά για κάθε ζεύγος υποψηφίου, οπότε το πλήθος υποψηφίων και το μήκος ερωτήματος επηρεάζουν το σύνολο.

Η περικοπή είναι ενεργή από προεπιλογή και συντομεύει υπερβολικά μεγάλη είσοδο ερωτήματος/εγγράφου για να χωρέσει· η απενεργοποίησή της επιστρέφει σφάλμα για υπερμεγέθες ερώτημα ή ζεύγος. Προετοιμάστε σκόπιμα συμπαγείς υποψηφίους που περιέχουν την απάντηση, ώστε χρήσιμα τεκμήρια να μη μένουν πέρα από το όριο περικοπής. Η επιλογή λιγότερων αποτελεσμάτων μέσω top-k δεν αφαιρεί τους άλλους παρεχόμενους υποψηφίους από τον υπολογισμό token. Εξετάστε τα επιστρεφόμενα αρχικά αποσπάσματα και βελτιώστε την προετοιμασία εισόδου γύρω από τις πραγματικές ερωτήσεις της διεπαφής αναζήτησης.