VoyageAI by MongoDB: rerank-3-lite

Το Voyage rerank-3-lite είναι η έκδοση της σειράς Rerank 3 της Voyage με έμφαση στη χαμηλή καθυστέρηση. Δέχεται ερώτημα κειμένου και υποψήφια έγγραφα, αξιολογεί μαζί κάθε ζεύγος ερωτήματος–εγγράφου και επιστρέφει βαθμολογίες συνάφειας σε ταξινομημένη σειρά. Εξυπηρετεί το δεύτερο στάδιο αναζήτησης: ένας μηχανισμός ανάκτησης με embeddings ή λέξεις-κλειδιά βρίσκει τους υποψηφίους και το Lite βελτιώνει τη σειρά τους. Το αποτέλεσμα είναι κατάταξη για αναζήτηση ή ροή παραγωγής ενισχυμένης με ανάκτηση.

Τι αλλάζει στο Rerank 3 Lite Ο παραγωγός τονίζει ισχυρότερη ανάκτηση μεγάλων εγγράφων και κώδικα έναντι του rerank-2.5-lite. Και οι δύο εκδόσεις Rerank 3 διατηρούν τήρηση οδηγιών και την ίδια κατηγορία παραθύρου 32K, ενώ το Lite σχεδιάστηκε για εφαρμογές ευαίσθητες στην καθυστέρηση. Είναι έτσι πρακτικό υποψήφιο για διαδραστική αναζήτηση βάσης γνώσης, ανάκτηση εγγράφων υποστήριξης και εύρεση κώδικα όταν χρειάζονται γρήγορα σχετικά αποτελέσματα. Επιλέξτε το βάσει απαιτήσεων ποιότητας και χρόνου απόκρισης της πραγματικής συλλογής, αντί να υποθέτετε ότι μικρότερη έκδοση σημαίνει μικρότερο παράθυρο συμφραζομένων.

Καθοδηγήστε τη συνάφεια με το ερώτημα Οδηγίες φυσικής γλώσσας μπορούν να συνοδεύουν το ερώτημα για να εξηγούν τι θεωρείται σχετικό. Κρατήστε σύντομες και συνεπείς την ερώτηση και την προτίμηση συνάφειας. Για αναζήτηση υποστήριξης λογισμικού, χρησιμοποιήστε «Βρείτε τη διαδικασία επαναφοράς μιας συσκευής· δώστε προτεραιότητα σε οδηγίες για τη δηλωμένη έκδοση υλικού». Για αμφίσημο όνομα προϊόντος, συμπεριλάβετε την κατηγορία του ώστε να μην κυριαρχούν άσχετες σημασίες. Μια προτίμηση στο ερώτημα καθοδηγεί τη σημασιολογική βαθμολόγηση· χρησιμοποιήστε ρητά μεταδεδομένα συλλογής για επιλογή σωστού προϊόντος, έκδοσης εγγράφου ή πεδίου πρόσβασης πριν δημιουργήσετε τη λίστα υποψηφίων.

Προετοιμάστε σύντομη λίστα υποψήφιων κειμένων Τα έγγραφα εισόδου είναι συμβολοσειρές. Εξαγάγετε ευανάγνωστο κείμενο από το αρχικό υλικό και διατηρήστε χρήσιμους τίτλους, επικεφαλίδες, αναγνωριστικά και γύρω συμφραζόμενα. Κρατήστε σταθερή αντιστοίχιση κάθε θέσης εισόδου με την αρχική εγγραφή. Για άρθρο αντιμετώπισης προβλημάτων, συμπεριλάβετε το σύμπτωμα και τη σχετική διαδικασία, όχι μόνο απομονωμένη πρόταση. Για αναζήτηση πηγαίου κώδικα, συμπεριλάβετε τη συνάρτηση και τις κοντινές πληροφορίες που τη διακρίνουν από παρόμοια ονομασμένες συναρτήσεις. Αφαιρέστε επαναλαμβανόμενη πλοήγηση ή τυποποιημένο κείμενο όταν εκτοπίζει το χρήσιμο απόσπασμα.

Ο reranker μπορεί να αναδιατάσσει μόνο τα έγγραφα που λαμβάνει. Αν η πρώτη αναζήτηση δεν ανακτήσει το σχετικό άρθρο, αυτό το στάδιο δεν μπορεί να ανακτήσει τον απόντα υποψήφιο. Εξετάστε και τη σύντομη λίστα και την τελική κατάταξη όταν ένα αποτέλεσμα φαίνεται λανθασμένο. Όταν μεγάλο έγγραφο καλύπτει πολλά θέματα, χωρίστε συνεκτικές ενότητες και διατηρήστε αναφορές στο γονικό έγγραφο, ώστε να επιλέγεται σχετική ενότητα χωρίς απώλεια πηγής.

Όρια παραθύρου και αιτήματος Ο τρέχων οδηγός του κατασκευαστή ορίζει μέγιστο ερώτημα 8.000 token και συνδυασμένο μέγιστο 32.000 token για το ερώτημα μαζί με κάθε μεμονωμένο έγγραφο. Επιτρέπει έως 1.000 υποψήφια έγγραφα και συνολικό προϋπολογισμό αιτήματος 600.000 token, υπολογιζόμενο ως token ερωτήματος επί αριθμό εγγράφων, συν όλα τα token εγγράφων. Ένα μακρύ ερώτημα επομένως καταναλώνει χώρο σε κάθε ζεύγος και συνεισφέρει επανειλημμένα στον συνολικό προϋπολογισμό. Μετρήστε το υποβαλλόμενο κείμενο με τον κατάλληλο tokenizer μοντέλου αντί να θεωρείτε χαρακτήρες, λέξεις και token εναλλάξιμα.

Για παράδειγμα, ερώτημα 500 token με 100 έγγραφα των 4.000 token το καθένα αντιστοιχεί σε 450.000 token εισόδου βάσει αυτού του τύπου. Αυτό δείχνει υπολογισμό προϋπολογισμού, όχι συνιστώμενο μέγεθος λίστας ή μετρημένη ταχύτητα. Η τεκμηριωμένη επιλογή περικοπής είναι ενεργή από προεπιλογή· υπερμεγέθη κείμενα μπορεί να συντομεύονται πριν από τη βαθμολόγηση. Προετοιμάστε σκόπιμα τις σημαντικές ενότητες ώστε η περικοπή να μην αφαιρεί το ίδιο το απόσπασμα προς αντιστοίχιση.

Διαβάστε και χρησιμοποιήστε το αποτέλεσμα Τα αποτελέσματα ταξινομούνται από την υψηλότερη βαθμολογία συνάφειας προς τα κάτω. Καθένα προσδιορίζει την αρχική θέση εισόδου του εγγράφου, επιτρέποντας στην εφαρμογή να συνδέει δικό της τίτλο, αναγνωριστικό εγγραφής και πηγή. Η ρύθμιση top_k ελέγχει πόσοι ταξινομημένοι υποψήφιοι επιστρέφονται· χωρίς αυτή επιστρέφονται όλοι. Η διεπαφή REST του κατασκευαστή μπορεί επίσης να επιστρέφει το κείμενο εγγράφου. Διατηρήστε τα αρχικά αναγνωριστικά δίπλα στα επιλεγμένα αποτελέσματα όταν εμφανίζετε σελίδα αναζήτησης ή προωθείτε τεκμήρια σε βήμα παραγωγής απάντησης.

Η βαθμολογία συνάφειας εκφράζει πόσο καλά ο υποψήφιος ταιριάζει στο ερώτημα· δεν τεκμηριώνει την ορθότητα των δηλώσεών του. Συγκρίνετε τα κορυφαία στοιχεία με την πραγματική ερώτηση του χρήστη, περιλαμβάνοντας εξαιρέσεις και διαφορές εκδόσεων εγγράφων. Αν όλοι οι υποψήφιοι είναι άσχετοι, εξακολουθεί να υπάρχει πρώτος στην κατάταξη. Αποφασίστε πώς η εφαρμογή χειρίζεται την περίπτωση με αντιπροσωπευτικά ερωτήματα της συλλογής.

Αναβάθμιση και επιλογή έκδοσης Ο κατασκευαστής περιγράφει το rerank-3-lite ως αναβάθμιση του rerank-2.5-lite με αμετάβλητη σημασιολογία API και βαθμολογίες βαθμονομημένες στην κατανομή του αντίστοιχου προκατόχου. Διατηρήστε την υπάρχουσα αντιστοίχιση εγγραφών και το στάδιο ανάκτησης και συγκρίνετε τη σειρά αποτελεσμάτων σε ουσιαστικά ερωτήματα πριν βασιστείτε σε καθιερωμένο κατώφλι βαθμολογίας. Χρησιμοποιήστε Lite για αναζήτηση όπου μετρά ο χρόνος απόκρισης· χρησιμοποιήστε την έκδοση rerank-3 με έμφαση στην ποιότητα ως σύγκριση όταν προέχει η συνάφεια δύσκολων υποψηφίων.