VoyageAI by MongoDB: rerank-3

Το Voyage rerank-3 είναι reranker κειμένου σχεδιασμένος για βελτίωση της ποιότητας ανακτημένων τεκμηρίων. Με ερώτημα και λίστα υποψήφιων εγγράφων, εξετάζει από κοινού κάθε ζεύγος και επιστρέφει τους υποψηφίους κατά συνάφεια. Τα embeddings και η αναζήτηση λέξεων-κλειδιών μπορούν πρώτα να περιορίζουν μεγάλη συλλογή σε διαχειρίσιμη σύντομη λίστα· το rerank-3 εφαρμόζει έπειτα λεπτομερέστερη αξιολόγηση συνάφειας σε αυτήν. Η έξοδός του είναι βαθμολογημένα τεκμήρια αναζήτησης που μια εφαρμογή εμφανίζει ή προωθεί σε χωριστό βήμα παραγωγής απάντησης.

Rerank 3 με έμφαση στην ποιότητα Ο κατασκευαστής τοποθετεί το rerank-3 ως έκδοση με έμφαση στην ακρίβεια και το rerank-3-lite ως έκδοση για αναζήτηση ευαίσθητη στην καθυστέρηση. Η τρίτη γενιά ενημερώνει τον κορμό και το μείγμα εκπαίδευσης, με ιδιαίτερες βελτιώσεις στην ανάκτηση μεγάλων εγγράφων και πηγαίου κώδικα έναντι των αντίστοιχων προκατόχων 2.5. Ο παραγωγός το αξιολογεί σε τεχνική τεκμηρίωση, κώδικα, πολύγλωσσο υλικό και άλλα πεδία εγγράφων. Τα αποτελέσματα στηρίζουν τον ρόλο ανάκτησης· επιλέξτε έκδοση με τις ερωτήσεις και τα υποψήφια έγγραφα που έχουν σημασία στη δική σας συλλογή.

Μεγάλα έγγραφα με επαρκή συμφραζόμενα Ένας μεγάλος υποψήφιος μπορεί να περιέχει χρήσιμα συμφραζόμενα πολύ πέρα από την πρώτη παράγραφο. Δώστε συνεκτική ενότητα ή έγγραφο με τίτλο και σχετικό περιβάλλον υλικό, ώστε να αξιολογηθεί η σχέση της πραγματικής ερώτησης με το περιεχόμενο. Για αναζήτηση πολιτικής προϊόντος, διατηρήστε επικεφαλίδες και εξαιρέσεις γύρω από το ενδιαφέρον απόσπασμα. Αν πολλές ανακτημένες ενότητες προέρχονται από ίδια πηγή, κρατήστε αναγνωριστικά εγγράφου και ενότητας· η εφαρμογή μπορεί έτσι να δείξει την προέλευση των επιλεγμένων τεκμηρίων.

Το παράθυρο μοιράζονται το ερώτημα και κάθε υποψήφιος. Ο τρέχων οδηγός ορίζει 32.000 token για το ζεύγος, περιλαμβάνοντας ερώτημα έως 8.000 token. Ένα ερώτημα 3.000 token αφήνει επομένως έως 29.000 token για κάθε έγγραφο. Προετοιμάστε την είσοδο ώστε να χωρά το ουσιώδες περιεχόμενο, ειδικά όταν μακρύ προοίμιο ή επαναλαμβανόμενο τυποποιημένο κείμενο θα κατανάλωνε το παράθυρο. Η τεκμηριωμένη περικοπή είναι ενεργή από προεπιλογή και μπορεί να συντομεύει υπερμεγέθη ερωτήματα ή έγγραφα πριν από τη βαθμολόγηση. Εξετάστε τι διατηρείται όταν έχει σημασία η θέση αποσπάσματος.

Ανάκτηση κώδικα και τεχνικού υλικού Για το στάδιο ανάκτησης βοηθού προγραμματισμού, οι υποψήφιοι μπορούν να περιέχουν υλοποιήσεις συναρτήσεων, τεκμηρίωση API ή τεχνικές εξηγήσεις ως κείμενο. Συμπεριλάβετε σύμβολα, υπογραφές και συμφραζόμενα που διακρίνουν παρόμοιους υποψηφίους. Ένα ερώτημα όπως «Βρείτε τη συνάρτηση που κανονικοποιεί διαδρομές διατηρώντας το τελικό διαχωριστικό» δίνει συγκεκριμένη συμπεριφορά προς αντιστοίχιση. Προσθέστε σχετικούς περιορισμούς γλώσσας, πλατφόρμας ή έκδοσης. Μετά την κατάταξη, εξετάστε τον επιλεγμένο κώδικα και τις εξαρτήσεις του πριν τον χρησιμοποιήσετε ως συμφραζόμενα· η βαθμολογία συνάφειας δεν αποδεικνύει ότι η υλοποίηση ικανοποιεί κάθε απαίτηση.

Οι οδηγίες ορίζουν τη συνάφεια Το μοντέλο διατηρεί τη δυνατότητα ανακατάταξης βάσει οδηγιών που εισήχθη στο Rerank 2.5. Προτάξτε ή προσθέστε σύντομη οδηγία στο ερώτημα όταν χρειάζεται διευκρίνιση πρόθεσης χρήστη. Για αναζήτηση ερευνητικών εγγράφων, εξηγήστε αν η εστίαση είναι ο τίτλος, συγκεκριμένη μέθοδος ή πεδίο εφαρμογής. Για εσωτερικό κατάλογο, ορίστε αν το αίτημα αφορά εγκατάσταση, αντιμετώπιση προβλημάτων ή συμβατότητα. Ευθυγραμμίστε την οδηγία με την ερώτηση· πρόσθετες προτιμήσεις που συγκρούονται με το κύριο αίτημα μπορούν να αλλάζουν τον στόχο βελτιστοποίησης της κατάταξης.

Προετοιμάστε υποψήφια έγγραφα και προϋπολογισμούς Η είσοδος είναι λίστα συμβολοσειρών κειμένου. Εξαγάγετε αξιοποιήσιμο κείμενο από αρχικά έγγραφα, διατηρήστε ουσιαστικά όρια ενοτήτων και κρατήστε δίπλα στη λίστα μια αντιστοίχιση εγγραφών με την ίδια σειρά. Ο κατασκευαστής επιτρέπει έως 1.000 έγγραφα σε ένα αίτημα. Ορίζει επίσης συνολικό ανώτατο όριο εισόδου 600.000 token: token ερωτήματος επί αριθμό εγγράφων, συν άθροισμα όλων των token εγγράφων. Αυτό διαφέρει από το όριο παραθύρου ανά ζεύγος. Η μείωση πλεονάζοντος κειμένου ερωτήματος διατηρεί χωρητικότητα ζεύγους και συνολικό προϋπολογισμό αιτήματος.

Μετρήστε token για το σχετικό μοντέλο αντί να υποθέτετε ότι πλήθος λέξεων ή χαρακτήρων είναι πλήθος token. Για μεγάλους υποψηφίους, επιλέξτε συνεκτικά αποσπάσματα ή χωρίστε το υλικό με χρήσιμες επικεφαλίδες, διατηρώντας πληροφορίες γονικής πηγής. Η ανακατάταξη είναι χρησιμότερη αφού η πρώτη αναζήτηση έχει ήδη αναδείξει εύλογους υποψηφίους: δεν μπορεί να κατατάξει απούσα πηγή που δεν μπήκε ποτέ στη λίστα.

Ταξινομημένα αποτελέσματα και επόμενη χρήση Το αποτέλεσμα περιέχει βαθμολογίες συνάφειας και δείκτες που αναφέρονται στα αρχικά έγγραφα εισόδου, σε φθίνουσα σειρά συνάφειας. Η επιλογή top_k περιορίζει τον αριθμό επιστρεφόμενων αποτελεσμάτων· διαφορετικά επιστρέφονται όλοι οι υποψήφιοι εισόδου. Η διεπαφή REST επιτρέπει επίσης συμπερίληψη του κειμένου εγγράφου. Χρησιμοποιήστε κάθε αρχικό δείκτη για ανάκτηση τίτλου, αναγνωριστικού πηγής και μεταδεδομένων της εφαρμογής και έπειτα παρουσιάστε τα επιλεγμένα στοιχεία ή εντάξτε το σχετικό κείμενο στα τεκμήρια μιας απάντησης.

Εξετάστε τα κορυφαία αποτελέσματα έναντι της ερώτησης και κρατήστε ορατή την ταυτότητα πηγής. Υψηλή σχετική κατάταξη δεν επαληθεύει την πραγματολογική ακρίβεια εγγράφου και μια λίστα μόνο κακών υποψηφίων θα έχει πάλι πρώτο στοιχείο. Χωρίστε την επιλογή συνάφειας από την απόφαση επάρκειας των επιλεγμένων τεκμηρίων για απάντηση στον χρήστη.

Μετάβαση έκδοσης Ο κατασκευαστής περιγράφει το rerank-3 ως άμεσο διάδοχο του rerank-2.5, με ίδια σημασιολογία API και βαθμολογίες βαθμονομημένες στην κατανομή του αντίστοιχου προκατόχου. Αυτή η συμβατότητα υποστηρίζει διατήρηση υπάρχοντος σταδίου ανάκτησης και αντιστοίχισης εγγραφών. Συγκρίνετε ουσιαστικές κατατάξεις και κάθε κατώφλι βαθμολογίας στο τρέχον σώμα εγγράφων πριν βασιστείτε στη μετάβαση. Κρατήστε rerank-3 και rerank-3-lite ως διακριτές επιλογές: τα κοινά όρια και η τήρηση οδηγιών δεν κάνουν ταυτόσημες τις προτεραιότητες ποιότητας και καθυστέρησης.