bge-reranker-v2-m3

Το BGE Reranker v2 M3 είναι πολυγλωσσικό μοντέλο συνάφειας βασισμένο στο BGE-M3. Λαμβάνει μαζί ένα ερώτημα και ένα υποψήφιο απόσπασμα και επιστρέφει βαθμολογία για τη μεταξύ τους σχέση. Η BAAI προορίζει αυτή την έκδοση ως αποδοτικό πολυγλωσσικό ανακατατάκτη, μεταξύ άλλων για ανάκτηση στα κινεζικά και αγγλικά, όπου μια εφαρμογή αναζήτησης χρειάζεται να βελτιώσει υπάρχουσα λίστα υποψηφίων.

Συνάφεια από ζεύγος ερωτήματος–αποσπάσματος

Ένας cross-encoder επεξεργάζεται από κοινού και τα δύο κείμενα, επιτρέποντας στο περιεχόμενό τους να αλληλεπιδρά πριν παραχθεί η βαθμολογία συνάφειας. Αυτό διαφέρει από ένα μοντέλο διανυσματικών αναπαραστάσεων, που κωδικοποιεί τα κείμενα ανεξάρτητα για επαναχρησιμοποιήσιμη διανυσματική σύγκριση. Η έξοδος του ανακατατάκτη είναι μια βαθμωτή βαθμολογία για συγκεκριμένο ζεύγος αντί για διάνυσμα εγγράφου ή γραπτή απάντηση.

Χρησιμοποιήστε το μοντέλο αφού μια αρχική αναζήτηση έχει επιλέξει πιθανά αποσπάσματα. Συνδυάστε το ερώτημα με κάθε υποψήφιο και ταξινομήστε τους υποψηφίους με βάση τις βαθμολογίες που προκύπτουν. Έτσι η λεπτομερέστερη σύγκριση εστιάζει σε διαχειρίσιμη σύντομη λίστα αντί να ζητείται από έναν cross-encoder να εξετάζει κάθε απόσπασμα μιας μεγάλης συλλογής.

Η έκδοση v2 M3

Ο δημιουργός προσδιορίζει το BGE-M3 ως βασικό μοντέλο και αναφέρει την πολυγλωσσική υποστήριξη ως κύριο χαρακτηριστικό. Μέσα στην οικογένεια ανακατατακτών v2, το M3 είναι η αποδοτική πολυγλωσσική επιλογή· οι παραλλαγές που βασίζονται στο Gemma και εκείνες με επιλογή επιπέδων είναι ξεχωριστά μοντέλα με διαφορετικές επιλογές υλοποίησης. Το όνομα M3 εδώ δεν σημαίνει ότι ο ανακατατάκτης επιστρέφει τις πυκνές, αραιές και πολυδιανυσματικές αναπαραστάσεις του αρχικού μοντέλου διανυσματικών αναπαραστάσεων.

Αυτή η διάκριση έχει σημασία κατά την επιλογή του αποτελέσματος που απαιτεί η εφαρμογή σας. Επιλέξτε μοντέλο διανυσματικών αναπαραστάσεων για να αναπαραστήσετε και να αναζητήσετε μια συλλογή εγγράφων. Επιλέξτε αυτόν τον ανακατατάκτη όταν έχετε ήδη υποψήφιο κείμενο και πρέπει να αποφασίσετε ποιο απόσπασμα είναι πιο σχετικό με το τρέχον ερώτημα.

Προετοιμασία υποψηφίων για χρήσιμη κατάταξη

Δώστε το πραγματικό ερώτημα και το πλήρες υποψήφιο κείμενο που χρειάζεται για την ερμηνεία του. Διατηρήστε επικεφαλίδες ή κοντινούς ορισμούς όταν καθορίζουν το νόημα ενός αποσπάσματος. Στο δημοσιευμένο παράδειγμα Transformers, το ερώτημα και το απόσπασμα μετατρέπονται μαζί σε token με περικοπή και max_length=512. Πρόκειται για ρύθμιση παραδείγματος αντί για όριο που ισχύει για όλο το μοντέλο. Κρατήστε το ερώτημα και τα απαιτούμενα στοιχεία εντός του επιλεγμένου ορίου ζεύγους και ελέγξτε τι αφαιρεί η περικοπή. Ένα αποτέλεσμα που αναφέρει το ίδιο προϊόν με το ερώτημα μπορεί και πάλι να είναι άσχετο αν αφορά λάθος λειτουργία ή συνθήκη· προετοιμάστε παραδείγματα που διακρίνουν αυτές τις περιπτώσεις όταν αξιολογείτε την ποιότητα ανάκτησης.

Για βοηθό εγγράφων, κρατήστε τα αναγνωριστικά υποψηφίων μαζί με το κείμενό τους, βαθμολογήστε τα ζεύγη ερωτήματος–αποσπάσματος και περάστε τα επιλεγμένα αρχικά αποσπάσματα στο βήμα απάντησης. Το μοντέλο απάντησης λαμβάνει τότε τα στοιχεία αντί για βαθμολογία συνάφειας χωρίς την πηγή της. Πρόκειται για ενδεικτική ροή ανάκτησης· ο ίδιος ο ανακατατάκτης ούτε αναζητά εξωτερική συλλογή ούτε γράφει την απάντηση.

Ανάγνωση και κανονικοποίηση βαθμολογιών

Ο κατασκευαστής επιστρέφει ακατέργαστες βαθμολογίες συνάφειας, με υψηλότερη τιμή να υποδηλώνει στενότερη αντιστοιχία. Η τεκμηριωμένη προαιρετική κανονικοποίηση εφαρμόζει σιγμοειδή συνάρτηση για να τοποθετήσει τη βαθμολογία μεταξύ 0 και 1. Μια κανονικοποιημένη βαθμολογία έχει εύχρηστο εύρος, αλλά αυτή η μετατροπή από μόνη της δεν τεκμηριώνει βαθμονομημένη πιθανότητα ότι ο υποψήφιος είναι σωστός.

Επιλέξτε κατώφλια κατάταξης ή φιλτραρίσματος χρησιμοποιώντας αντιπροσωπευτικά ζεύγη ερωτήματος–αποσπάσματος από τον φόρτο εργασίας σας. Συμπεριλάβετε αποσπάσματα που μοιράζονται λέξεις-κλειδιά αλλά απαντούν διαφορετικό ερώτημα, καθώς και σχετικά αποσπάσματα με διαφορετική διατύπωση. Έτσι το επιλεγμένο κατώφλι αποκτά νόημα για τη συλλογή που αναζητείται.

Για έργο Ailoot API, ορίστε τι πρέπει να περιέχει το τελικό πλαίσιο και πόσοι υποψήφιοι μπορούν να εξεταστούν αποδοτικά. Το χρήσιμο αποτέλεσμα είναι ένα καλύτερα ταξινομημένο σύνολο στοιχείων για το επόμενο βήμα εφαρμογής. Κρατήστε την έξοδο συνάφειας αυτής της έκδοσης χωριστά από διανυσματικές αναπαραστάσεις εγγράφων, παραγόμενο πεζό λόγο και ρυθμίσεις επιλογής επιπέδων που τεκμηριώνονται για άλλους ανακατατάκτες.