BAAI: bge-base-en-v1.5

Το bge-base-en-v1.5 είναι το αγγλικό μοντέλο πυκνών embeddings μεγέθους base της BAAI. Μετατρέπει κάθε κείμενο σε αριθμητική αναπαράσταση 768 διαστάσεων για ανάκτηση και σημασιολογική σύγκριση. Το μοντέλο ανήκει στη σειρά BGE v1.5, η οποία αντιμετωπίζει την κατανομή βαθμολογιών ομοιότητας της προηγούμενης οικογένειας και βελτιώνει την ανάκτηση όταν δεν παρέχεται οδηγία. Η έξοδός του είναι διάνυσμα που χρησιμοποιείται για σύγκριση κειμένων ή εύρεση σχετικών αποσπασμάτων.

Προετοιμάστε ερωτήματα και αποσπάσματα

Για ένα σύντομο ερώτημα που αναζητά μεγαλύτερα αποσπάσματα, η BAAI συνιστά να προηγείται στο ερώτημα το «Represent this sentence for searching relevant passages:». Τα αποσπάσματα του corpus δεν λαμβάνουν αυτή την οδηγία. Για άλλες εργασίες, μπορεί να παραχθεί απευθείας το embedding του αρχικού κειμένου. Ο κατασκευαστής σημειώνει ότι η v1.5 λειτουργεί και χωρίς οδηγία, επομένως η προετοιμασία πρέπει να επιλέγεται με βάση την εργασία αντί να θεωρείται το πρόθεμα η μοναδική έγκυρη είσοδος.

Μια πρακτική συλλογή αναζήτησης μπορεί να περιέχει άρθρα βοήθειας, επεξηγήσεις προϊόντων ή τεχνικές οδηγίες. Ένα ερώτημα όπως «How do I change the export format?» πρέπει να ανακτά το απόσπασμα που περιγράφει αυτή την ενέργεια. Κρατήστε μαζί την επικεφαλίδα ενότητας, τις σχετικές συνθήκες και το πραγματικό κείμενο πηγής. Αποθηκεύστε το αναγνωριστικό και τη θέση του αποσπάσματος δίπλα στο διάνυσμά του, ώστε ένα αποτέλεσμα αναζήτησης να επιστρέφει κάτι που μπορεί να διαβάσει ο χρήστης ή να παραθέσει ως πηγή ένα μεταγενέστερο στάδιο απάντησης.

Μορφή διανύσματος και σύγκριση

Η τεκμηριωμένη αναπαράσταση χρησιμοποιεί την τελική κρυφή κατάσταση του πρώτου token, ή CLS, ως embedding της πρότασης. Τα παραδείγματα του κατασκευαστή κανονικοποιούν το διάνυσμα και συγκρίνουν κανονικοποιημένα embeddings με εσωτερικό γινόμενο, ισοδύναμο με ομοιότητα συνημιτόνου. Οι 768 διαστάσεις είναι το μέγεθος της αναπαράστασης εξόδου αυτού του μοντέλου· δεν είναι επιλέξιμο μήκος συμφραζομένων ή περιθώριο παραγωγής κειμένου.

Χρησιμοποιήστε το ίδιο μοντέλο και σύμβαση προετοιμασίας για τα διανύσματα ερωτημάτων και corpus που συγκρίνονται. Ένας πρακτικός έλεγχος είναι η ανάκτηση γνωστών αποσπασμάτων που περιέχουν απάντηση για ένα μικρό σύνολο πραγματικών ερωτημάτων χρηστών και κατόπιν η εξέταση του επιστρεφόμενου κειμένου. Ένα συμβατό σχήμα διανύσματος επιτρέπει στο ευρετήριο να αποθηκεύει την αναπαράσταση, ενώ το απόσπασμα πηγής προσδιορίζει τι λέει πραγματικά το αποτέλεσμα.

Μήκος εισόδου και προετοιμασία εγγράφων

Το τεκμηριωμένο μήκος ακολουθίας του μοντέλου είναι 512 tokens. Μια μεγάλη πηγή πρέπει επομένως να διαιρείται σε συνεκτικά αποσπάσματα που περιέχουν απαντήσεις πριν παραχθούν embeddings. Κρατήστε ορισμούς και εξαιρέσεις μαζί με τη δήλωση που προσδιορίζουν και διατηρήστε τη σύνδεση ενός αποσπάσματος με το γονικό έγγραφό του. Το κείμενο προς κωδικοποίηση περιλαμβάνει κάθε οδηγία ή επικεφαλίδα που προσθέτετε, οπότε μια συμπαγής προετοιμασία αφήνει περισσότερο χώρο για το χρήσιμο περιεχόμενο πηγής.

Για μια αναφορά ή ένα εγχειρίδιο, επιλέξτε όρια γύρω από μια ενότητα ή μικρή ομάδα σχετικών παραγράφων. Ένα απόσπασμα που περιέχει μόνο τίτλο ή ένα τμήμα χωρίς το θέμα του μπορεί να είναι δύσκολο να ερμηνευτεί όταν ανακτηθεί. Κρατήστε το αρχικό κείμενο και μια έκδοση πηγής, ώστε μια ενημέρωση ευρετηρίου να αντικαθιστά το αντίστοιχο υλικό όταν αλλάζει το έγγραφο.

Βαθμολογίες και χρήσιμη έξοδος

Η BAAI προειδοποιεί ότι οι απόλυτες τιμές ομοιότητας δεν είναι καθολικά κατώφλια για να αποφασιστεί ότι δύο κείμενα σημαίνουν το ίδιο πράγμα. Η σχετική κατάταξη έχει σημασία και ένα κατώφλι φιλτραρίσματος πρέπει να επιλέγεται βάσει της κατανομής στα δεδομένα της ίδιας της εργασίας. Η υψηλή ομοιότητα διανυσμάτων είναι σήμα ανάκτησης αντί για επαλήθευση του πραγματολογικού περιεχομένου του αποσπάσματος.

Το χρήσιμο παραδοτέο είναι ένα ευρετήριο αγγλικών αποσπασμάτων, ένα σύνολο διανυσμάτων ερωτημάτων ή αριθμητικά χαρακτηριστικά για σημασιολογική σύγκριση. Ένας χωριστός reranker μπορεί να βελτιώνει τους ανακτημένους υποψηφίους και ένα χωριστό στάδιο παραγωγής μπορεί να γράφει απάντηση από το κείμενό τους. Αυτό το ακριβές αγγλικό μοντέλο base v1.5 παραμένει διακριτό από το BGE Large, τις κινεζικές εκδόσεις και τα πολυγλωσσικά και υβριδικά προφίλ ανάκτησης του BGE-M3.