Intfloat: E5-Large-v2

Το E5-Large-v2 είναι το μοντέλο αγγλικών embeddings κειμένου της intfloat με είκοσι τέσσερις στρώσεις και έξοδο 1024 διαστάσεων. Έχει σχεδιαστεί για να αναπαριστά αριθμητικά ερωτήματα και αποσπάσματα για ανάκτηση και άλλες εργασίες embeddings. Η σύμβαση προετοιμασίας E5 αποτελεί μέρος της εκπαίδευσής του: το κείμενο εισόδου φέρει πρόθεμα ρόλου και οι κωδικοποιημένες αναπαραστάσεις tokens συνδυάζονται με pooling σε ένα διάνυσμα για αυτό το κείμενο.

Κρατήστε ρητούς τους ρόλους ερωτήματος και αποσπάσματος

Για ασύμμετρη ανάκτηση, ξεκινήστε το ερώτημα με «query:» και το κείμενο του corpus με «passage:». Αυτοί οι ρόλοι διαχωρίζουν αυτό που αναζητά ο χρήστης από το υλικό που ενδέχεται να του απαντήσει. Για συμμετρική σύγκριση, αναζήτηση παραφράσεων, ομαδοποίηση ή χαρακτηριστικά ταξινόμησης, ο κατασκευαστής συνιστά «query:» για τα κείμενα των οποίων παράγονται embeddings.

Μια πρακτική συλλογή μπορεί να ευρετηριάζει αγγλικές επεξηγήσεις υποστήριξης. Προετοιμάστε ένα ερώτημα όπως «query: What should I check before replacing the connector?» και συνδυάστε το με αποσπάσματα πηγής που περιγράφουν τους ελέγχους και τις εξαιρέσεις. Το κείμενο του αποσπάσματος διατηρεί το αντίστοιχο πρόθεμά του. Αποθηκεύστε το αναγνωριστικό πηγής και την αρχική διατύπωση δίπλα σε κάθε διάνυσμα, ώστε το αποτέλεσμα να επιστρέφει το υλικό που χρειάζεται να διαβάσει ο χρήστης.

Τα προθέματα δεν είναι διακοσμητικές ετικέτες που αφαιρούνται από τη μία πλευρά της εργασίας. Ο κατασκευαστής δηλώνει ότι η παράλειψή τους υποβαθμίζει την απόδοση ανάκτησης, επειδή το μοντέλο εκπαιδεύτηκε με αυτή την προετοιμασία. Εφαρμόστε τον επιλεγμένο ρόλο με συνέπεια κατά την κατασκευή του corpus και κατά τη μεταγενέστερη παραγωγή embedding ενός ερωτήματος.

Mean pooling και κανονικοποιημένα διανύσματα

Το επίσημο παράδειγμα κωδικοποίησης υπολογίζει τον μέσο όρο των αναπαραστάσεων tokens, αποκλείοντας τις θέσεις συμπλήρωσης, δηλαδή padding, με τη μάσκα προσοχής. Στη συνέχεια κανονικοποιεί το διάνυσμα που προκύπτει. Ένα εσωτερικό γινόμενο μεταξύ κανονικοποιημένων διανυσμάτων ερωτήματος και αποσπάσματος παρέχει ομοιότητα συνημιτόνου για την κατάταξη υποψηφίων. Αυτή η συνταγή mean pooling ανήκει στο E5-Large-v2· μια συνταγή pooling του πρώτου token από διαφορετική οικογένεια είναι χωριστή επιλογή προετοιμασίας.

Οι 1024 τιμές εξόδου σχηματίζουν το embedding, όχι γραπτή απάντηση ή άμεση ετικέτα κατηγορίας. Ένα στάδιο αναζήτησης συγκρίνει αυτές τις τιμές με συμβατές αναπαραστάσεις του corpus και ένα μεταγενέστερο στάδιο χρησιμοποιεί το επιλεγμένο κείμενο αποσπάσματος. Αν τα διανύσματα λειτουργούν ως χαρακτηριστικά ομαδοποίησης ή ταξινομητή, διατηρήστε τη σύνδεση κάθε διανύσματος με την εγγραφή εισόδου της οποίας αναπαριστά τα χαρακτηριστικά.

Αγγλικό κείμενο μέσα στο παράθυρο

Η κάρτα του μοντέλου προσδιορίζει κείμενο μόνο στα αγγλικά και περικοπή μεγάλων εισόδων το πολύ στα 512 tokens. Κρατήστε κάθε απόσπασμα εγγράφου συνεκτικό μέσα σε αυτό το παράθυρο, συμπεριλαμβανομένου του προθέματος ρόλου και χρήσιμου πλαισίου πηγής. Ένα μακρύ εγχειρίδιο πρέπει να προετοιμάζεται ως ενότητες των οποίων οι τίτλοι, οι συνθήκες και οι οδηγίες μπορούν να γίνουν κατανοητές όταν ανακτώνται χωριστά.

Για παράδειγμα, μια πρόταση που περιγράφει μια ρύθμιση μπορεί να χρειάζεται τον ορισμό αυτής της ρύθμισης και μια εξαίρεση στην επόμενη πρόταση. Διατηρήστε αυτή τη μικρή μονάδα μαζί αντί να τη διαιρείτε αποκλειστικά με βάση πλήθος χαρακτήρων. Κρατήστε το γονικό έγγραφο και την έκδοση πηγής μαζί με το απόσπασμα, ώστε μια ενημέρωση να αντικαθιστά το σωστό υλικό.

Διαβάστε την κατάταξη ως στοιχεία ανάκτησης

Ο κατασκευαστής εξηγεί ότι η σειρά των βαθμολογιών συνημιτόνου έχει μεγαλύτερη σημασία από τις απόλυτες τιμές τους. Μια βαθμολογία δεν πρέπει να ερμηνεύεται ως βαθμονομημένη πιθανότητα ότι ένα απόσπασμα απαντά στο ερώτημα. Ελέγξτε γνωστά αποσπάσματα που περιέχουν απάντηση και κοντινό άσχετο υλικό όταν επιλέγετε πόσα αποτελέσματα θα κρατήσετε ή πού θα φιλτράρετε ένα σύνολο υποψηφίων.

Η χρήσιμη έξοδος είναι αναπαράσταση corpus ή ερωτήματος, σήμα σημασιολογικής σύγκρισης ή αριθμητικά χαρακτηριστικά για άλλη εργασία. Αυτό το ακριβές αγγλικό checkpoint Large v2 παραμένει χωριστό από τα E5-Base-v2 και Multilingual-E5-Large. Η αντιστοιχία διαστάσεων από μόνη της δεν καθιστά τα διανύσματά τους τεκμηριωμένο κοινό χώρο embeddings.