Intfloat: E5-Base-v2

Το E5-Base-v2 είναι το αγγλικό μοντέλο embeddings της intfloat με δώδεκα στρώσεις και αναπαράσταση 768 διαστάσεων. Μετατρέπει προετοιμασμένο κείμενο σε ένα αριθμητικό διάνυσμα για ανάκτηση, σημασιολογική σύγκριση ή χρήση ως χαρακτηριστικών σε άλλη εργασία. Το checkpoint Base v2 είναι διακριτό από την έκδοση Large v2 των είκοσι τεσσάρων στρώσεων και 1024 διαστάσεων και από τα χωριστά εκπαιδευμένα πολυγλωσσικά μοντέλα E5.

Χρησιμοποιήστε τα προθέματα ρόλων της εκπαίδευσης

Το E5 αναμένει έναν ρόλο στην αρχή της εισόδου. Για ανάκτηση αποσπασμάτων, ένα ερώτημα ξεκινά με «query:» και η πιθανή πηγή που περιέχει την απάντησή του ξεκινά με «passage:». Ο κατασκευαστής συνιστά «query:» και στις δύο πλευρές για συμμετρικές εργασίες όπως σημασιολογική ομοιότητα και ανάκτηση παραφράσεων. Συνιστά επίσης αυτό το πρόθεμα όταν τα διανύσματα θα χρησιμοποιηθούν ως χαρακτηριστικά για ομαδοποίηση ή ταξινόμηση.

Για παράδειγμα, μια συλλογή σχολίων μπορεί να περιέχει πολλά διαφορετικά διατυπωμένα αιτήματα για την ίδια βελτίωση. Κωδικοποιήστε αυτές τις εγγραφές με την προτεινόμενη συμμετρική προετοιμασία και κατόπιν συγκρίνετε ή ομαδοποιήστε τα διανύσματα που προκύπτουν. Κρατήστε την αρχική διατύπωση και το αναγνωριστικό εγγραφής μαζί με κάθε αναπαράσταση, ώστε μια ομάδα να εξετάζεται ως πραγματικά μηνύματα πελατών αντί για ανεξήγητη ομάδα αριθμών.

Για μια συλλογή αναζήτησης, προετοιμάστε ερωτήματα και αποσπάσματα πηγής στους αντίστοιχους ρόλους τους. Ένα χρήσιμο ερώτημα είναι «query: Which setting changes the notification frequency?». Το απόσπασμα του corpus διατηρεί την εξήγηση και τις σχετικές συνθήκες της. Το πρόθεμα αποτελεί μέρος της προετοιμασίας εκπαίδευσης του μοντέλου· ο κατασκευαστής σημειώνει ότι η παράλειψή του μειώνει την απόδοση.

Συνδυάστε με pooling και συγκρίνετε την αναπαράσταση

Το επίσημο παράδειγμα υπολογίζει μέσο όρο των αναπαραστάσεων tokens λαμβάνοντας υπόψη τη μάσκα προσοχής και αποκλείοντας το padding, και στη συνέχεια κανονικοποιεί το διάνυσμα που προκύπτει. Ένα εσωτερικό γινόμενο μεταξύ κανονικοποιημένων embeddings παρέχει ομοιότητα συνημιτόνου. Οι 768 τιμές εξόδου περιγράφουν ένα κείμενο· δεν είναι απάντηση, ετικέτα κλάσης ή βαθμολογία reranker ανά ζεύγος.

Σε μια ροή ομαδοποίησης, άλλο στάδιο σχηματίζει ομάδες από αυτά τα διανύσματα. Σε μια ροή ταξινόμησης, άλλο στάδιο τα χρησιμοποιεί ως χαρακτηριστικά εισόδου. Η διατήρηση αυτής της διάκρισης κάνει το αποτέλεσμα ευκολότερο στην ερμηνεία: το embedding αναπαριστά την εγγραφή, ενώ η επόμενη εργασία καθορίζει ομάδα ή ετικέτα. Χρησιμοποιήστε με συνέπεια ένα μοντέλο και μια σύμβαση προετοιμασίας για τις αναπαραστάσεις που συγκρίνονται.

Εργαστείτε με αγγλικά και μέσα σε 512 tokens

Η κάρτα του μοντέλου αναφέρει ότι αυτή η έκδοση λειτουργεί μόνο για αγγλικά και περικόπτει μεγάλα κείμενα το πολύ στα 512 tokens. Προετοιμάστε συνεκτικά αποσπάσματα μέσα σε αυτό το εύρος, συμπεριλαμβανομένου του απαιτούμενου προθέματος ρόλου. Μια εκτενής κριτική, μια εκτενής αναφορά ή ένα εκτενές εγχειρίδιο πρέπει να διαιρείται γύρω από ουσιαστικές ενότητες αντί να κωδικοποιείται ως υπερμεγέθης είσοδος της οποίας η ουρά χάνεται.

Κρατήστε μια επικεφαλίδα μαζί με τις προτάσεις που εισάγει και διατηρήστε τη συνθήκη ή εξαίρεση που αλλάζει το νόημα ενός κανόνα. Για σύντομες εγγραφές όπως σχόλια, κρατήστε ολόκληρο το μήνυμα όταν χωρά. Αναγνωριστικό πηγής και έκδοση αποθηκευμένα δίπλα στο διάνυσμα επιτρέπουν σε μεταγενέστερη ενημέρωση της συλλογής να αντικαταστήσει τη σωστή εγγραφή.

Ερμηνεύστε την ομοιότητα για την εργασία

Ο κατασκευαστής εξηγεί ότι η σχετική σειρά βαθμολογιών συνημιτόνου είναι σημαντικότερη από μια απόλυτη τιμή. Ένα κατώφλι φιλτραρίσματος πρέπει να αξιολογείται στα παραδείγματα της ίδιας της συλλογής, και η ομοιότητα διανυσμάτων δεν είναι βαθμονομημένη πιθανότητα μιας αντίστοιχης ετικέτας ή σωστής απάντησης. Εξετάστε κοντινές εγγραφές και γνωστές ασυμφωνίες όταν αποφασίζετε πώς θα χρησιμοποιούνται τα διανύσματα.

Το χρήσιμο παραδοτέο είναι ένα αγγλικό ευρετήριο αναζήτησης, ένα σύνολο σημασιολογικής σύγκρισης ή αριθμητικά χαρακτηριστικά κειμένου συνδεδεμένα με τις εγγραφές πηγής τους. Αυτό το προφίλ Base v2 παρέχει τις δικές του διαστάσεις, pooling και προετοιμασία ρόλων· το σχήμα διανύσματος ή η γλωσσική κάλυψη άλλης έκδοσης E5 δεν αποδεικνύουν εναλλάξιμη αναπαράσταση.