Thenlper: GTE-Large

Το GTE-large είναι το μεγάλου μεγέθους μοντέλο General Text Embeddings που εκπαιδεύτηκε από την Alibaba DAMO Academy. Είναι κωδικοποιητής αγγλικού κειμένου βασισμένος κυρίως στο πλαίσιο BERT, με πυκνή αναπαράσταση 1024 διαστάσεων για κάθε είσοδο. Ο κατασκευαστής εκπαιδεύει την οικογένεια GTE σε ζεύγη κειμένων συνάφειας από διαφορετικά πεδία και προσδιορίζει ανάκτηση, σημασιολογική ομοιότητα κειμένου και επανακατάταξη κειμένου ως μεταγενέστερες εφαρμογές.

Αναπαραστήστε το περιεχόμενο ενότητας

Προετοιμάστε το αγγλικό απόσπασμα που πρέπει να συγκριθεί με ερώτημα αναζήτησης. Για μια συλλογή τεχνικών αναφορών, κρατήστε το θέμα, την παρατήρηση και τη σχετική συνθήκη μιας σύντομης ενότητας. Μια αναφορά που περιγράφει κραδασμούς μόνο υπό συγκεκριμένο φορτίο πρέπει να διατηρεί αυτή τη συνθήκη αντί να αφήνει γενική δήλωση για κραδασμούς.

Κρατήστε τα αναγνωριστικά πηγής, τους τίτλους εγγράφων και τις θέσεις ενοτήτων μαζί με τα αποθηκευμένα διανύσματα. Ένα ερώτημα μπορεί να ανακτά υποψήφιες ενότητες, ενώ η αρχική αναφορά παραμένει διαθέσιμη για επαλήθευση του εξοπλισμού, της συνθήκης και του συμπεράσματος. Το embedding παρέχει αριθμητική αναπαράσταση του περιεχομένου αποσπάσματος.

Pooling, κανονικοποίηση και χρήση διανυσμάτων

Η δημοσιευμένη συνταγή χρησιμοποιεί pooling με μέσο όρο των αναπαραστάσεων tokens με τη μάσκα προσοχής, αποκλείοντας το padding από τον μέσο όρο. Δείχνει επίσης προαιρετική κανονικοποίηση L2 και κατόπιν σύγκριση κανονικοποιημένων διανυσμάτων με εσωτερικό γινόμενο. Το παράδειγμα Sentence Transformers χρησιμοποιεί ομοιότητα συνημιτόνου.

Διατηρήστε τις ίδιες ρυθμίσεις προετοιμασίας, pooling και σύγκρισης στη συλλογή και στην πλευρά ερωτήματος. Κάθε αναπαράσταση περιέχει 1024 συνιστώσες. Το μεγαλύτερο πλήθος συνιστωσών είναι λεπτομέρεια έκδοσης· δεν αποδεικνύει ότι διανύσματα GTE-large μπορούν να αναμειγνύονται με την αναπαράσταση GTE-base των 768 διαστάσεων ή με άλλον κωδικοποιητή 1024 διαστάσεων.

Μια ροή επανακατάταξης μπορεί να συγκρίνει embedding ερωτήματος με ήδη ανακτημένο σύνολο υποψήφιων embeddings και να αναδιατάσσει αυτές τις εγγραφές. Κρατήστε τη διάκριση μεταξύ αυτής της διανυσματικής σύγκρισης και χωριστού μοντέλου που αξιολογεί από κοινού ζεύγος ερωτήματος και αποσπάσματος.

Μήκος εισόδου και περιορισμός στα αγγλικά

Η κάρτα περιορίζει ρητά αυτό το ακριβές μοντέλο σε αγγλικό κείμενο και περικόπτει μεγάλες εισόδους σε μέγιστο 512 tokens. Διαιρέστε μια μεγάλη τεχνική αναφορά σε συνεκτικές ενότητες και κρατήστε αρκετό τοπικό πλαίσιο ώστε κάθε ενότητα να στέκεται μόνη της. Αν μια πρόταση εξαρτάται από προηγούμενη επιφύλαξη, διατηρήστε αυτή την επιφύλαξη στην ίδια ευρετηριασμένη μονάδα όταν χωρά.

Ένα όριο tokens διαφέρει από ορατό πλήθος λέξεων. Επαληθεύστε το μήκος της προετοιμασμένης ενότητας και βεβαιωθείτε ότι η λεπτομέρεια που χρειάζεται η προβλεπόμενη αναζήτηση δεν τοποθετείται πέρα από το τμήμα που διατηρείται μετά την περικοπή.

Εξετάστε τα ανακτημένα στοιχεία

Για μια εφαρμογή αναζήτησης αναφορών, παρουσιάστε υποψήφιες ενότητες με τις θέσεις πηγής τους και εξετάστε το πραγματικό περιεχόμενό τους. Παρόμοιες παρατηρήσεις μπορεί να έχουν διαφορετικές αιτίες ή συστάσεις. Μια διανυσματική βαθμολογία βοηθά στην κατάταξη υποψηφίων υπό την επιλεγμένη ρύθμιση σύγκρισης· δεν αποδεικνύει ότι το συμπέρασμα αναφοράς εφαρμόζεται σε νέα κατάσταση.

Για RAG, χρησιμοποιήστε τις επιλεγμένες ενότητες ως πλαίσιο πηγής για το στάδιο σύνταξης απάντησης και διατηρήστε τις συσχετίσεις εγγράφων τους. Αυτό το ακριβές προφίλ GTE-large παρέχει αγγλικά πυκνά embeddings με 1024 διαστάσεις και όριο εισόδου 512 tokens. Μεταγενέστερες πολυγλωσσικές εκδόσεις GTE και εκδόσεις εκτεταμένων συμφραζομένων έχουν χωριστές ταυτότητες, επομένως η γλωσσική κάλυψη ή οι ρυθμίσεις εισόδου τους δεν προκύπτουν από το όνομα οικογένειας αυτού του checkpoint.