Sentence Transformers: all-mpnet-base-v2

Το all-mpnet-base-v2 είναι μοντέλο Sentence Transformers για αναπαράσταση προτάσεων και σύντομων παραγράφων ως πυκνών διανυσμάτων 768 διαστάσεων. Προσαρμόστηκε με λεπτομερή ρύθμιση από το βασικό μοντέλο MPNet, με αντιθετική μάθηση σε συλλογή ενός δισεκατομμυρίου ζευγών προτάσεων. Ο κατασκευαστής προσδιορίζει ανάκτηση πληροφοριών, ομαδοποίηση και ομοιότητα προτάσεων ως προβλεπόμενες χρήσεις.

Κωδικοποιήστε μια πρόταση ή σύντομη παράγραφο

Προετοιμάστε το κείμενο που πρέπει να συγκριθεί, κρατώντας την κύρια ιδέα και τις λεπτομέρειες που το διακρίνουν. Για μια εσωτερική συλλογή εγγράφων, μια σύντομη ενότητα μπορεί να περιγράφει πώς ζητείται αντικατάσταση εξοπλισμού ή ποιες πληροφορίες πρέπει να περιέχει μια αναφορά συντήρησης. Κρατήστε τον τίτλο εγγράφου και τη θέση πηγής διαθέσιμα μαζί με το διάνυσμα.

Ένα ερώτημα με embedding από το ίδιο μοντέλο μπορεί να ανακτά σχετικές ενότητες ακόμη και όταν διαφέρει η διατύπωσή τους. Εξετάστε αυτές τις ενότητες για την πραγματική οδηγία που χρειάζεται ο αναγνώστης. Για μια ροή ομοιότητας, συγκρίνετε τις ίδιες τις υποψήφιες προτάσεις μετά την ανάκτηση, ιδιαίτερα όταν η μία περιλαμβάνει εξαίρεση ή συνθήκη που απουσιάζει από την άλλη.

Mean pooling και κανονικοποίηση

Το παράδειγμα κωδικοποίησης αναφοράς υπολογίζει μέσο όρο των αναπαραστάσεων tokens βάσει συμφραζομένων με τη μάσκα προσοχής, αποκλείοντας το padding από τον μέσο όρο. Έπειτα εφαρμόζει κανονικοποίηση L2 στα embeddings προτάσεων που προκύπτουν. Διατηρήστε και τα δύο βήματα όταν παράγετε διανύσματα για συλλογή και μεταγενέστερα ερωτήματα.

Κάθε διάνυσμα έχει 768 συνιστώσες. Η ομοιότητα συνημιτόνου μπορεί να συγκρίνει αυτές τις κανονικοποιημένες αναπαραστάσεις, ενώ το κείμενο πηγής παρέχει τα στοιχεία πίσω από ένα αποτέλεσμα. Το κοινό πλήθος συνιστωσών δεν κάνει αυτό το μοντέλο συμβατό με το multi-qa-mpnet-base-dot-v1: εκείνη η χωριστή έκδοση προσδιορίζει CLS pooling και μη κανονικοποιημένα διανύσματα για βαθμολόγηση με εσωτερικό γινόμενο.

Προεπιλεγμένη περικοπή και προετοιμασία αποσπασμάτων

Ο κατασκευαστής δηλώνει ότι είσοδος πέρα από 384 τμήματα λέξεων, ή word pieces, περικόπτεται από προεπιλογή. Κρατήστε τη σχετική ενότητα μέσα σε αυτό το όριο του tokenizer. Για μια μεγάλη διαδικασία, διαιρέστε σε ουσιαστικά όρια ενοτήτων και συμπεριλάβετε επαρκές τοπικό πλαίσιο για να εξηγείται πού εφαρμόζεται ένα βήμα. Ένα τμήμα όπως «Υποβολή εντός πέντε ημερών» χρειάζεται το γεγονός ή τη διαδικασία που ξεκινά την προθεσμία.

Η διαδικασία εκπαίδευσης περιόριζε τις ακολουθίες στα 128 tokens, κάτι χωριστό από τη δημοσιευμένη προεπιλογή κωδικοποίησης 384 τμημάτων λέξεων. Χρησιμοποιήστε αντιπροσωπευτικό υλικό όταν αξιολογείτε μεγαλύτερες παραγράφους ή λεξιλόγιο ειδικό για τη συλλογή σας. Το ότι χωρά περισσότερο κείμενο στην είσοδο δεν αποδεικνύει ότι κάθε λεπτομέρεια θα επηρεάζει εξίσου ένα αποτέλεσμα ανάκτησης.

Ανάκτηση, ομαδοποίηση και σύγκριση

Για αναζήτηση, κρατήστε τη σύνδεση διανύσματος και εγγράφου ώστε οι καταταγμένοι υποψήφιοι να μπορούν να επιστρέφουν τις αρχικές ενότητες. Σε μια ροή RAG, οι επιλεγμένες ενότητες γίνονται πλαίσιο για το στάδιο σύνταξης απάντησης. Το μοντέλο παρέχει αριθμητικές αναπαραστάσεις· δεν παράγει απάντηση με τεκμηριωμένες πηγές ούτε αποφασίζει ποιο έγγραφο πρέπει να θεωρείται έγκυρη πηγή αναφοράς.

Για ομαδοποίηση, συγκρίνετε τις εγγραφές κάθε προτεινόμενης ομάδας πριν αποδώσετε ετικέτες. Ένα σύνολο σημειώσεων συντήρησης μπορεί να περιέχει παρόμοια γλώσσα αλλά να αφορά διαφορετικές συσκευές ή συνθήκες αστοχίας. Συμπεριλάβετε αυτές τις διακριτικές λεπτομέρειες στο κωδικοποιημένο κείμενο και εξετάστε τες στο επιστρεφόμενο υλικό αντί να βασίζεστε μόνο σε βαθμολογία.

Αυτό το ακριβές checkpoint all-mpnet-base-v2 είναι αγγλικό προφίλ embeddings προτάσεων με τις δικές του ρυθμίσεις mean pooling, κανονικοποίησης και προεπιλεγμένης περικοπής. Κρατήστε αυτές τις ρυθμίσεις μαζί με την ευρετηριασμένη συλλογή και χρησιμοποιήστε τα διανύσματα ως βοήθημα εύρεσης και σύγκρισης των αποσπασμάτων πηγής που έχουν σημασία για την εργασία.