Sentence Transformers: paraphrase-MiniLM-L6-v2

Το paraphrase-MiniLM-L6-v2 είναι μοντέλο embeddings του Sentence Transformers για προτάσεις και σύντομες παραγράφους. Αντιστοιχίζει κάθε κείμενο σε πυκνό διανυσματικό χώρο 384 διαστάσεων, με τη σημασιολογική αναζήτηση και την ομαδοποίηση μεταξύ των εργασιών που δηλώνει ο κατασκευαστής. Η δημοσιευμένη αρχιτεκτονική συνδυάζει έναν transformer με mean pooling· το διαμορφωμένο μήκος ακολουθίας είναι 128 tokens.

Αναπαραστήστε το απόσπασμα που θέλετε να συγκρίνετε

Προετοιμάστε την πραγματική πρόταση ή σύντομη παράγραφο, διατηρώντας ανέπαφα το θέμα και τις σημαντικές συνθήκες. Μια πρακτική συλλογή μπορεί να περιέχει διαφορετικά διατυπωμένα ερωτήματα ή σύντομες περιγραφές σχετικών θεμάτων. Δημιουργήστε embedding κάθε εγγραφής και κρατήστε την αρχική διατύπωση και το αναγνωριστικό της, ώστε μια μεταγενέστερη σύγκριση να μπορεί να επιστρέφει το ίδιο το κείμενο.

Για παράδειγμα, πολλά ερωτήματα βοήθειας μπορεί να περιγράφουν την ίδια δυσκολία με διαφορετικούς όρους. Ένα στάδιο ομοιότητας μπορεί να φέρνει μαζί αυτούς τους υποψηφίους και στη συνέχεια η διατύπωσή τους μπορεί να εξεταστεί για το πραγματικό ζήτημα. Το embedding είναι η αριθμητική αναπαράσταση που χρησιμοποιείται σε αυτή τη σύγκριση· δεν γράφει παράφραση ούτε αποδίδει από μόνο του τελική ετικέτα ομάδας.

Mean pooling και χρήση διανυσμάτων

Το παράδειγμα άμεσης κωδικοποίησης του κατασκευαστή λαμβάνει υπόψη τη μάσκα προσοχής κατά τον υπολογισμό μέσου όρου των αναπαραστάσεων tokens, αποκλείοντας τις θέσεις padding. Η αρχιτεκτονική του επιλέγει ρητά mean pooling και δεν επιλέγει CLS ή max pooling. Κρατήστε αυτή τη συνταγή pooling μαζί με το μοντέλο όταν προετοιμάζετε συγκρίσιμα διανύσματα.

Κάθε επιστρεφόμενη αναπαράσταση έχει 384 συνιστώσες. Ένα στάδιο ευρετηρίασης ή ομαδοποίησης εργάζεται με αυτά τα διανύσματα χρησιμοποιώντας επιλεγμένη διαμόρφωση ομοιότητας, ενώ η υποκείμενη εγγραφή πηγής παραμένει διαθέσιμη για έλεγχο. Κρατήστε το ίδιο μοντέλο, προετοιμασία εισόδου και ρυθμίσεις σύγκρισης στα στοιχεία που συγκρίνονται. Ένα άλλο μοντέλο που επιστρέφει 384 τιμές δεν ανήκει, μόνο λόγω αυτού του σχήματος, στον ίδιο χώρο embeddings.

Σύντομες είσοδοι στη δημοσιευμένη διαμόρφωση

Η διαμόρφωση αναφοράς Sentence Transformer χρησιμοποιεί μέγιστο μήκος ακολουθίας 128 tokens. Προετοιμάστε μια μεγάλη πηγή ως σύντομες συνεκτικές μονάδες αντί για μία υπερμεγέθη παράγραφο. Μια πρόταση που περιέχει κανόνα μπορεί να χρειάζεται την εξαίρεση της επόμενης πρότασης· κρατήστε μαζί αυτή τη μικρή μονάδα όταν χωρά. Μια καταμέτρηση λέξεων ή χαρακτήρων δεν προσδιορίζει άμεσα το μήκος σε tokens.

Για ένα σύνολο σύντομων περιγραφών, διατηρήστε ονόματα και διακριτικές ιδιότητες που έχουν σημασία για τη σύγκριση. Μια εγγραφή που περιέχει μόνο αόριστη κατηγορία μπορεί να είναι δύσκολο να διαχωριστεί από άλλες εγγραφές αυτού του τύπου. Αποθηκεύστε τη συσχέτιση πηγής έξω από το διάνυσμα, ώστε ένας επιστρεφόμενος υποψήφιος να μπορεί να ελεγχθεί ως προς το αρχικό υλικό.

Αποτελέσματα αναζήτησης και ομαδοποίησης

Στη σημασιολογική αναζήτηση, αναπαραστήστε το ερώτημα και το υλικό του corpus με αυτό το ίδιο μοντέλο και επιστρέψτε υποψήφιες εγγραφές με το κείμενο πηγής τους. Στην ομαδοποίηση, άλλο στάδιο σχηματίζει ομάδες από τα διανύσματα. Εξετάστε τις εγγραφές κοντά στο όριο μιας ομάδας πριν χρησιμοποιήσετε την ομαδοποίηση ως απόφαση προϊόντος ή αυτόματη ετικέτα.

Η χρήσιμη έξοδος είναι συμπαγής αναπαράσταση σύντομου κειμένου συνδεδεμένη με την αρχική εγγραφή του. Αυτό το ακριβές checkpoint paraphrase-MiniLM-L6-v2 έχει τη δική του διαμόρφωση pooling και ακολουθίας. Οι παραλλαγές all-MiniLM και multilingual paraphrase είναι χωριστά προφίλ μοντέλων· η εκπαίδευση, το γλωσσικό εύρος ή οι ρυθμίσεις εισόδου τους δεν υπονοούνται από το κοινό όνομα MiniLM.