Sentence Transformers: all-MiniLM-L12-v2

Το all-MiniLM-L12-v2 είναι κωδικοποιητής Sentence Transformers για προτάσεις και σύντομες παραγράφους. Παράγει ένα πυκνό διάνυσμα 384 διαστάσεων ανά κείμενο για σημασιολογική αναζήτηση, ανάκτηση πληροφοριών, ομαδοποίηση και ομοιότητα προτάσεων. Το μοντέλο χρησιμοποιεί τη βασική αρχιτεκτονική MiniLM-L12-H384-uncased και προσαρμόστηκε με λεπτομερή ρύθμιση με αντιθετική μάθηση σε συλλογή ενός δισεκατομμυρίου ζευγών προτάσεων.

Κωδικοποιήστε τη μονάδα που θέλετε να ανακτήσετε

Χρησιμοποιήστε μια πρόταση ή σύντομη παράγραφο που εκφράζει μία χρήσιμη ιδέα. Για μια συλλογή περιγραφών προϊόντων, κρατήστε το χαρακτηριστικό και τη συνθήκη που διακρίνει το αντικείμενο: το «Ο προσαρμογέας συνδέει ενσύρματα ακουστικά με θύρα USB-C» είναι πιο πληροφοριακό από το «Αξεσουάρ ήχου». Αποθηκεύστε το αναγνωριστικό εγγραφής και την αρχική περιγραφή δίπλα στο διάνυσμά της.

Ένα ερώτημα αναζήτησης μπορεί κατόπιν να συγκριθεί με τις κωδικοποιημένες περιγραφές. Εξετάστε τους επιστρεφόμενους υποψηφίους για ακριβείς απαιτήσεις όπως τύπος συνδέσμου ή συμβατότητα συσκευής πριν παρουσιάσετε τελική επιλογή. Το διάνυσμα αναπαριστά το νόημα του κειμένου· η εφαρμογή αναζήτησης που το περιβάλλει ανακτά τις αντίστοιχες εγγραφές.

Mean pooling και κανονικοποιημένα διανύσματα

Το δημοσιευμένο παράδειγμα κωδικοποίησης υπολογίζει μέσο όρο αναπαραστάσεων tokens με τη μάσκα προσοχής, ώστε οι θέσεις padding να μην συνεισφέρουν στον μέσο όρο. Έπειτα εφαρμόζει κανονικοποίηση L2. Αυτά τα βήματα αποτελούν μέρος της συνταγής αναφοράς για απόκτηση διανύσματος πρότασης, αντί για οδηγία λήψης αυθαίρετου token από τον υποκείμενο transformer.

Κρατήστε τη διαμόρφωση μοντέλου, pooling και κανονικοποίησης συνεπή μεταξύ ευρετηριασμένων κειμένων και νέων ερωτημάτων. Οι αναπαραστάσεις 384 συνιστωσών που προκύπτουν μπορούν να συγκριθούν με ομοιότητα συνημιτόνου. Κρατήστε αρχείο αυτής της διαμόρφωσης μαζί με τη συλλογή· ένας διαφορετικός κωδικοποιητής 384 διαστάσεων δεν γίνεται συμβατός απλώς επειδή τα διανύσματά του έχουν το ίδιο μήκος.

Προεπιλεγμένο μήκος εισόδου και εύρος εκπαίδευσης

Ο κατασκευαστής ορίζει προεπιλεγμένη περικοπή πέρα από 256 τμήματα λέξεων, ή word pieces. Αυτό είναι όριο του tokenizer, όχι πλήθος συνηθισμένων λέξεων ή χαρακτήρων. Για μεγαλύτερη εγγραφή, επιλέξτε συνεκτικές σύντομες ενότητες και διατηρήστε την επικεφαλίδα ή την αναγνωριστική λεπτομέρεια που χρειάζεται για την ερμηνεία καθεμίας.

Η διαδικασία εκπαίδευσης του μοντέλου χρησιμοποιούσε ακολουθίες έως 128 tokens. Αυτή η ρύθμιση εκπαίδευσης είναι χωριστή από τη δημοσιευμένη προεπιλογή 256 τμημάτων λέξεων κατά την κωδικοποίηση. Ένα απόσπασμα που χωρά στην προεπιλογή μπορεί ακόμη να διαφέρει ουσιαστικά από το υλικό σύντομων προτάσεων που χρησιμοποιήθηκε κατά την εκπαίδευση, γι’ αυτό αξιολογήστε μεγάλες ή εξειδικευμένες περιγραφές με αντιπροσωπευτικά παραδείγματα.

Ροές ομοιότητας και ομαδοποίησης

Για ένα σύνολο μηνυμάτων υποστήριξης, τα embeddings μπορούν να παρέχουν αριθμητικές εισόδους σε στάδιο ομαδοποίησης. Ελέγξτε πολλά μηνύματα από κάθε προτεινόμενη ομάδα και όσα βρίσκονται κοντά στο όριό της πριν αποδώσετε ετικέτα αναγνώσιμη από άνθρωπο. Για έλεγχο διπλότυπου περιεχομένου, ανακτήστε παρόμοιες εγγραφές και συγκρίνετε την πραγματική διατύπωσή τους· δύο αποσπάσματα μπορεί να συζητούν το ίδιο θέμα ενώ δίνουν διαφορετικές οδηγίες.

Αυτή η ακριβής έκδοση L12-v2 είναι αγγλικό προφίλ embeddings προτάσεων. Είναι διακριτή από το all-MiniLM-L6-v2 και τα checkpoints paraphrase-MiniLM. Τα κοινά ονόματα οικογένειας δεν μεταφέρουν τη διαμόρφωση ακολουθίας ή τη συνταγή pooling τους. Χρησιμοποιήστε τα συμπαγή πυκνά διανύσματά του μαζί με τις εγγραφές πηγής και αξιολόγηση ειδική για την εργασία αντί να θεωρείτε μια τιμή ομοιότητας επαληθευμένη απάντηση ή τελική συντακτική απόφαση.