Sentence Transformers: all-MiniLM-L6-v2

Το all-MiniLM-L6-v2 είναι κωδικοποιητής προτάσεων και σύντομων παραγράφων του Sentence Transformers. Αντιστοιχίζει κάθε κείμενο σε πυκνό διάνυσμα 384 διαστάσεων για ανάκτηση, ομαδοποίηση και ομοιότητα προτάσεων. Το μοντέλο προσαρμόστηκε με λεπτομερή ρύθμιση από τη βασική αρχιτεκτονική MiniLM-L6-H384-uncased, χρησιμοποιώντας αντιθετική μάθηση σε συλλογή ενός δισεκατομμυρίου ζευγών προτάσεων.

Προετοιμάστε συνοπτικές, ουσιαστικές εγγραφές

Επιλέξτε την πρόταση ή παράγραφο που πρέπει να εμφανίζεται σε αποτέλεσμα αναζήτησης. Για μια συλλογή συχνών ερωτήσεων, κρατήστε το ερώτημα και τη σύντομη εξήγηση που διακρίνει το θέμα του. Ένα απόσπασμα για επαναφορά ξεχασμένου κωδικού πρόσβασης πρέπει να κρατά τη διαδικασία επαναφοράς αντί να μειώνεται σε μεμονωμένη λέξη όπως «Λογαριασμός».

Για ένα μεγάλο άρθρο, ευρετηριάστε συνεκτικές σύντομες ενότητες και κρατήστε τις θέσεις πηγής τους. Ανακτήστε υποψήφιες ενότητες συγκρίνοντας το διάνυσμα του ερωτήματος με τις αποθηκευμένες αναπαραστάσεις και κατόπιν δείξτε τα αρχικά αποσπάσματα ώστε ο αναγνώστης να εξετάζει τις πραγματικές οδηγίες.

Αποκτήστε την αναπαράσταση της πρότασης

Η συνταγή άμεσης κωδικοποίησης του κατασκευαστή υπολογίζει μέσο όρο αναπαραστάσεων tokens με τη μάσκα προσοχής, αποκλείοντας τις θέσεις padding από τον μέσο όρο. Έπειτα εφαρμόζει κανονικοποίηση L2. Αυτά τα βήματα παράγουν το embedding πρότασης που χρησιμοποιείται για σύγκριση· οι μεμονωμένες αναπαραστάσεις tokens από τον υποκείμενο transformer έχουν διαφορετικό ρόλο.

Κάθε έξοδος έχει 384 συνιστώσες. Χρησιμοποιήστε το ίδιο checkpoint, pooling και κανονικοποίηση όταν κατασκευάζετε τη συλλογή και κωδικοποιείτε μεταγενέστερα ερωτήματα. Η ομοιότητα συνημιτόνου μπορεί να συγκρίνει τα διανύσματα που προκύπτουν. Μια τιμή ομοιότητας είναι χρήσιμη για κατάταξη υποψηφίων υπό αυτή τη ρύθμιση, ενώ το αρχικό κείμενο καθορίζει αν ένας υποψήφιος απαντά στο ερώτημα.

Όρια μήκους και έκδοσης

Η δημοσιευμένη προεπιλογή περικόπτει εισόδους μεγαλύτερες από 256 τμήματα λέξεων, ή word pieces. Αυτή η μονάδα του tokenizer δεν αντιστοιχεί άμεσα σε κανονική λέξη ή χαρακτήρα. Κρατήστε σημαντικές συνθήκες μέσα στην ευρετηριασμένη μονάδα και διαιρέστε μια εκτενή διαδικασία σε ουσιαστικά όρια πριν την κωδικοποιήσετε.

Οι ακολουθίες εκπαίδευσης περιορίζονταν στα 128 tokens. Αυτή η ρύθμιση εκπαίδευσης είναι χωριστή από την προεπιλογή 256 τμημάτων λέξεων που χρησιμοποιείται για κωδικοποίηση. Για ασυνήθιστα μεγάλα ή εξειδικευμένα αποσπάσματα, χρησιμοποιήστε αντιπροσωπευτικά παραδείγματα ερωτήματος και αποσπάσματος για να αξιολογήσετε τη συμπεριφορά ανάκτησης αντί να υποθέτετε ότι η τήρηση του ορίου εισόδου εγγυάται ίση αντιμετώπιση κάθε λεπτομέρειας.

Η ακριβής έκδοση L6-v2 είναι αγγλικό προφίλ embeddings. Οι εκδόσεις L12-v2 και paraphrase-MiniLM έχουν χωριστές ταυτότητες και διαμορφώσεις μοντέλων. Το κοινό τους όνομα MiniLM ή η έξοδος 384 διαστάσεων δεν αποδεικνύουν εναλλάξιμα διανύσματα.

Αναζήτηση, ομοιότητα και ομαδοποίηση

Για έλεγχο διπλότυπων ερωτημάτων, ανακτήστε παρόμοια ερωτήματα και συγκρίνετε την πραγματική διατύπωση πριν συγχωνεύσετε εγγραφές. Τα «Μπορώ να επαναφέρω τον κωδικό πρόσβασής μου;» και «Μπορεί ένας διαχειριστής να επαναφέρει τον κωδικό πρόσβασης άλλου χρήστη;» αφορούν σχετικά θέματα αλλά διαφορετικά δικαιώματα. Διατηρήστε αυτή τη διάκριση στο κωδικοποιημένο κείμενο και στο στάδιο ελέγχου.

Για ομαδοποίηση, χρησιμοποιήστε τα embeddings ως αριθμητικές εισόδους μιας διαδικασίας σχηματισμού ομάδων και κατόπιν εξετάστε αντιπροσωπευτικές εγγραφές πριν ονομάσετε μια ομάδα. Αυτό το μοντέλο παρέχει διανύσματα αντί για γραπτές ετικέτες ομάδων ή παραγόμενη απάντηση συχνής ερώτησης. Το χρήσιμο αποτέλεσμά του είναι συμπαγής αναπαράσταση σύντομου αποσπάσματος πηγής που παραμένει συνδεδεμένη με την αρχική εγγραφή.