LiquidAI: LFM2.5-Embedding-350M (free)

Το LFM2.5-Embedding-350M είναι ο πυκνός bi-encoder της LiquidAI για πολυγλωσσική και διαγλωσσική ανάκτηση. Παράγει ένα διάνυσμα 1024 διαστάσεων για κάθε κείμενο και στοχεύει σε αναζήτηση σύντομων συμφραζομένων σε έντεκα γλώσσες. Η οικογένεια μοντέλων με όνομα 350M χρησιμοποιεί αμφίδρομη προσαρμογή του LFM2.5-350M-Base· ο αναλυτικός πίνακας μοντέλου δίνει περίπου 354 εκατομμύρια παραμέτρους για αυτή την έκδοση embeddings.

Αμφίδρομη αναπαράσταση ανάκτησης

Ο κατασκευαστής προσαρμόζει τη βασική αρχιτεκτονική ώστε η προσοχή και οι τοπικές συνελίξεις να χρησιμοποιούν συμφραζόμενα και στις δύο πλευρές ενός token. Το pooling τύπου CLS μετατρέπει το επεξεργασμένο κείμενο σε ένα πυκνό διάνυσμα. Ο πίνακας μοντέλου περιγράφει δεκαεπτά στρώσεις: δέκα μπλοκ συνελίξεων, έξι μπλοκ προσοχής και ένα στάδιο pooling. Αυτός είναι κωδικοποιητής ανάκτησης, με δική του προετοιμασία και έξοδο, αντί για την εργασία παραγωγής κειμένου του βασικού μοντέλου.

Το χωριστά ονομασμένο LFM2.5-ColBERT-350M διατηρεί διανύσματα ανά token για καθυστερημένη αλληλεπίδραση. Αυτή η αναπαράσταση απαιτεί διαφορετικό ευρετήριο και μέθοδο σύγκρισης. Το μοντέλο Embedding εδώ παρέχει ένα διάνυσμα ανά έγγραφο ή ερώτημα, με ομοιότητα συνημιτόνου ως τεκμηριωμένη σύγκριση.

Χρησιμοποιήστε τα σωστά ασύμμετρα prompts

Προετοιμάστε ερωτήματα αναζήτησης με «query:» και αποσπάσματα πηγής με «document:». Ο κατασκευαστής αποθηκεύει αυτά τα prompts στη διαμόρφωσή του και η ροή αναφοράς εφαρμόζει το αντίστοιχο όνομα prompt. Συνιστά συγκεκριμένα τον αντίστοιχο ρόλο σε κάθε πλευρά επειδή το μοντέλο εκπαιδεύτηκε με αυτά τα προθέματα. Αυτό το πρόθεμα εγγράφου διαφέρει από τη σύμβαση «passage:» των μοντέλων E5.

Μια πρακτική συλλογή αναζήτησης προϊόντων μπορεί να περιέχει περιγραφές στις υποστηριζόμενες γλώσσες. Προετοιμάστε τη διατύπωση αναζήτησης του χρήστη ως ερώτημα και κάθε περιγραφή προϊόντος ως έγγραφο. Αποθηκεύστε το αρχικό κείμενο, το αναγνωριστικό προϊόντος και τη γλώσσα μαζί με το διάνυσμα, ώστε ένα αποτέλεσμα αναζήτησης να επιστρέφει την αντίστοιχη εγγραφή. Για συλλογή υποστήριξης, κρατήστε τη σχετική με το ερώτημα πολιτική ή οδηγία αντί να την αντικαθιστάτε με άσχετη σύντομη ετικέτα.

Γλώσσες και μέγεθος αποσπασμάτων

Το τεκμηριωμένο σύνολο γλωσσών είναι αγγλικά, ισπανικά, γερμανικά, γαλλικά, ιταλικά, πορτογαλικά, αραβικά, σουηδικά, νορβηγικά, ιαπωνικά και κορεατικά. Ο κατασκευαστής στοχεύει ρητά τόσο στην ανάκτηση εντός μιας γλώσσας όσο και στην ανάκτηση μεταξύ γλωσσών. Προετοιμάστε πραγματικά ερωτήματα από το προβλεπόμενο κοινό και εξετάστε το κείμενο των επιστρεφόμενων εγγράφων σε αυτές τις γλώσσες.

Η προδιαγραφή μήκους εγγράφου είναι 512 tokens. Διαιρέστε μια μεγάλη πηγή σε συνεκτικά αποσπάσματα που διατηρούν την επικεφαλίδα, ορισμούς και συνθήκες που χρειάζεται ένα ανακτημένο αποτέλεσμα. Το πρόθεμα ρόλου και τα πρόσθετα συμφραζόμενα ανήκουν στην προετοιμασμένη είσοδο. Μια απάντηση συχνής ερώτησης, εξήγηση προϊόντος ή εστιασμένη ενότητα τεχνικού εγγράφου είναι καταλληλότερη μονάδα από ένα ολόκληρο υπερμεγέθες εγχειρίδιο.

Εκπαίδευση και αντιστοίχιση

Ο κατασκευαστής περιγράφει τρία στάδια εκπαίδευσης: αγγλική αντιθετική προεκπαίδευση, πολυγλωσσική και διαγλωσσική απόσταξη και κατόπιν λεπτομερή ρύθμιση με δύσκολα αρνητικά παραδείγματα που έχουν εντοπιστεί μέσω εξόρυξης. Το μοντέλο που προκύπτει προορίζεται για καταλόγους προϊόντων, συλλογές συχνών ερωτήσεων και υποστήριξης, αναζήτηση αρχείων ή σημειώσεων και ανάκτηση επιχειρηματικής γνώσης. Αυτές είναι εργασίες των αναπαραστάσεων κειμένου, όχι ισχυρισμοί για ανάπτυξη συγκεκριμένης εφαρμογής σε παραγωγή.

Το παράδειγμα του παραγωγού κανονικοποιεί διανύσματα ερωτήματος και εγγράφου και τα κατατάσσει με εσωτερικό γινόμενο, ισοδύναμο με ομοιότητα συνημιτόνου. Υπολογίστε εκ των προτέρων τις αναπαραστάσεις του corpus όταν προετοιμαστεί το υλικό πηγής και έπειτα δημιουργήστε embedding ενός ερωτήματος αναζήτησης και επιστρέψτε υποψήφια έγγραφα με κείμενο και αναγνωριστικά. Κρατήστε το επιλεγμένο μοντέλο και τη σύμβαση ρόλων μαζί με το ευρετήριο, ώστε η αριθμητική σύγκριση να χρησιμοποιεί συμβατές αναπαραστάσεις.

Το χρήσιμο αποτέλεσμα είναι συμπαγές πυκνό ευρετήριο αναζήτησης ή διάνυσμα ερωτήματος που ανακτά υλικό πηγής στο τεκμηριωμένο σύνολο γλωσσών. Αυτή η ακριβής έκδοση LFM2.5 Embedding παραμένει χωριστή από τον συνοδό της ColBERT, παλαιότερους ανακτητές LFM2 και εξωτερικά κβαντισμένες υλοποιήσεις. Το επιλεγμένο κείμενο του αποσπάσματος αποτελεί την τεκμηρίωση που χρησιμοποιεί ένας αναγνώστης ή μεταγενέστερο στάδιο απάντησης RAG.