VoyageAI by MongoDB: voyage-4-large

Το voyage-4-large είναι το κορυφαίο μοντέλο embeddings κειμένου της Voyage AI στην οικογένεια Voyage 4. Αναπαριστά αποσπάσματα πηγής και ερωτήματα ως αριθμητικά διανύσματα για ανάκτηση γενικής χρήσης και πολυγλωσσική ανάκτηση. Τα δύο διακριτικά χαρακτηριστικά του είναι ο σχεδιασμός μοντέλου μείγματος ειδικών και ο κοινός χώρος embeddings που χρησιμοποιούν τα voyage-4-large, voyage-4, voyage-4-lite και voyage-4-nano.

Κοινός χώρος: χωριστές επιλογές corpus και ερωτήματος

Ο κατασκευαστής περιγράφει ασύμμετρη ανάκτηση: τα έγγραφα μπορούν να αποκτούν embeddings με voyage-4-large ενώ διαφορετικό μοντέλο της οικογένειας Voyage 4 προετοιμάζει τα διανύσματα ερωτημάτων. Για παράδειγμα, ένα corpus που αναπαρίσταται από Large μπορεί να αναζητηθεί με ερωτήματα voyage-4. Αυτό επιτρέπει στις δύο πλευρές αναζήτησης να έχουν διαφορετικές επιλογές μοντέλου, παραμένοντας στον τεκμηριωμένο συμβατό χώρο.

Μια πρακτική συλλογή μπορεί επομένως να χρησιμοποιεί Large για προετοιμασία σταθερών αποσπασμάτων εγγράφων και να επιλέγει ανεξάρτητα μοντέλο στην πλευρά ερωτήματος. Τα embeddings εγγράφων δημιουργούνται όταν κατασκευάζεται ή ενημερώνεται το corpus, ενώ τα ερωτήματα διανυσματοποιούνται καθώς οι χρήστες αναζητούν. Η ανακοίνωση της οικογένειας περιγράφει αλλαγή μοντέλου ερωτήματος μέσα στη συμβατή οικογένεια χωρίς εκ νέου διανυσματοποίηση του corpus εγγράφων αποκλειστικά για αυτή την αλλαγή. Κρατήστε τα συγκρινόμενα διανύσματα σε ίδιες διαστάσεις και αναπαραστάσεις που το σύστημα αναζήτησης μπορεί να ερμηνεύει μαζί.

Σχεδιασμός embeddings με μείγμα ειδικών

Μια πυκνή στρώση feed-forward επεξεργάζεται κάθε token με ολόκληρο το σύνολο παραμέτρων της. Η προσέγγιση MoE που περιγράφεται για το voyage-4-large χρησιμοποιεί δρομολογητή και δίκτυα feed-forward ειδικών, επιλέγοντας τους ειδικούς που επεξεργάζονται κάθε token. Αυτό διαχωρίζει τη συνολική χωρητικότητα μοντέλου από τις ενεργές παραμέτρους για συγκεκριμένο token. Η Voyage αναφέρει αναλογία ενεργοποίησης 1/10 για τον σχεδιασμό MoE του μοντέλου, με δρομολόγηση top-k.

Η τεχνική εξήγηση του κατασκευαστή περιγράφει επίσης δύο επιλογές ανάπτυξης. Η χωρητικότητα ειδικών επηρεάζει αν τα πλεονάζοντα tokens παρακάμπτουν μια στρώση ειδικών μέσω υπολειμματικής διαδρομής· η ομάδα επέλεξε τον μεγαλύτερο εφικτό συντελεστή χωρητικότητας για να αποφύγει απώλεια ποιότητας ανάκτησης. Στο τελικό στάδιο εκπαίδευσης, οι παράμετροι δρομολογητή παγώνουν πριν τη συγχώνευση μοντέλων, ώστε η παρεμβολή των μοντέλων πηγής να μην αλλάζει την εκπαιδευμένη δρομολόγηση επιλογής ειδικών. Αυτά είναι χαρακτηριστικά προετοιμασίας μοντέλου, διακριτά από τις ρυθμίσεις μήκους κειμένου ή περικοπής που χρησιμοποιούνται κατά την προετοιμασία εισόδου.

Διαστάσεις και αναπαράσταση εξόδου

Ο επίσημος πίνακας μοντέλων ορίζει παράθυρο συμφραζομένων 32.000 tokens και επιλέξιμα embeddings 256, 512, 1024 και 2048 διαστάσεων, με προεπιλογή 1024. Η οικογένεια χρησιμοποιεί μάθηση Matryoshka για εμφωλευμένα μεγέθη αναπαράστασης και υποστηρίζει επιλογές κβαντισμού: κινητή υποδιαστολή 32 bits, προσημασμένους ή μη προσημασμένους ακεραίους 8 bits και συσκευασμένη δυαδική έξοδο.

Με δυαδική έξοδο, το μήκος της επιστρεφόμενης λίστας bytes είναι το ένα όγδοο της επιλεγμένης διάστασης, επειδή κάθε byte περιέχει οκτώ bits embedding. Διατηρήστε τη διάσταση και τον τύπο δεδομένων μαζί με το ευρετήριο και χρησιμοποιήστε μέθοδο σύγκρισης που υποστηρίζει αυτή την αναπαράσταση. Ένα μικρότερο ή συμπιεσμένο διάνυσμα αλλάζει την αναπαράσταση που χρησιμοποιείται για αναζήτηση· αξιολογήστε τα σχετικά αποσπάσματα που επιστρέφονται σε πραγματικά ερωτήματα πριν το επιλέξετε για συλλογή.

Προετοιμάστε εισόδους εγγράφου και ερωτήματος

Η Voyage συνιστά τον ρόλο document για αποσπάσματα του corpus και τον ρόλο query για τη διατύπωση αναζήτησης. Η επιλογή ρόλου προσθέτει την αντίστοιχη οδηγία ανάκτησης πριν τη δημιουργία embedding. Διατηρήστε τη χρήσιμη επικεφαλίδα, τις συνθήκες και τη θέση πηγής του αποσπάσματος και έπειτα αποθηκεύστε το επιστρεφόμενο διάνυσμα με το αρχικό κείμενο και σταθερό αναγνωριστικό.

Για συλλογή τεχνικής γνώσης, ένα ερώτημα για τρόπο αστοχίας πρέπει να οδηγεί στο απόσπασμα που περιγράφει αυτόν τον τρόπο και τις σχετικές συνθήκες του. Για συλλογή εγγράφων σε πολλές γλώσσες, κρατήστε τη γλώσσα πηγής και αξιολογήστε τα ερωτήματα και την ορολογία με τα οποία θα αναζητούν οι χρήστες. Η έκδοση καλύπτει υλικό ανάκτησης που περιλαμβάνει τεχνικά έγγραφα, συνομιλίες, μεγάλα έγγραφα, κώδικα, νομικά, χρηματοοικονομικά και κείμενο ιστού. Το embedding εντοπίζει υποψήφιο υλικό· μεταγενέστερος reranker ή στάδιο απάντησης χρησιμοποιεί το αρχικό κείμενο.

Όρια συμφραζομένων, παρτίδων και περικοπής

Ο τρέχων οδηγός του κατασκευαστή επιτρέπει έως 1000 συμβολοσειρές και 120.000 συνολικά tokens εισόδου σε αίτημα voyage-4-large. Αυτό διαφέρει από το όριο παρτίδας που αναφέρεται για voyage-4, ενώ και τα δύο έχουν παράθυρο 32.000 tokens ανά κείμενο. Η προεπιλεγμένη περικοπή συντομεύει υπερβολικά μεγάλη είσοδο για να χωρέσει· η απενεργοποίηση περικοπής επιστρέφει σφάλμα για υπερβολικά μεγάλο κείμενο.

Επιλέξτε συνειδητά όρια αποσπασμάτων που περιέχουν απαντήσεις ώστε μια μεγάλη πηγή να μη χάνει σχετική επιφύλαξη σε περικομμένη ουρά. Κρατήστε τη συσχέτιση πηγής κατά την επιστροφή αποτελεσμάτων αναζήτησης και εξετάστε το πραγματικό υποψήφιο κείμενο αντί να θεωρείτε τη διανυσματική εγγύτητα επαλήθευση του περιεχομένου του. Η συμβατότητα κοινού χώρου ισχύει για την τεκμηριωμένη οικογένεια κειμένου Voyage 4· η συμφραστική επεξεργασία ομάδων τμημάτων, τα embeddings εικόνας/βίντεο και οι μεταγενέστερες εκδόσεις μοντέλων παραμένουν δικές τους, ειδικές για κάθε μοντέλο, ροές.