VoyageAI by MongoDB: voyage-4

Το voyage-4 είναι το μοντέλο embeddings κειμένου μεσαίου μεγέθους της Voyage AI στην οικογένεια Voyage 4. Μετατρέπει το κείμενο ερωτήματος και εγγράφου σε αριθμητικά διανύσματα για ανάκτηση γενικής χρήσης και πολυγλωσσική ανάκτηση. Η καθοριστική δυνατότητα της οικογένειας είναι κοινός χώρος embeddings: τα voyage-4, voyage-4-large, voyage-4-lite και voyage-4-nano παράγουν συμβατές αναπαραστάσεις, επιτρέποντας στις πλευρές ερωτήματος και εγγράφου μιας εργασίας αναζήτησης να χρησιμοποιούν διαφορετικά μοντέλα αυτής της οικογένειας.

Κοινός χώρος και ασύμμετρη ανάκτηση

Ο κατασκευαστής ονομάζει ασύμμετρη ανάκτηση τη χρήση διαφορετικών μοντέλων ερωτήματος και corpus. Ένα τεκμηριωμένο μοτίβο είναι η προετοιμασία του corpus με voyage-4-large και η αναζήτησή του με embeddings ερωτημάτων voyage-4. Τα embeddings του corpus δημιουργούνται μία φορά ή όταν αλλάζει το υλικό πηγής του, ενώ τα διανύσματα ερωτημάτων δημιουργούνται καθώς φτάνουν αναζητήσεις. Ο κοινός χώρος επιτρέπει αλλαγή επιλογής μοντέλου στην πλευρά ερωτήματος μέσα στην οικογένεια χωρίς απαίτηση εκ νέου embeddings του corpus αποκλειστικά για αυτή την αλλαγή.

Κρατήστε τη διάσταση εξόδου και την αναπαράσταση συμβατές μεταξύ συγκρινόμενων διανυσμάτων. Η δήλωση κοινού χώρου αφορά τα ονομασμένα μοντέλα κειμένου Voyage 4· δεν τεκμηριώνεται απλώς επειδή δύο άσχετα μοντέλα επιστρέφουν πίνακες ίδιου μήκους. Μια πρακτική εργασία μπορεί επομένως να χρησιμοποιεί voyage-4 και στις δύο πλευρές αναζήτησης ή να χρησιμοποιεί τα διανύσματα ερωτημάτων του με υπάρχον ευρετήριο εγγράφων voyage-4-large όταν ταιριάζουν οι ρυθμίσεις αναπαράστασής τους.

Ρόλοι ερωτήματος και εγγράφου

Για ανάκτηση, η Voyage συνιστά προσδιορισμό του κειμένου εισόδου ως ερωτήματος ή εγγράφου. Η επιλογή ρόλου εισόδου παρέχει την αντίστοιχη οδηγία ανάκτησης πριν τη διανυσματοποίηση. Προετοιμάστε αποσπάσματα του corpus ως έγγραφα και τη διατύπωση αναζήτησης του χρήστη ως ερώτημα, κρατώντας το πραγματικό κείμενο πηγής και τα αναγνωριστικά μαζί με κάθε αποθηκευμένο διάνυσμα.

Για παράδειγμα, μια συλλογή αναζήτησης γνώσης μπορεί να ευρετηριάζει τεχνικές οδηγίες και επεξηγήσεις προϊόντων. Ένα ερώτημα για το τι συμβαίνει μετά από αποτυχημένη εισαγωγή πρέπει να επιστρέφει το απόσπασμα πηγής που περιγράφει αυτή τη συμπεριφορά. Διατηρήστε τις επικεφαλίδες, τις σχετικές συνθήκες και τη θέση πηγής μαζί με το απόσπασμα ώστε το αποτέλεσμα αναζήτησης να εξετάζεται ή να χρησιμοποιείται από μεταγενέστερο στάδιο απάντησης RAG. Το embedding είναι η αριθμητική αναπαράσταση ανάκτησης· το υποκείμενο απόσπασμα αποτελεί την τεκμηρίωση που χρησιμοποιείται σε εκείνο το μεταγενέστερο στάδιο.

Διαστάσεις και τύποι δεδομένων εξόδου

Το τεκμηριωμένο παράθυρο συμφραζομένων ανά κείμενο είναι 32.000 tokens. Οι επιλέξιμες διαστάσεις είναι 256, 512, 1024 και 2048, με προεπιλογή 1024. Η μάθηση Matryoshka παρέχει αυτά τα εμφωλευμένα μεγέθη αναπαράστασης. Η έξοδος μπορεί να χρησιμοποιεί κινητή υποδιαστολή 32 bits, προσημασμένους ή μη προσημασμένους ακεραίους 8 bits ή συσκευασμένες δυαδικές τιμές, χάρη στην προετοιμασία της οικογένειας που λαμβάνει υπόψη τον κβαντισμό.

Με συσκευασμένη δυαδική έξοδο, κάθε επιστρεφόμενο byte αποθηκεύει οκτώ bits embedding, επομένως το μήκος λίστας bytes είναι το ένα όγδοο της επιλεγμένης διάστασης. Το πλήθος bytes και η διάσταση embedding έχουν διαφορετικά νοήματα. Επιλέξτε την αναπαράσταση που μπορεί να ερμηνεύσει το ευρετήριο αναζήτησής σας και εξετάστε τη συνάφεια υποψηφίων στα ερωτήματα και στις γλώσσες που πράγματι χρησιμοποιεί η συλλογή πριν επιλέξετε συμπιεσμένη διαμόρφωση.

Μήκος εισόδου, παρτίδες και περικοπή

Ο τρέχων οδηγός embeddings κειμένου του κατασκευαστή επιτρέπει έως 1000 συμβολοσειρές και 320.000 συνολικά tokens σε αίτημα voyage-4. Το όριο παρτίδας είναι χωριστό από το παράθυρο 32.000 tokens για κάθε είσοδο. Η περικοπή είναι ενεργή από προεπιλογή: το υπερβολικά μεγάλο κείμενο συντομεύεται για να χωρέσει. Αν η περικοπή απενεργοποιηθεί, ένα υπερβολικά μεγάλο στοιχείο παράγει σφάλμα.

Για μια μεγάλη αναφορά ή απομαγνητοφώνηση, προετοιμάστε συνειδητά αποσπάσματα που περιέχουν απαντήσεις αντί να βασίζεστε σε κόψιμο στο όριο εισόδου. Κρατήστε κάθε απόσπασμα συνδεδεμένο με το γονικό έγγραφό του και την έκδοση πηγής. Οι συνηθισμένες είσοδοι embeddings voyage-4 είναι μεμονωμένα κείμενα· η συμφραστική επεξεργασία ομάδων τμημάτων ανήκει στα χωριστά τεκμηριωμένα μοντέλα συμφραστικών embeddings.

Χρησιμοποιήστε το αποτέλεσμα ανάκτησης

Αποθηκεύστε τα διανύσματα με το κείμενο αποσπάσματος και σταθερά αναγνωριστικά πηγής, συγκρίνετε κάθε διάνυσμα ερωτήματος με τα συμβατά διανύσματα εγγράφων και επιστρέψτε υποψήφια αποσπάσματα. Η έκδοση της οικογένειας αξιολογεί ανάκτηση σε υλικό που περιλαμβάνει τεχνικά έγγραφα, συνομιλίες, μεγάλα έγγραφα, κώδικα, νομικά, χρηματοοικονομικά και κείμενο ιστού. Ένας χωριστός reranker μπορεί να βελτιώνει τους υποψηφίους και μεταγενέστερο στάδιο απάντησης μπορεί να χρησιμοποιεί το κείμενό τους. Αξιολογήστε αυτά τα επιστρεφόμενα αποσπάσματα ως προς την εργασία· η συμβατότητα κοινού χώρου επιτρέπει τον συνδυασμό μοντέλων, ενώ η χρησιμότητα ενός αποτελέσματος εξακολουθεί να εξαρτάται από το υλικό πηγής και το ερώτημα.