Voyage AI: Voyage 3 Large

Το Voyage 3 Large είναι μοντέλο διανυσματικών αναπαραστάσεων κειμένου για εντοπισμό σχετικών πληροφοριών σε μια συλλογή εγγράφων. Αναπαριστά κάθε δοσμένο κείμενο ως αριθμητικό διάνυσμα, επιτρέποντας σε μια εφαρμογή να συγκρίνει ένα αίτημα αναζήτησης με αποσπάσματα των οποίων η διατύπωση μπορεί να διαφέρει αλλά το νόημα σχετίζεται. Η Voyage AI τοποθετεί αυτήν την έκδοση στην ανάκτηση πληροφοριών γενικής χρήσης και στην πολυγλωσσική ανάκτηση, καλύπτοντας υλικό όπως τεχνική τεκμηρίωση, συνομιλίες και εκτενή έγγραφα.

Δημιουργήστε την αναζητήσιμη συλλογή από τις πληροφορίες που πράγματι χρειάζεται να ανακτούν οι άνθρωποι. Για μια βάση γνώσης προϊόντος, διατηρήστε την εξήγηση μιας λειτουργίας μαζί με τις προϋποθέσεις και τις σχετικές εξαιρέσεις της. Για πρακτικά συναντήσεων, διατηρήστε ετικέτες ομιλητών και αρκετή περιβάλλουσα συζήτηση ώστε το θέμα να είναι κατανοητό. Χωρίστε μια μεγάλη πηγή σε χρήσιμα όρια και διατηρήστε τον τίτλο πηγής, το αναγνωριστικό εγγράφου και τη θέση αποσπάσματος μαζί με κάθε διάνυσμα.

Προετοιμάστε μια ερώτηση αναζήτησης ως ερώτημα και το υλικό του ευρετηρίου ως έγγραφα. Στη ροή διανυσματικής αναπαράστασης κειμένου του κατασκευαστή, ο τύπος εισόδου δίνει στο μοντέλο τον ρόλο ανάκτησης του κειμένου. Ένα ερώτημα όπως «Πώς μπορεί ένα μέλος να ανακτήσει την πρόσβαση αφού χάσει ένα κλειδί ασφαλείας;» μπορεί έπειτα να συγκριθεί με αποσπάσματα υποστήριξης που περιγράφουν τη διαδικασία ανάκτησης, ακόμη και αν χρησιμοποιούν διαφορετική διατύπωση. Διατηρήστε διαθέσιμο το αρχικό απόσπασμα, ώστε το αποτέλεσμα αναζήτησης να δείχνει τα τεκμήρια πίσω από την αντιστοίχισή του.

Το μοντέλο έχει παράθυρο συμφραζομένων 32.000 tokens. Μια μεγάλη είσοδος μπορεί να διατηρεί ολόκληρη ενότητα, αλλά ένα πλήρες έγγραφο δεν είναι πάντοτε η πιο χρήσιμη μονάδα αναζήτησης. Ένα γενικό διάνυσμα μπορεί να οδηγεί στο σωστό αρχείο αφήνοντας στον αναγνώστη τον εντοπισμό της ακριβούς απάντησης. Επιλέξτε τα όρια αποσπασμάτων γύρω από το αποτέλεσμα που θέλετε να εμφανίσετε και διατηρήστε επικεφαλίδες, διευκρινίσεις και ορισμούς μαζί με το περιεχόμενο που εξηγούν.

Το Voyage 3 Large υποστηρίζει διανύσματα με 2.048, 1.024, 512 ή 256 διαστάσεις. Ο κατασκευαστής τεκμηριώνει επίσης αναπαραστάσεις κινητής υποδιαστολής, προσημασμένες ή μη προσημασμένες αναπαραστάσεις οκτώ bit και δυαδικές αναπαραστάσεις. Αυτές οι επιλογές επιτρέπουν σε ένα σύστημα ανάκτησης να συγκρίνει τη λεπτομέρεια των διανυσμάτων με το μέγεθος του ευρετηρίου και τη συμπεριφορά αναζήτησης. Επιλέξτε τη μορφή που υποστηρίζει το προβλεπόμενο σύστημα αποθήκευσης διανυσμάτων και έπειτα αξιολογήστε την στο πραγματικό σώμα κειμένων και σε αντιπροσωπευτικά ερωτήματα πριν επιλέξετε τις ρυθμίσεις του ευρετηρίου παραγωγής.

Για πολυγλωσσική αναζήτηση, συμπεριλάβετε δοκιμαστικά ερωτήματα στις γλώσσες που χρησιμοποιούν οι χρήστες σας και ελέγξτε τα ανακτημένα αρχικά αποσπάσματα στην αρχική τους γλώσσα. Μια κοινή διεπαφή αναζήτησης μπορεί να εξυπηρετεί πολλές γλωσσικές συλλογές, ενώ τα μεταδεδομένα εγγράφων εξακολουθούν να προσδιορίζουν τη γλωσσική παραλλαγή και την έκδοση της πηγής. Διατηρήστε ουσιαστικά ονόματα, συντομογραφίες και όρους του πεδίου κατά την εξαγωγή, αντί να τους αντικαθιστάτε με γενική σύνοψη πριν από τη διανυσματική αναπαράσταση.

Χρησιμοποιήστε τα διανύσματα για ανάκτηση υποψήφιων αποσπασμάτων για σελίδα αναζήτησης, βοηθό γνώσης ή βήμα επιλογής εγγράφων. Διατηρήστε το ίδιο μοντέλο και τις ίδιες ρυθμίσεις διανυσμάτων για τη συλλογή του ευρετηρίου και τα ερωτήματά της. Κατά την αντικατάσταση μοντέλου διανυσματικών αναπαραστάσεων ή την αλλαγή διαστάσεων διανυσμάτων, αναδημιουργήστε και συγκρίνετε σκόπιμα το επηρεαζόμενο ευρετήριο· το μήκος ενός διανύσματος από μόνο του δεν προσδιορίζει πώς παράχθηκε.

Κρίνετε το αποτέλεσμα βάσει χρήσιμης ανάκτησης: αν εμφανίζεται το σωστό απόσπασμα, αν παρόμοια αλλά παραπλανητικά αποσπάσματα κατατάσσονται ψηλότερα και αν το εμφανιζόμενο απόσπασμα περιέχει την απάντηση. Διατηρήστε ένα μικρό σύνολο πραγματικών ερωτημάτων με αναμενόμενες πηγές, συμπεριλαμβανομένων ασαφών διατυπώσεων και σχεδόν πανομοιότυπων εγγράφων. Η διανυσματική αναπαράσταση παρέχει αναζητήσιμη μορφή· η εφαρμογή διατηρεί το αρχικό κείμενο, τα δικαιώματα και τους συνδέσμους που χρειάζονται για να μετατραπεί μια αντιστοίχιση σε χρηστικό αποτέλεσμα.