Voyage AI: Voyage 3.5 Lite

Το Voyage 3.5 Lite μετατρέπει κείμενο σε διανυσματικές αναπαραστάσεις για σημασιολογική ανάκτηση. Η Voyage AI περιγράφει αυτήν την έκδοση ως βελτιστοποιημένη ως προς την καθυστέρηση και το κόστος, καθιστώντας την υποψήφια για εμπειρίες αναζήτησης που δημιουργούν συχνά διανύσματα εισερχόμενων ερωτημάτων ή διατηρούν μεγάλη συλλογή αναζητήσιμων αποσπασμάτων. Η έξοδος είναι αριθμητική αναπαράσταση του δοσμένου κειμένου, την οποία μια εφαρμογή ανάκτησης συγκρίνει με διανύσματα αποθηκευμένα για το αρχικό υλικό της.

Ξεκινήστε με συλλογή της οποίας τα όρια ταιριάζουν με την εργασία του χρήστη. Για ένα κέντρο βοήθειας, ένα απόσπασμα μπορεί να εξηγεί μια διαδικασία και τις προϋποθέσεις της. Για ένα αρχείο συζητήσεων, διατηρήστε αρκετό μέρος της αλληλουχίας απαντήσεων για να προσδιορίζεται σε τι απαντά η συγκεκριμένη απάντηση. Ένα αποτέλεσμα πρέπει να οδηγεί σε ευανάγνωστο τεκμήριο, επομένως αποθηκεύστε το αρχικό κείμενο, έναν σταθερό σύνδεσμο πηγής και τα μεταδεδομένα εγγράφου μαζί με κάθε διανυσματική αναπαράσταση.

Γράψτε δοκιμαστικά ερωτήματα όπως θα τα έθεταν οι χρήστες. Το «Πού αλλάζω τη διεύθυνση σε ένα τιμολόγιο;» είναι πιο χρήσιμος έλεγχος αναζήτησης από την αντιγραφή της σχετικής επικεφαλίδας άρθρου. Συμπεριλάβετε σύντομα ερωτήματα, παραφράσεις, συντομογραφίες του πεδίου και περιπτώσεις που αναφέρουν πολλές έννοιες. Ελέγξτε τα επιστρεφόμενα αποσπάσματα και προσδιορίστε αν ένα αποτέλεσμα που δεν βρέθηκε οφείλεται σε περιεχόμενο που λείπει από την πηγή, κακά όρια αποσπασμάτων ή επιλογή της ανάκτησης.

Ο κατασκευαστής τεκμηριώνει παράθυρο συμφραζομένων 32.000 tokens. Αυτή η χωρητικότητα επιτρέπει εκτενείς εισόδους κειμένου, ενώ το μήκος αποσπάσματος παραμένει σχεδιαστική επιλογή για την εμπειρία αναζήτησης. Διατηρήστε μια συνοπτική απάντηση μαζί με τις αναγκαίες συνθήκες· αποφύγετε να αποκόπτετε έναν ορισμό από τον όρο που εξηγεί. Εξαγάγετε ευανάγνωστο κείμενο από την πηγή και αφαιρέστε στοιχεία πλοήγησης που επαναλαμβάνονται σε κάθε σελίδα όταν κρύβουν τις πληροφορίες που θέλει ο χρήστης.

Το Voyage 3.5 Lite υποστηρίζει 2.048, 1.024, 512 και 256 διαστάσεις. Οι αναπαραστάσεις κινητής υποδιαστολής, ακέραιων οκτώ bit και οι δυαδικές αναπαραστάσεις παρέχουν πρόσθετες επιλογές για το ευρετήριο διανυσμάτων. Δοκιμάστε μια μικρότερη ή κβαντισμένη αναπαράσταση με τα ίδια ερωτήματα και σώμα κειμένων που χρησιμοποιήθηκαν για τη βάση σύγκρισης πλήρους ακρίβειας. Καταγράψτε το επιλεγμένο μοντέλο, τη διάσταση και τον τύπο δεδομένων μαζί με το ευρετήριο, ώστε τα διανύσματα ερωτημάτων να χρησιμοποιούν τις αντίστοιχες ρυθμίσεις.

Στη ροή ανάκτησης του κατασκευαστή, προσδιορίστε τα αποσπάσματα του ευρετηρίου ως έγγραφα και τις εισερχόμενες αναζητήσεις ως ερωτήματα. Διατηρήστε την αντιστοίχιση κάθε επιστρεφόμενου διανύσματος με το κείμενο εισόδου του κατά την επεξεργασία πολλών αποσπασμάτων μαζί. Μια επιτυχημένη λειτουργία διανυσματικής αναπαράστασης παρέχει διανύσματα· η εφαρμογή εξακολουθεί να χρειάζεται να τα τοποθετήσει στις σωστές εγγραφές και να εμφανίσει το αρχικό απόσπασμα όταν ο χρήστης ανοίγει ένα αποτέλεσμα.

Χρησιμοποιήστε αυτήν την έκδοση για μια αναζητήσιμη συλλογή υποστήριξης, εργαλείο εντοπισμού εγγράφων ή στάδιο ανάκτησης ενός βοηθού. Για πολυγλωσσικό υλικό, αξιολογήστε τους γλωσσικούς συνδυασμούς που υπάρχουν στη δική σας συλλογή αντί να βασίζεστε σε μία μόνο δοκιμή στα αγγλικά. Διατηρήστε διαθέσιμα τα δικαιώματα και τα μεταδεδομένα γλωσσικής παραλλαγής στην εφαρμογή, ώστε μια σχετική αντιστοίχιση να μπορεί να φιλτραριστεί και να εμφανιστεί στο σωστό πλαίσιο.

Για συλλογές που μεγαλώνουν, ενημερώστε τα διανύσματα των τροποποιημένων αποσπασμάτων μαζί με τις εκδόσεις των πηγών τους. Διατηρήστε ένα σύνολο πραγματικών ερωτημάτων που περιλαμβάνει εύκολες αντιστοιχίσεις, δύσκολες παραφράσεις και παρόμοια έγγραφα με διαφορετικές απαντήσεις. Μετρήστε την ποιότητα ανάκτησης και τη συμπεριφορά ολόκληρης της ροής αναζήτησης υπό τον αναμενόμενο φόρτο εργασίας. Η τοποθέτηση της έκδοσης Lite από τον κατασκευαστή βοηθά στην επιλογή υποψηφίου· η τελική διάσταση, η στρατηγική αποσπασμάτων και οι ρυθμίσεις ευρετηρίου προκύπτουν από τα αποτελέσματα στο δικό σας υλικό.