Voyage AI: Voyage Context 3

Το Voyage Context 3 παράγει διανυσματικές αναπαραστάσεις τμημάτων με συμφραζόμενα για ανάκτηση εγγράφων. Κάθε τμήμα λαμβάνει δικό του διάνυσμα, ενώ το μοντέλο εξετάζει επίσης τα άλλα τμήματα που παρέχονται από το ίδιο έγγραφο. Αυτό δίνει σε ένα σύστημα ανάκτησης αναπαράσταση του τοπικού αποσπάσματος μαζί με ευρύτερα συμφραζόμενα εγγράφου, όπως μια οντότητα ή ένα θέμα που εισάγεται αλλού στην πηγή.

Προετοιμάστε κάθε έγγραφο ως διατεταγμένη ακολουθία ευανάγνωστων τμημάτων κειμένου. Διατηρήστε μαζί τα τμήματα ενός εγγράφου και την αρχική σειρά τους. Στη ροή του κατασκευαστή που αξιοποιεί συμφραζόμενα, κάθε εσωτερική ομάδα περιέχει τα τμήματα μίας πηγής και ξεχωριστές ομάδες αναπαριστούν ξεχωριστές πηγές. Αυτή η ομαδοποίηση είναι μέρος του νοήματος της εισόδου: δείχνει στο μοντέλο ποιο περιβάλλον κείμενο ανήκει στο έγγραφο που αναπαρίσταται.

Μια χρήσιμη περίπτωση είναι μια έκθεση της οποίας η αρχή προσδιορίζει την εταιρεία, ενώ μια μεταγενέστερη παράγραφος εξηγεί την ανάπτυξή της. Μια αναζήτηση για την ανάπτυξη αυτής της εταιρείας χρειάζεται τόσο τη συγκεκριμένη παράγραφο όσο και την ταυτότητα του εγγράφου. Διατηρήστε το αρχικό κείμενο του τμήματος και τα μεταδεδομένα του εγγράφου στο οποίο ανήκει μαζί με το παραγόμενο διάνυσμα, ώστε το αποτέλεσμα να εμφανίζει το απόσπασμα και να συνδέει με την πλήρη πηγή.

Η αναφορά του κατασκευαστή τεκμηριώνει έως 120.000 tokens σε ένα αίτημα, με όχι περισσότερες από 1.000 ομάδες εισόδου και 16.000 τμήματα συνολικά. Ο οδηγός του μοντέλου αναφέρει χωριστά παράθυρο 32.000 tokens ανά τμήμα. Διατηρήστε διακριτά αυτά τα εύρη κατά την προετοιμασία υλικού: ένα όριο σε μεμονωμένο τμήμα και ένα όριο στο πλήρες αίτημα περιγράφουν διαφορετικά μεγέθη εισόδου. Ελέγξτε το σύνολο μετά τη διαίρεση της πηγής αντί να θεωρείτε ότι κάθε μεμονωμένο τμήμα μπορεί να φτάνει στο μέγιστό του στο ίδιο αίτημα.

Για ανάκτηση εγγράφων, προσδιορίστε τα ομαδοποιημένα αποσπάσματα ως είσοδο εγγράφου. Προετοιμάστε κάθε ερώτηση αναζήτησης ως δική της ομάδα ερωτήματος. Ο κατασκευαστής συνιστά μη επικαλυπτόμενα τμήματα εγγράφων, επιτρέποντας στην αναπαράσταση με συμφραζόμενα να μεταφέρει περιβάλλουσες πληροφορίες χωρίς επανάληψη κειμένου σε κάθε απόσπασμα. Διατηρήστε την αντιστοιχία μεταξύ ομάδας εγγράφου, θέσης τμήματος και επιστρεφόμενου διανύσματος κατά την εγγραφή του ευρετηρίου.

Το Voyage Context 3 υποστηρίζει 2.048, 1.024, 512 και 256 διαστάσεις, με επιλογές εξόδου κινητής υποδιαστολής, ακέραιων οκτώ bit και δυαδικής μορφής. Επιλέξτε αναπαράσταση ευρετηρίου και αξιολογήστε την με τα ίδια αρχικά έγγραφα και ερωτήματα. Διατηρήστε την επιλεγμένη διάσταση και τον τύπο δεδομένων μαζί με το ευρετήριο, ώστε η αναπαράσταση του ερωτήματος και τα αποθηκευμένα διανύσματα να παραμένουν συνεπή.

Χρησιμοποιήστε τα παραγόμενα διανύσματα σε αναζήτηση αποσπασμάτων, εντοπισμό εγγράφων ή στάδιο ανάκτησης ενός βοηθού που εργάζεται με εκθέσεις, ερευνητικές εργασίες, συμβάσεις ή τεχνικά εγχειρίδια. Ένα αποτέλεσμα μπορεί να προσδιορίζει εστιασμένο απόσπασμα, ενώ ο σύνδεσμος πηγής του παρέχει πρόσβαση σε ορισμούς και διευκρινίσεις αλλού στο έγγραφο. Διατηρήστε εκδόσεις εγγράφων και δικαιώματα ως μεταδεδομένα εφαρμογής μαζί με τα διανύσματα.

Δοκιμάστε ερωτήματα που χρειάζονται τόσο μια τοπική λεπτομέρεια όσο και συμφραζόμενα σε επίπεδο εγγράφου. Συμπεριλάβετε παρόμοια αποσπάσματα από διαφορετικές πηγές, ονομαστικές οντότητες που εισάγονται μόνο στην αρχή και ερωτήματα των οποίων τα τεκμήρια εκτείνονται σε πολλές ενότητες. Εξετάστε αν ανακτάται το αναμενόμενο τμήμα και αν η εφαρμογή παρουσιάζει αρκετό περιβάλλον κείμενο για την ερμηνεία του. Όταν αλλάζει μια πηγή, αναδημιουργήστε σκόπιμα την επηρεαζόμενη ομάδα εγγράφου, ώστε τα τμήματά της με συμφραζόμενα να αντιστοιχούν σε μία συνεκτική έκδοση.