VoyageAI by MongoDB: voyage-multimodal-3.5

Το voyage-multimodal-3.5 είναι το μοντέλο embeddings της Voyage AI για ανάκτηση μεταξύ κειμένου, εικόνων και βίντεο. Επεξεργάζεται εναλλασσόμενο κείμενο και οπτικό περιεχόμενο μέσω ενός κωδικοποιητή transformer, αναπαριστώντας μια πλήρη πολυτροπική είσοδο σε κοινό διανυσματικό χώρο. Η έκδοση 3.5 προσθέτει ρητή υποστήριξη καρέ βίντεο και ευέλικτες διαστάσεις embeddings.

Διατηρήστε τη σχέση μεταξύ κειμένου και οπτικού υλικού

Προετοιμάστε μια σελίδα ή ενότητα εγγράφου στη μορφή που διατηρεί τη χρήσιμη οπτική πληροφορία της. Μια διαφάνεια που περιέχει γράφημα και σύντομη εξήγηση μπορεί να αναπαρασταθεί με την εικόνα διαφάνειας και το συνοδευτικό κείμενο στην ίδια διατεταγμένη είσοδο. Για συλλογή βασισμένη σε PDF, η τεκμηριωμένη οπτική είσοδος είναι στιγμιότυπο σελίδας ή άλλη αναπαράσταση του εγγράφου ως εικόνας.

Για γράφημα αναφοράς, κρατήστε τον τίτλο, τις ετικέτες αξόνων και το υπόμνημα μέσα στην εικόνα. Επισυνάψτε επεξηγηματικό κείμενο όταν παρέχει τα συμφραζόμενα που χρειάζονται για την ερμηνεία του οπτικού υλικού. Αποθηκεύστε τον αριθμό σελίδας και το αναγνωριστικό πηγής δίπλα στο διάνυσμα που προκύπτει, ώστε ένας ανακτημένος υποψήφιος να ανοίγει τη σχετική σελίδα αντί να επιστρέφει απλώς όνομα εγγράφου.

Η μορφή εισόδου του κατασκευαστή υποστηρίζει ακολουθίες κειμένου, εικόνων και βίντεο. Οι δημοσιευμένες μορφές εικόνας είναι PNG, JPEG, WebP και GIF, με MP4 για βίντεο. Το οπτικό περιεχόμενο μπορεί να αναπαρίσταται μέσω URL ή δεδομένων Base64 στην τεκμηριωμένη συνταγή· χρησιμοποιήστε μία συνεπή μορφή αναπαράστασης μέσα σε ένα αίτημα.

Ανακτήστε σκηνή αντί για ολόκληρο μεγάλο βίντεο

Το μοντέλο αναπαριστά βίντεο ως διατεταγμένη ακολουθία καρέ. Ο κατασκευαστής συνιστά διαίρεση μεγάλου βίντεο σε σχετικές σκηνές, ευθυγράμμιση των ορίων σκηνών με διαθέσιμες χρονικές σημάνσεις απομαγνητοφώνησης και διατήρηση του αντίστοιχου κειμένου απομαγνητοφώνησης. Χαμηλότερη ανάλυση ή μειωμένος ρυθμός καρέ μπορεί να βοηθήσει μια σημασιολογικά συνεχή σκηνή να χωρέσει στο όριο συμφραζομένων της.

Για συλλογή εκπαιδευτικών βίντεο, ένα ερώτημα μπορεί να ζητά τη σκηνή που δείχνει τη ρύθμιση συγκεκριμένου χειριστηρίου. Συνδέστε κάθε ευρετηριασμένη σκηνή με το χρονικό διάστημά της. Επιστρέψτε την αντίστοιχη σκηνή και εξετάστε τα καρέ ή το αρχικό απόσπασμα για την πραγματική ενέργεια αντί να θεωρείτε το ανακτημένο διάνυσμα γραπτή περιγραφή όλων όσων υπάρχουν στην εγγραφή.

Το κείμενο απομαγνητοφώνησης μπορεί να συνεισφέρει όταν προετοιμάζεται ως μέρος της πολυτροπικής εισόδου. Το embedding καρέ βίντεο από μόνο του δεν παρέχει απομαγνητοφώνηση ομιλίας.

Συμφραζόμενα και όρια προετοιμασίας

Το δηλωμένο μήκος συμφραζομένων είναι 32.000 tokens ανά είσοδο. Η Voyage μετρά κάθε 560 pixels εικόνας και κάθε 1120 pixels βίντεο ως ένα token στον δημοσιευμένο υπολογισμό της, επομένως το οπτικό περιεχόμενο μοιράζεται αυτό το όριο με το κείμενο. Τα τεκμηριωμένα όρια περιλαμβάνουν επίσης 16 εκατομμύρια pixels και 20 MB ανά εικόνα και 20 MB ανά βίντεο. Μια λίστα περιέχει το πολύ 1000 εισόδους και 320.000 συνδυασμένα tokens.

Η προεπιλεγμένη ρύθμιση περικοπής κόβει μια υπερβολικά μεγάλη είσοδο· αν αυτό το όριο πέσει μέσα σε εικόνα, απορρίπτεται ολόκληρη η εικόνα. Η προετοιμασία πλήρων σελίδων ή σκηνών μέσα στο όριο διατηρεί επομένως πιο προβλέψιμο περιεχόμενο εισόδου. Η εναλλακτική τεκμηριωμένη ρύθμιση απορρίπτει υπερβολικά μεγάλες εισόδους αντί να τις περικόπτει.

Διαστάσεις διανυσμάτων και ρόλοι ανάκτησης

Η προεπιλεγμένη διάσταση εξόδου είναι 1024, με διαστάσεις 256, 512 και 2048 επίσης τεκμηριωμένες για αυτή την έκδοση. Η ανακοίνωση περιγράφει embeddings Matryoshka και αναπαραστάσεις κινητής υποδιαστολής, προσημασμένων ή μη προσημασμένων ακεραίων 8 bits και δυαδικές αναπαραστάσεις. Κρατήστε την επιλεγμένη διάσταση και αναπαράσταση μαζί με το ευρετήριο.

Η συνταγή ανάκτησης της Voyage διακρίνει εισόδους ερωτήματος και εγγράφου. Ένα ερώτημα μπορεί να είναι κείμενο ή εικόνα και τα ευρετηριασμένα έγγραφα μπορούν να συνδυάζουν κείμενο και οπτικό υλικό. Ένα διάνυσμα αναπαριστά κάθε πλήρη ακολουθία εισόδου· αποθηκεύστε τη συσχέτισή του με τη σελίδα, την εικόνα ή τη σκηνή πηγής, ώστε το καταταγμένο αποτέλεσμα να παραμένει εξετάσιμο.

Χρησιμοποιήστε την επιστρεφόμενη οπτική πηγή

Ένα στάδιο ανάκτησης μπορεί να εντοπίζει σελίδα αναφοράς, πίνακα, διαφάνεια ή σκηνή σχετική με το ερώτημα. Το στάδιο σύνταξης απάντησης ή ανάλυσης διαβάζει κατόπιν αυτό το υλικό πηγής. Για πίνακα, εξετάστε τις πραγματικές επικεφαλίδες και τιμές πριν χρησιμοποιήσετε αποτέλεσμα· για σκηνή, εξετάστε τα σχετικά καρέ και το συνδεδεμένο κείμενο.

Η ουσιαστική διαφορά από το voyage-multimodal-3 είναι η ρητή υποστήριξη βίντεο της έκδοσης 3.5 και οι πρόσθετες επιλογές αναπαράστασης. Αυτές είναι δυνατότητες embeddings για εντοπισμό υλικού πηγής, με αριθμητικά διανύσματα ως έξοδο αντί για παραγόμενες εικόνες, βίντεο ή αφηγηματική απάντηση.