Google: Gemini Embedding 2

Το Gemini Embedding 2 είναι το πολυτροπικό μοντέλο embeddings της Google για αριθμητική αναπαράσταση κειμένου, εικόνων, βίντεο, ήχου και PDF. Αντιστοιχίζει τους διαφορετικούς τύπους μέσων σε κοινό χώρο ώστε μια εφαρμογή να συγκρίνει νόημα μεταξύ τους. Το αποτέλεσμα είναι διάνυσμα αριθμών, χρήσιμο για σημασιολογική αναζήτηση, ανάκτηση εγγράφων, συστάσεις, ταξινόμηση ή ομαδοποίηση· δεν είναι γραπτή απάντηση ή παραγόμενο αρχείο μέσων. Η Google τεκμηριώνει σημασιολογική κάλυψη σε περισσότερες από 100 γλώσσες.

Για βάση γνώσης, δημιουργήστε διανύσματα για τα αποσπάσματα πηγής, συγκρίνετε ερώτημα χρήστη με αυτά και ανακτήστε το σχετικό υλικό. Ένα χωριστό μοντέλο κειμένου μπορεί κατόπιν να συνθέτει απάντηση χρησιμοποιώντας αυτές τις πηγές. Για συλλογή μέσων, μια κειμενική περιγραφή μπορεί να αναζητά σχετικές εικόνες ή βίντεο· μια εικόνα μπορεί επίσης να παρέχει το ερώτημα. Διατηρήστε τη σύνδεση κάθε διανύσματος με το αρχικό περιεχόμενο, συμπεριλαμβανομένης αναφοράς σελίδας ή αποσπάσματος, ώστε το ανακτημένο αποτέλεσμα να εξετάζεται και να εμφανίζεται στο αρχικό πλαίσιό του.

Το συνολικό όριο εισόδου είναι 8192 tokens. Ο οδηγός του σταθερού μοντέλου επιτρέπει έως έξι εικόνες PNG ή JPEG, έως 180 δευτερόλεπτα ήχου MP3 ή WAV και έως 120 δευτερόλεπτα βίντεο MP4 ή MOV. Οι τεκμηριωμένοι codecs βίντεο είναι H264, H265, AV1 και VP9. Η επεξεργασία βίντεο χρησιμοποιεί το πολύ 32 καρέ: αποσπάσματα έως 32 δευτερόλεπτα δειγματοληπτούνται με ένα καρέ ανά δευτερόλεπτο, ενώ μεγαλύτερα αποσπάσματα δειγματοληπτούνται ομοιόμορφα σε 32 καρέ. Το ηχητικό κανάλι ενός βίντεο δεν επεξεργάζεται μέσα σε εκείνη την είσοδο βίντεο· δημιουργήστε embedding του ήχου χωριστά όταν έχει σημασία για την ανάκτηση.

Η είσοδος PDF δέχεται ένα αρχείο με το πολύ έξι σελίδες. Η Google συνιστά μία σελίδα ανά PDF για την καλύτερη ποιότητα. Διαιρέστε μεγαλύτερη πηγή σε ουσιαστικές σελίδες ή ενότητες και κρατήστε τη σχέση τους με το αρχικό έγγραφο. Επιλέξτε απόσπασμα που αναπαριστά αυτό που πρέπει να είναι ανακτήσιμο αντί να συνδυάζετε άσχετα υλικά μόνο επειδή χωρούν στο όριο. Το κοινό όριο tokens εξακολουθεί να ισχύει για αίτημα μεικτών μέσων. Κάθε σελίδα PDF καταναλώνει 258 οπτικά tokens επιπλέον των tokens του εξαγόμενου κειμένου της. Στην τεκμηριωμένη ροή της Google, περιεχόμενο που υπερβαίνει το κοινό όριο 8192 tokens περικόπτεται χωρίς σφάλμα.

Η διάσταση εξόδου είναι ευέλικτη από 128 έως 3072, με προεπιλογή 3072 και προτεινόμενα μεγέθη 768, 1536 και 3072. Το μοντέλο χρησιμοποιεί Matryoshka Representation Learning, επομένως προθέματα του διανύσματος παραμένουν χρήσιμα σε μικρότερες διαστάσεις. Ο οδηγός τεκμηριώνει αυτόματη κανονικοποίηση τόσο για προεπιλεγμένα όσο και για συντομευμένα διανύσματα. Επιλέξτε συνεπή διάσταση για τις εγγραφές και τα ερωτήματα που συγκρίνει η εφαρμογή σας· το ζητούμενο μέγεθος αλλάζει την αριθμητική αναπαράσταση, όχι το ίδιο το περιεχόμενο πηγής.

Για εργασίες μόνο κειμένου, συμπεριλάβετε τον σκοπό στο κείμενο αντί να χρησιμοποιείτε το παλαιότερο πεδίο task_type. Η Google διακρίνει την ασύμμετρη ανάκτηση από τη συμμετρική σύγκριση. Ένα ερώτημα αναζήτησης χρησιμοποιεί «task: search result | query: {content}», ενώ ένα έγγραφο πηγής χρησιμοποιεί «title: {title} | text: {content}»· χρησιμοποιήστε «title: none» αν δεν έχει τίτλο. Οι εργασίες ερωτήματος-απάντησης, ελέγχου γεγονότων και ανάκτησης κώδικα έχουν δικά τους προθέματα ερωτήματος. Για ταξινόμηση, ομαδοποίηση ή ομοιότητα προτάσεων, χρησιμοποιήστε την ίδια μορφή εργασίας με συνέπεια και στις δύο πλευρές. Ο οδηγός γενικά αποθαρρύνει την προσθήκη προθέματος εργασίας στο κειμενικό μέρος συνδυασμένης πολυτροπικής αναπαράστασης.

Η δομή εισόδου καθορίζει αν το αποτέλεσμα αναπαριστά ένα συνδυασμένο αντικείμενο ή χωριστά στοιχεία. Πολλά μέρη που παρέχονται μαζί δημιουργούν συγκεντρωτικό embedding· χωριστά αντικείμενα Content δημιουργούν χωριστά embeddings για κάθε εγγραφή. Για ανάρτηση που περιέχει κείμενο και εικόνα, μια συνδυασμένη αναπαράσταση μπορεί να αποτυπώνει τη σχέση τους. Για ανεξάρτητα αναζητήσιμες εγγραφές, κρατήστε τις χωριστές. Αυτή η επιλογή επηρεάζει τον βαθμό ανάλυσης ανάκτησης: ένα διάνυσμα για ολόκληρη ανάρτηση διαφέρει από ένα για κάθε απόσπασμα ή εικόνα.

Ο οδηγός δηλώνει ότι διανύσματα από Gemini Embedding 001 και Gemini Embedding 2 καταλαμβάνουν ασύμβατους χώρους και δεν μπορούν να συγκριθούν απευθείας. Μια συλλογή που μεταφέρεται από το παλαιότερο μοντέλο χρειάζεται εκ νέου embeddings για τον νέο χώρο. Κρατήστε την επιλογή μοντέλου και τις διαστάσεις συνεπείς με τα διανύσματα που συγκρίνονται και διατηρήστε το αρχικό κείμενο και τα μέσα χωριστά από το αριθμητικό ευρετήριο. Η ομοιότητα embedding είναι σήμα ανάκτησης αντί για πραγματολογική εξήγηση του γιατί ένα έγγραφο απαντά στο ερώτημα χρήστη.

Για πρακτικό κατάλογο, δημιουργήστε ένα συνδυασμένο embedding της φωτογραφίας προϊόντος και της εγκεκριμένης περιγραφής του όταν το ζεύγος πρέπει να ανακτάται ως ένα αντικείμενο. Για συλλογή εγγράφων, δημιουργήστε embeddings εστιασμένων αποσπασμάτων και συγκρίνετέ τα με ερώτημα διαμορφωμένο βάσει σκοπού, έπειτα παρουσιάστε τα αποσπάσματα πηγής δίπλα στο αποτέλεσμα αναζήτησης. Για ήχο ή βίντεο, επιλέξτε το επεισόδιο που περιγράφει το αναζητήσιμο γεγονός και κρατήστε το αρχικό χρονικό διάστημά του. Το χρήσιμο παραδοτέο είναι αριθμητική αναπαράσταση συνδεδεμένη με στοιχεία πηγής για το επόμενο βήμα αναζήτησης ή ανάλυσης της εφαρμογής.