NVIDIA: Llama Nemotron Embed VL 1B V2 (free)

Το Llama Nemotron Embed VL 1B V2 είναι το μοντέλο embeddings της NVIDIA για ανάκτηση σε πολυτροπικές εφαρμογές ερωτήματος-απάντησης. Μπορεί να αναπαριστά ένα έγγραφο ως κείμενο, εικόνα ή συνδυασμό εικόνας και κειμένου. Ένα ερώτημα κειμένου μπορεί κατόπιν να χρησιμοποιείται για ανάκτηση σχετικών εγγράφων. Το δημοσιευμένο προφίλ του υποστηρίζει εικόνες εγγράφων που περιέχουν κείμενο, πίνακες, γραφήματα και πληροφοριακά γραφήματα και επιστρέφει διανύσματα embeddings.

Προετοιμάστε αναγνωρίσιμα στοιχεία εγγράφων

Κρατήστε κάθε είσοδο συνδεδεμένη με το έγγραφο, τη σελίδα ή το απόσπασμα πηγής που αναπαριστά. Για οπτική σελίδα, διατηρήστε την εικόνα και κάθε συνοδευτικό κείμενο που ανήκει σε αυτή. Για απόσπασμα κειμένου, κρατήστε τον τίτλο του ή την ετικέτα ενότητας όταν βοηθά στην ερμηνεία μεταγενέστερης αντιστοίχισης. Αυτά τα αναγνωριστικά πηγής κάνουν ένα ανακτημένο στοιχείο χρήσιμο ως τεκμηρίωση και όχι μόνο ως αριθμητικό αποτέλεσμα ομοιότητας.

Επιλέξτε τα όρια στοιχείων γύρω από το υλικό που χρειάζεται να βρει ο χρήστης. Ένα γράφημα και η εξήγησή του μπορούν να παραμένουν μαζί· άσχετες σελίδες πρέπει να κρατούν τις χωριστές ταυτότητές τους. Ελέγξτε αν η είσοδος είναι ευανάγνωστη και αν το κείμενο ή η εικόνα περιέχει την πληροφορία που προορίζεται να ανακτήσει το επιδιωκόμενο ερώτημα.

Ερωτήματα κειμένου και διανυσματική ανάκτηση

Ο ρόλος του μοντέλου είναι να παράγει διανύσματα για ανάκτηση, με το κείμενο ως τη μορφή ερωτήματος που περιγράφει το προφίλ. Κρατήστε το ερώτημα και τα ευρετηριασμένα στοιχεία σε συμβατή ρύθμιση embeddings. Η εφαρμογή αποθηκεύει τα διανύσματα, τα συγκρίνει και επιστρέφει τα αντίστοιχα στοιχεία πηγής. Το ανακτημένο έγγραφο παραμένει το υλικό προς εξέταση ή μεταφορά σε μεταγενέστερο βήμα παραγωγής απάντησης.

Ένα χρήσιμο σύνολο δοκιμών περιλαμβάνει τα ερωτήματα που πράγματι θέτουν οι χρήστες και τις σελίδες που πρέπει να βρίσκονται. Ελέγξτε λανθασμένες ή ελλείπουσες αντιστοιχίσεις ως προς το περιεχόμενο πηγής και τα όρια στοιχείων. Κρατήστε το πλήρες αναγνωριστικό εγγράφου μαζί με κάθε επιλεγμένο απόσπασμα ή εικόνα ώστε το αποτέλεσμα να ελέγχεται μέσα στα συμφραζόμενά του.

Όριο εισόδου και παραδοτέο αναζήτησης

Το τεκμηριωμένο φιλοξενούμενο προφίλ αναφέρει έως 131.072 tokens ανά είσοδο. Διαιρέστε μεγαλύτερα σύνολα πηγών σε χωριστές εισόδους με ετικέτες και διατηρήστε τις σχέσεις τους. Η διανυσματική έξοδος του προφίλ δεν είναι παραγόμενη απάντηση σε πεζό κείμενο ή απομαγνητοφώνηση· μεταγενέστερο στάδιο εφαρμογής μπορεί να χρησιμοποιεί τα ανακτημένα στοιχεία για να απαντήσει σε ερώτημα.

Ένα ολοκληρωμένο παραδοτέο ανάκτησης ενώνει το ερώτημα, τα επιλεγμένα στοιχεία πηγής και τα αναγνωριστικά τους. Διατηρήστε το μοντέλο embeddings και την προετοιμασία εισόδου που χρησιμοποιούνται σε ένα ευρετήριο ώστε μεταγενέστερες αλλαγές να διακρίνονται από αλλαγές στη συλλογή πηγής.