NVIDIA: Nemotron 3 Embed 1B (free)

Το Nemotron 3 Embed 1B είναι η οικογένεια embeddings κειμένου της NVIDIA για πολυγλωσσική και διαγλωσσική ανάκτηση και σημασιολογική ομοιότητα. Μετατρέπει ένα ερώτημα ή απόσπασμα σε πυκνό διάνυσμα που ένα σύστημα αναζήτησης μπορεί να συγκρίνει με άλλες αναπαραστάσεις κειμένου. Ο κατασκευαστής αξιολογεί τις τεκμηριωμένες εκδόσεις 1B σε τριάντα τέσσερις ρυθμίσεις γλωσσών και γλωσσικών παραλλαγών, συμπεριλαμβανομένων αγγλικών, αραβικών, κινεζικών, ρωσικών, ιαπωνικών, κορεατικών και Hinglish.

Κωδικοποιητής και αναπαράσταση

Η κάρτα μοντέλου του κατασκευαστή περιγράφει έναν κλαδεμένο, αμφίδρομο transformer που προέρχεται από το Ministral 3. Έχει περίπου 1,14 δισεκατομμύρια παραμέτρους και υπολογίζει μέσο όρο των αναπαραστάσεων σε επίπεδο token για να αποκτήσει ένα embedding ανά κείμενο. Η εγγενής έξοδος είναι διάνυσμα κινητής υποδιαστολής 2048 διαστάσεων. Αυτή είναι αναπαράσταση ανάκτησης αντί για γραπτή απάντηση στο ερώτημα του οποίου δημιουργείται το embedding.

Ο κατασκευαστής υποστηρίζει επίσης τη διατήρηση του πρώτου μέρους αυτής της αναπαράστασης, για παράδειγμα 1024 ή 512 διαστάσεων. Το συντομευμένο διάνυσμα πρέπει να κανονικοποιείται ξανά με L2 μετά τον τεμαχισμό. Κρατήστε το επιλεγμένο μήκος αναπαράστασης και την κανονικοποίηση συνεπή μεταξύ πλευράς ερωτήματος και corpus μιας εργασίας αναζήτησης. Το μήκος ενός διανύσματος και το μήκος ακολουθίας εισόδου είναι χωριστές ιδιότητες.

Προετοιμασία ερωτημάτων και αποσπασμάτων

Η τεκμηριωμένη σύμβαση ανάκτησης χρησιμοποιεί «query:» για ερώτημα και «passage:» για κείμενο εγγράφου. Τα παραδείγματα του παραγωγού εφαρμόζουν αυτούς τους ρόλους πριν την κωδικοποίηση και συγκρίνουν κανονικοποιημένα διανύσματα με εσωτερικό γινόμενο, ισοδύναμο με ομοιότητα συνημιτόνου. Χρησιμοποιήστε την προετοιμασία που αναμένεται από την επιλεγμένη ροή αντί να αναμειγνύετε ακατέργαστη αναπαράσταση corpus με ερώτημα προετοιμασμένο διαφορετικά.

Μια πρακτική συλλογή μπορεί να περιέχει τεχνικές εξηγήσεις, πολιτικές ή τεκμηρίωση σχετική με κώδικα. Ένα ερώτημα για το πώς μια συνάρτηση χειρίζεται συγκεκριμένη περίπτωση πρέπει να ανακτά το απόσπασμα πηγής ή κώδικα που περιγράφει αυτή τη συμπεριφορά. Διατηρήστε τα αναγνωριστικά, τις επικεφαλίδες και τις σχετικές συνθήκες μαζί με το πραγματικό κείμενο αποσπάσματος. Το διάνυσμα κάνει τον υποψήφιο αναζητήσιμο· η διατηρημένη πηγή είναι αυτό που χρησιμοποιεί αναγνώστης ή μεταγενέστερο στάδιο απάντησης RAG.

Μεγαλύτερο υλικό πηγής

Το τεκμηριωμένο μέγιστο μήκος ακολουθίας είναι 32.768 tokens. Επιλέξτε τα όρια αποσπασμάτων συνειδητά ακόμη και όταν το μοντέλο μπορεί να δεχτεί σημαντικό όγκο κειμένου. Μια πλήρης ενότητα μπορεί να διατηρεί ορισμό και τις εξαιρέσεις του· ένα εστιασμένο απόσπασμα μπορεί να κάνει μια συγκεκριμένη απάντηση ευκολότερη στην εξέταση. Είσοδοι πέρα από το παράθυρο του μοντέλου χρειάζονται διαίρεση σε τμήματα ή περικοπή, επομένως η παραλειφθείσα ουρά δεν πρέπει να αντιμετωπίζεται ως αναπαριστώμενο περιεχόμενο.

Κρατήστε κάθε στοιχείο με embedding συνδεδεμένο με το γονικό έγγραφο και την έκδοσή του. Για αναφορά, διατηρήστε τον τίτλο ενότητας και την εξήγηση γύρω από το συμπέρασμα που αφορά το ερώτημα. Για αναζήτηση κώδικα, κρατήστε το όνομα συνάρτησης, τη σχετική διεπαφή και τη συμπεριφορά δίπλα στο απόσπασμα. Αυτό παρέχει συγκεκριμένο παραδοτέο πηγής όταν το στάδιο ανάκτησης επιστρέφει υποψήφιο.

Εκδόσεις οικογένειας και χρήση αποτελέσματος

Η NVIDIA τεκμηριώνει εκδόσεις BF16 και NVFP4 της οικογένειας 1B. Η κάρτα του κβαντισμένου μοντέλου αναφέρει ότι αυτές οι δύο εκδόσεις μοιράζονται χώρο embeddings και συνιστά έλεγχο ποιότητας ανάκτησης σε αντιπροσωπευτικό υλικό κατά την αλλαγή εκδόσεων. Η δηλωμένη κοινή αναπαράσταση είναι δήλωση του κατασκευαστή για εκείνο το ονομασμένο ζεύγος, όχι γενικός κανόνας για κάθε μοντέλο με 2048 τιμές εξόδου.

Το χρήσιμο αποτέλεσμα είναι διάνυσμα ερωτήματος ή ευρετηριασμένη συλλογή πηγής με καταγεγραμμένα το μοντέλο, την επιλογή διάστασης και την προετοιμασία. Επιστρέψτε το υποψήφιο κείμενο με το αναγνωριστικό του και εξετάστε αν παρέχει την απαιτούμενη πληροφορία. Ο κατασκευαστής σημειώνει ρητά ότι μοντέλο ανάκτησης δεν εγγυάται το σωστό απόσπασμα για κάθε ερώτημα· μεταγενέστερο στάδιο επανακατάταξης ή απάντησης εργάζεται με αυτούς τους υποψηφίους ως δική του εργασία.