Mistral: Codestral Embed 2505

Το Codestral Embed 2505 είναι το μοντέλο embeddings της Mistral AI εξειδικευμένο στην ανάκτηση κώδικα. Λαμβάνει κείμενο που περιέχει πηγαίο κώδικα ή ερώτημα φυσικής γλώσσας για κώδικα και επιστρέφει αριθμητικά διανύσματα. Ο κατασκευαστής το τοποθετεί για αναζήτηση σε αποθετήρια, ανάκτηση συμφραζομένων για βοηθούς προγραμματισμού, ανάλυση ομοιότητας και διπλοτύπων και ομαδοποίηση κώδικα βάσει λειτουργικότητας ή δομής. Το σταθερό αναγνωριστικό έκδοσής του είναι codestral-embed-2505.

Είσοδος και αναπαράσταση

Μια είσοδος κώδικα μπορεί να είναι συνάρτηση, σχετικό τμήμα πηγαίου κώδικα ή άλλη ουσιαστική μονάδα αποθετηρίου. Ένα ερώτημα φυσικής γλώσσας μπορεί να περιγράφει τη συμπεριφορά που πρέπει να εντοπιστεί αντί να ονομάζει το ακριβές σύμβολο. Το embedding αναπαριστά αυτή την είσοδο για σύγκριση· το μοντέλο δεν παράγει νέα υλοποίηση ούτε εκτελεί τον κώδικα που λαμβάνει.

Η επίσημη έκδοση τεκμηριώνει πλήρη συμφραζόμενα εισόδου 8192 tokens. Για ανάκτηση, ο κατασκευαστής συνιστά τμήματα περίπου 3000 χαρακτήρων με επικάλυψη 1000 χαρακτήρων, σημειώνοντας ότι μεγαλύτερα τμήματα μπορούν να βλάψουν την ανάκτηση. Αυτές είναι συστάσεις προετοιμασίας ανάκτησης και όχι όριο tokens 3000 χαρακτήρων. Κρατήστε το αρχείο, το σύμβολο και τη θέση πηγής συνδεδεμένα με κάθε προετοιμασμένο στοιχείο, ώστε η εφαρμογή να επιστρέφει τον σχετικό κώδικα μετά την αναζήτηση.

Ακρίβεια εξόδου και διαστάσεις

Ο οδηγός embeddings κώδικα τεκμηριώνει τύπους εξόδου float, int8, uint8, binary και ubinary. Το float χρησιμοποιεί τιμές κινητής υποδιαστολής απλής ακρίβειας 32 bits. Το int8 χρησιμοποιεί προσημασμένους ακεραίους 8 bits από -128 έως 127, ενώ το uint8 χρησιμοποιεί μη προσημασμένες τιμές 8 bits από 0 έως 255. Τα binary και ubinary αποθηκεύουν κβαντισμένες τιμές ενός bit σε συσκευασμένα στοιχεία 8 bits, χρησιμοποιώντας αντίστοιχα προσημασμένους ή μη προσημασμένους περιέκτες.

Η αναπαράσταση συσκευασμένων bits αλλάζει το μήκος της επιστρεφόμενης λίστας: ο οδηγός περιγράφει ένα συσκευασμένο στοιχείο για κάθε οκτώ λογικές διαστάσεις embedding. Μια σύγκριση που λαμβάνει υπόψη τη μορφή διαφέρει επομένως από την αντιμετώπιση των συσκευασμένων bytes ως συνηθισμένων συντεταγμένων κινητής υποδιαστολής. Διατηρήστε τον επιλεγμένο τύπο μαζί με το διάνυσμα και χρησιμοποιήστε την ίδια αναπαράσταση για τον ευρετηριασμένο κώδικα και το ερώτημά του.

Η τεκμηρίωση παραμέτρων δίνει προεπιλεγμένη διάσταση 1536 και μέγιστη 3072. Οι διαστάσεις είναι ταξινομημένες βάσει συνάφειας και ο κατασκευαστής περιγράφει τη διατήρηση των πρώτων διαστάσεων στο επιλεγμένο πλήθος ως τρόπο επιλογής μεγέθους αναπαράστασης. Επιλέξτε τη διάσταση με συνέπεια για την αποθηκευμένη συλλογή και τα νέα ερωτήματα. Μια μικρότερη ή κβαντισμένη αναπαράσταση αλλάζει τη συμπεριφορά αποθήκευσης και σύγκρισης· δεν αυξάνει τα συμφραζόμενα εισόδου ούτε μετατρέπει το μοντέλο σε γεννήτρια κώδικα.

Προγραμματισμός ενισχυμένος με ανάκτηση

Η πρώτη περίπτωση χρήσης της έκδοσης είναι ανάκτηση συμφραζομένων για συμπλήρωση, επεξεργασία ή εξήγηση κώδικα. Προετοιμάστε ουσιαστικές μονάδες κώδικα και κρατήστε την αναθεώρηση αποθετηρίου και τα αναγνωριστικά πηγής. Ένα ερώτημα για τον χειρισμό συγκεκριμένου σφάλματος μπορεί να ανακτά σχετικές συναρτήσεις, τις οποίες η εφαρμογή δίνει κατόπιν σε μοντέλο προγραμματισμού μαζί με το πραγματικό αίτημα αλλαγής.

Ένα πρακτικό αποτέλεσμα είναι καταταγμένο σύνολο αποσπασμάτων πηγαίου κώδικα με διαδρομές αρχείων, σύμβολα και το περιεχόμενο που χρειάζεται για την κατανόηση της συμπεριφοράς τους. Τα ανακτημένα αποσπάσματα μπορούν να ανοιχτούν από προγραμματιστή ή να δοθούν σε βοηθό. Το Codestral Embed εκτελεί το βήμα αναπαράστασης· χωριστό στοιχείο επιλέγει τα αποτελέσματα και μοντέλο παραγωγής γράφει την εξήγηση ή τον προτεινόμενο κώδικα.

Σημασιολογική αναζήτηση και ομοιότητα

Ο κατασκευαστής περιγράφει αναζήτηση κώδικα με ερωτήματα φυσικής γλώσσας ή κώδικα. Ένας προγραμματιστής μπορεί να ζητήσει την υλοποίηση συμπεριφοράς ακόμη και όταν το όνομα συνάρτησης διαφέρει από τη διατύπωση του αιτήματος. Συμπεριλάβετε τη συμπεριφορά και τις συνθήκες που διακρίνουν την προβλεπόμενη υλοποίηση· ένα γενικό ερώτημα για ολόκληρο υποσύστημα μπορεί να ανακτά σχετικό υλικό χωρίς να επιλύει το συγκεκριμένο ερώτημα.

Η έκδοση περιγράφει επίσης εύρεση σχεδόν διπλότυπου ή λειτουργικά παρόμοιου κώδικα παρά λεξικές διαφορές. Τέτοια αποτελέσματα μπορούν να βοηθούν στον εντοπισμό επαναχρησιμοποιήσιμης υλοποίησης ή κώδικα που χρειάζεται περαιτέρω έλεγχο. Η ομοιότητα στον χώρο embeddings είναι σήμα εξέτασης της πηγής· δεν αποδεικνύει ότι δύο τμήματα έχουν ίδια συμπεριφορά για κάθε είσοδο.

Ομαδοποίηση, ανάλυση και σύγκριση

Τα embeddings κώδικα μπορούν να χρησιμοποιούνται για ομαδοποίηση κώδικα βάσει λειτουργικότητας ή δομής και εξέταση της σύνθεσης αποθετηρίου. Κρατήστε τα αρχικά αποσπάσματα και αναγνωριστικά διαθέσιμα ώστε μια ομάδα να μπορεί να ερμηνευτεί από άνθρωπο ή μεταγενέστερο βήμα εφαρμογής. Μια ομάδα είναι ομαδοποίηση βάσει αναπαραστάσεων, όχι αυτόματα επαληθευμένη περιγραφή αρχιτεκτονικής.

Τα παραδείγματα διανυσμάτων κινητής υποδιαστολής του κατασκευαστή χρησιμοποιούν embeddings κανονικοποιημένα σε μοναδιαίο μήκος, για τα οποία η ομοιότητα συνημιτόνου, το εσωτερικό γινόμενο και η ευκλείδεια απόσταση δίνουν συνεπείς κατατάξεις. Η κβαντισμένη έξοδος και η έξοδος συσκευασμένων bits πρέπει να διατηρούν τον δικό τους χειρισμό μορφής αντί να κληρονομούν υπόθεση για ακατέργαστες συντεταγμένες κινητής υποδιαστολής. Το δημοσιευμένο endpoint διατηρεί επίσης δείκτες εισόδου, βοηθώντας τη διατήρηση της σύνδεσης κάθε διανύσματος με το στοιχείο πηγής του.

Έκδοση και πρακτικά όρια

Η ακριβής σελίδα μοντέλου αναφέρει ροές embeddings και παρτίδων με ετικέτα συμφραζομένων 8k, ενώ η έκδοση δίνει την τιμή 8192 tokens. Διατηρήστε την ονομασμένη έκδοση 2505, την επιλεγμένη διάσταση και τον τύπο εξόδου σε όλη τη ροή συλλογής και ερωτήματος. Αυτή είναι διανυσματική έξοδος προσανατολισμένη στον κώδικα, διακριτή από τη συμπλήρωση κειμένου του Codestral και το μοντέλο κειμένου σταθερών διαστάσεων Mistral Embed.

Προετοιμάστε μονάδες κώδικα που περιέχουν τη σχετική συμπεριφορά, κρατήστε τις θέσεις πηγής τους και διατυπώστε το ερώτημα για τον εντοπισμό τους. Το χρήσιμο παραδοτέο είναι ανακτήσιμη αναπαράσταση συνδεδεμένη με πραγματικό κώδικα, η οποία υποστηρίζει το επόμενο βήμα εξήγησης, επεξεργασίας ή ελέγχου από προγραμματιστή χωρίς να εκτελεί το ίδιο αυτό το βήμα.