Cohere: North Mini Code (free)

Το North Mini Code 1.0 είναι το μοντέλο της Cohere για μηχανική λογισμικού με πράκτορες, εργασίες τερματικού και παραγωγή κώδικα. Δέχεται κείμενο και παράγει κείμενο, συμπεριλαμβανομένων κώδικα, εξηγήσεων και αιτημάτων εργαλείων. Ο κατασκευαστής κυκλοφόρησε τα βάρη του με άδεια Apache 2.0 και το προσδιορίζει ως το πρώτο μοντέλο στην οικογένεια πρακτόρων κώδικα North. Είναι εξειδικευμένο προφίλ προγραμματισμού και όχι μοντέλο κατανόησης εικόνων ή γενικό μοντέλο βαθμολόγησης αποφάσεων.

Αραιή αρχιτεκτονική και προετοιμασία προγραμματισμού

Το μοντέλο έχει 30 δισεκατομμύρια συνολικές παραμέτρους, με περίπου 3 δισεκατομμύρια ενεργές. Ο Transformer του, μόνο με αποκωδικοποιητή, χρησιμοποιεί αραιό μείγμα ειδικών με 128 ειδικούς, οκτώ ενεργούς ανά token, και ένα πυκνό επίπεδο πριν από τα αραιά επίπεδα. Η προσοχή συρόμενου παραθύρου με περιστροφικές θέσεις εναλλάσσεται με καθολική προσοχή χωρίς ενσωματώσεις θέσης σε αναλογία 3:1. Ο αριθμός ενεργών παραμέτρων περιγράφει τον υπολογισμό που χρησιμοποιείται για ένα token και όχι το συνολικό σύνολο βαρών που πρέπει να αποθηκευτεί.

Η μετεκπαίδευση της Cohere χρησιμοποιεί δύο στάδια επιβλεπόμενης λεπτομερούς προσαρμογής, ακολουθούμενα από ενισχυτική μάθηση με επαληθεύσιμες ανταμοιβές, εστιασμένη στη μηχανική λογισμικού και στην εργασία τερματικού. Ο δημιουργός περιγράφει εκπαίδευση σε πολλαπλά περιβάλλοντα εκτέλεσης πρακτόρων αντί για έναν σταθερό σκελετό. Αυτό υποστηρίζει την προετοιμασία εργασίας γύρω από την απαιτούμενη συμπεριφορά και τα διαθέσιμα εργαλεία, ενώ το περιβάλλον εκτέλεσης παραμένει υπεύθυνο για λήψη αρχείων, εκτέλεση εντολών και επιστροφή παρατηρήσεων.

Προετοιμάστε μια αλλαγή σε επίπεδο αποθετηρίου

Παρέχετε τον τρέχοντα κώδικα και τη συμπεριφορά, τη ζητούμενη αλλαγή, τα σχετικά όρια αρχείων ή διεπαφών και τα στοιχεία που θα αποδείξουν την ολοκλήρωση. Για σφάλμα, συμπεριλάβετε το παρατηρούμενο σφάλμα ή την είσοδο που αποτυγχάνει και το αναμενόμενο αποτέλεσμα. Για λειτουργία, δηλώστε την απαιτούμενη συμπεριφορά και τους περιορισμούς συμβατότητας. Ένα χρήσιμο τελικό τεχνούργημα είναι μια προτεινόμενη αλλαγή κώδικα με εξήγηση και αποτελέσματα από ελέγχους που πράγματι εκτελέστηκαν.

Ένα ενδεικτικό αίτημα μπορεί να ζητά ενημέρωση ενός αναλυτή για επιπλέον υποστηριζόμενη είσοδο, διατηρώντας τις υπάρχουσες μορφές. Προσδιορίστε αντιπροσωπευτικές εισόδους και το τμήμα του αποθετηρίου που ορίζει τη συμπεριφορά του αναλυτή. Το μοντέλο μπορεί να χρησιμοποιήσει κώδικα και παρατηρήσεις εργαλείων για να αναπτύξει την αλλαγή· ένα παραγόμενο patch ή μια δήλωση ότι μια εντολή πρέπει να εκτελεστεί δεν είναι στοιχείο ότι η εντολή πέτυχε.

Εργαλεία τερματικού και δομημένες παρατηρήσεις

Η εγγενής κάρτα μοντέλου τεκμηριώνει εκπαίδευση χρήσης εργαλείων και προτείνει περιγραφές εργαλείων JSON Schema μέσω του προτύπου συνομιλίας του μοντέλου. Περιγράψτε καθαρά τον σκοπό και τα ορίσματα ενός εργαλείου. Ένα εργαλείο εκτέλεσης εντολών μπορεί να επιστρέφει την πραγματική έξοδο και κατάσταση, ενώ ένα εργαλείο επιθεώρησης αρχείων μπορεί να επιστρέφει το υλικό που χρειάζεται το επόμενο βήμα. Κρατήστε κάθε αποτέλεσμα εργαλείου συνδεδεμένο με το αναγνωριστικό κλήσης του, ώστε η μεταγενέστερη ανάλυση να χρησιμοποιεί την επιδιωκόμενη παρατήρηση.

Το παράδειγμα του δημιουργού διατηρεί μια κλήση εργαλείου και τη συλλογιστική του βοηθού στο ιστορικό, εκτελεί το εργαλείο και προσθέτει το αποτέλεσμά του πριν από νέα παραγωγή. Το παράδειγμα εγγενούς προτύπου χρησιμοποιεί δομημένο λεξικό για το αποτέλεσμα εργαλείου. Διατηρήστε αυτή την αναπαράσταση σύμφωνα με την τεκμηριωμένη ενσωμάτωση, αντί να υποθέτετε ότι κάθε άσχετο API σειριοποιεί αποτελέσματα εργαλείων με τον ίδιο τρόπο. Ένα σχήμα JSON που περιγράφει τα ορίσματα εργαλείου διαφέρει από τον ισχυρισμό υποστήριξης αυθαίρετης τελικής εξόδου περιορισμένης από σχήμα.

Εναλλασσόμενη σκέψη και ιστορικό πολλών γύρων συνομιλίας

Το North Mini Code υποστηρίζει εναλλασσόμενη σκέψη, την οποία ο δημιουργός προτείνει να ενεργοποιείται για εργασία πρακτόρων. Μεταφέρετε το περιεχόμενο σκέψης και τις κλήσεις εργαλείων που παράγει το μοντέλο στα επόμενα βήματα πράκτορα και στους επόμενους γύρους της συνομιλίας. Το εγγενές παράδειγμα κρατά πεδίο συλλογιστικής στο μήνυμα βοηθού και επιστρέφει κατόπιν την αντίστοιχη παρατήρηση εργαλείου. Αυτό διατηρεί τις πληροφορίες που χρησιμοποίησε το μοντέλο όταν αποφάσιζε τι θα επιθεωρήσει ή θα αλλάξει στη συνέχεια.

Κρατήστε τον τρέχοντα στόχο, το πηγαίο υλικό και τις πραγματικές παρατηρήσεις στο ιστορικό εργασίας. Για μεγαλύτερη εργασία αποθετηρίου, συνοψίστε το τελικό αποτέλεσμα γύρω από την αλλαγμένη συμπεριφορά και το χρήσιμο τεχνούργημα, διατηρώντας τα στοιχεία που χρειάζονται για την ανασκόπησή του. Η εναλλασσόμενη συλλογιστική δεν συνεπάγεται ότι μια σύντομη ορατή απάντηση δεν χρειάστηκε ανάλυση, ούτε αποδεικνύει ότι μια ενέργεια που περιέγραψε το μοντέλο έχει ήδη συμβεί.

Αυτοτελείς εργασίες κώδικα και εξήγησης

Ο κατασκευαστής προσδιορίζει επίσης επιστημονικό προγραμματισμό και αλγοριθμική συλλογιστική εκτός βρόχου πράκτορα. Παρέχετε τον ορισμό προβλήματος, τη μορφή εισόδου και εξόδου, τους περιορισμούς, τις σχετικές αριθμητικές παραδοχές και την αναμενόμενη συμπεριφορά στα όρια. Ζητήστε πλήρη συνάρτηση ή πρόγραμμα όταν αυτό είναι το απαιτούμενο τεχνούργημα, με εξήγηση στο επίπεδο που χρειάζεται ο αναγνώστης.

Για εξήγηση κώδικα, παρέχετε την υλοποίηση και τη συγκεκριμένη συμπεριφορά ή εξάρτηση που πρέπει να διευκρινιστεί. Για κώδικα οπτικοποίησης δεδομένων, προσδιορίστε τα παρεχόμενα πεδία και την επιδιωκόμενη σύγκριση, αντί να αφήνετε υπονοούμενο τον σκοπό του γραφήματος. Τα παραδείγματα ανάπτυξης του δημιουργού περιλαμβάνουν εξήγηση, επεξεργασία, οπτικοποίηση κώδικα και υλοποίηση από προδιαγραφή. Αυτά είναι μοτίβα εργασιών παραγωγής ή τροποποίησης κώδικα και όχι υπόσχεση σωστών αποτελεσμάτων για κάθε αποθετήριο ή πλαίσιο ανάπτυξης.

Συμφραζόμενα, έξοδος και ρυθμίσεις παραγωγής

Η κάρτα μοντέλου και η σελίδα API του κατασκευαστή αναφέρουν παράθυρο συμφραζομένων 256K token και μέγιστη έξοδο 64K token. Προετοιμάστε εκτενές υλικό αποθετηρίου γύρω από αυτά τα ξεχωριστά όρια και το μέγεθος του τελικού τεχνουργήματος. Κρατήστε άθικτα τα όρια και τα αναγνωριστικά πηγών και αφαιρέστε το άσχετο υλικό, αντί να υποθέτετε ότι ένα μεγάλο παράθυρο εξαλείφει την ανάγκη εστιασμένου αιτήματος.

Η εγγενής κάρτα μοντέλου προτείνει temperature 1.0 και top_p 0.95 για παραγωγή και χρησιμοποιεί το πρότυπο συνομιλίας του μοντέλου, συμπεριλαμβανομένης προτροπής παραγωγής, για ροές κειμένου και εργαλείων. Τα ενδεικτικά όρια εξόδου της είναι ρυθμίσεις για εκείνα τα παραδείγματα και όχι αντικατάσταση του δημοσιευμένου μέγιστου του μοντέλου. Η Cohere δημοσιεύει βάρη BF16 και ένα τεχνούργημα FP8 με ξεχωριστό όνομα. Επιλέξτε το κατάλληλο τεχνούργημα όταν προετοιμάζετε ανάπτυξη.

Ένα χρήσιμο αποτέλεσμα North Mini Code είναι επιθεωρήσιμο τεχνούργημα κώδικα ή τεχνική εξήγηση συνδεδεμένα με τις παρεχόμενες απαιτήσεις. Συγκρίνετε το αποτέλεσμα με την αρχική συμπεριφορά και την πραγματική έξοδο εργαλείων, ελέγξτε παραδοχές που επηρεάζουν τον κώδικα και διατηρήστε την πηγή και τις παρατηρήσεις που χρειάζονται για ανασκόπηση. Το μοντέλο προγραμματισμού μόνο για κείμενο παρέχει συλλογιστική και παραγόμενο περιεχόμενο· η περιβάλλουσα εφαρμογή εκτελεί τις λειτουργίες που μετατρέπουν αυτές τις προτάσεις σε ολοκληρωμένη εργασία λογισμικού.