NVIDIA: Nemotron 3 Super (free)

Το NVIDIA Nemotron 3 Super είναι ένα μοντέλο συλλογιστικής και συνομιλίας γενικής χρήσης, σχεδιασμένο για συνεργαζόμενους πράκτορες και ροές εργασίας μεγάλου όγκου, συμπεριλαμβανομένης της αυτοματοποίησης αιτημάτων υποστήριξης IT. Έχει 120B συνολικές παραμέτρους και ενεργοποιεί 12B. Η υβριδική αρχιτεκτονική του συνδυάζει επίπεδα Mamba-2, προσοχής και Latent Mixture-of-Experts. Τα επίπεδα Multi-Token Prediction προσθέτουν έναν μηχανισμό πρόβλεψης μελλοντικών tokens και υποστηρίζουν τις εγγενείς διαδικασίες εικαστικής αποκωδικοποίησης της NVIDIA.

Το μοντέλο δέχεται κείμενο και επιστρέφει κείμενο, όπως εξηγήσεις, προσχέδια απαντήσεων, κώδικα και αιτήματα κλήσης εργαλείων σε κατάλληλη εφαρμογή συνδεδεμένη με εργαλεία. Οι προβλεπόμενες χρήσεις του περιλαμβάνουν πράκτορες, chatbots, παραγωγή ενισχυμένη με ανάκτηση πληροφοριών, εκτέλεση σύνθετων οδηγιών και συλλογιστική σε εκτεταμένα συμφραζόμενα. Μια χρήσιμη προτροπή καθορίζει το επιθυμητό παραδοτέο και τις συνθήκες που το διέπουν. Για παράδειγμα: «Ταξινόμησε αυτό το περιστατικό χρησιμοποιώντας την παρεχόμενη πολιτική, εξήγησε την προτεραιότητα με βάση τα στοιχεία, σύνταξε μια απάντηση και απαρίθμησε τα δεδομένα που λείπουν και απαιτούνται πριν προτείνεις διόρθωση».

Για επεξεργασία αιτημάτων υποστήριξης IT, δώστε το κείμενο του αιτήματος, το σχετικό ιστορικό, τις λεπτομέρειες περιβάλλοντος και τους εφαρμοστέους κανόνες δρομολόγησης ή κλιμάκωσης. Ζητήστε χωριστά πεδία για παρατηρημένα συμπτώματα, πιθανές αιτίες, προτεινόμενους ελέγχους και την απάντηση στον χρήστη. Η διάκριση αποτρέπει την καταγραφή μιας υπόθεσης ως επιβεβαιωμένης διάγνωσης. Αν εκτελεστεί ένα διαγνωστικό εργαλείο, τροφοδοτήστε το πραγματικό αποτέλεσμά του στη συνομιλία πριν ζητήσετε το επόμενο βήμα. Μια ολοκληρωμένη σύνοψη αιτήματος πρέπει να δηλώνει τι παρατηρήθηκε και επιλύθηκε και ποιο ερώτημα παραμένει ανοικτό.

Για RAG και εργασία με βάση γνώσεων, επισημάνετε τα ανακτημένα αποσπάσματα και δηλώστε αν το μοντέλο πρέπει να απαντά μόνο από αυτά. Ζητήστε την απάντηση με αναφορές στις υποστηρικτικές πηγές και κάθε σύγκρουση μεταξύ του υλικού. Ένα πρακτικό παράδειγμα είναι: «Σύγκρινε αυτές τις ενότητες του εγχειριδίου λειτουργίας, εντόπισε τα βήματα που εφαρμόζονται στο παρεχόμενο περιβάλλον και επέστρεψε μια διαδικασία με σειρά εκτέλεσης και έναν έλεγχο μετά από κάθε σημαντικό βήμα». Διατηρείτε τις εκδόσεις και τις συνθήκες από την πηγή· μια σαφής διαδικασία μπορεί και πάλι να είναι λανθασμένη αν συνδυάζει οδηγίες για ασύμβατα περιβάλλοντα.

Για εργασίες συνεργαζόμενων πρακτόρων, δώστε σαφή στόχο σε κάθε στάδιο και διατηρήστε χρήσιμα ενδιάμεσα αποτελέσματα. Το Super προορίζεται να συλλογίζεται πάνω σε παρατηρήσεις εργαλείων και να διατηρεί μια συνομιλία πολλαπλών βημάτων. Η περιβάλλουσα εφαρμογή εκτελεί τα εργαλεία και διατηρεί την κατάσταση της εργασίας. Ζητήστε από το μοντέλο να εξηγήσει τι αλλάζει μια νέα παρατήρηση, να διατηρήσει προγενέστερα ευρήματα που εξακολουθούν να ισχύουν και να διακρίνει μια προτεινόμενη ενέργεια από ένα καταγεγραμμένο αποτέλεσμα. Για προγραμματισμό, δώστε τα σχετικά αρχεία και την αναμενόμενη συμπεριφορά και κατόπιν ζητήστε αναθεωρημένο κώδικα, εξήγηση αλλαγής και τις περιπτώσεις που χρειάζονται για την επαλήθευσή της.

Η NVIDIA τεκμηριώνει ενεργοποιημένη σκέψη από προεπιλογή και λειτουργία άμεσης απάντησης με απενεργοποίηση της σκέψης μέσω του προτύπου συνομιλίας. Το Super έχει επίσης επιλογή συλλογιστικής χαμηλής προσπάθειας, η οποία χρησιμοποιεί λιγότερα tokens συλλογιστικής από την πλήρη σκέψη και προτείνεται ως αφετηρία πριν από τη ρητή ρύθμιση ορίου. Αυτή είναι η ρύθμιση του Super· η χωριστή επιλογή μέσης προσπάθειας του Ultra δεν πρέπει να αντιγράφεται σε αυτό. Επιλέξτε μορφή τελικής απάντησης και αφήστε χώρο γι’ αυτήν μετά τη συλλογιστική, ειδικά όταν ένα αποτέλεσμα εργαλείου ή μια σύνθετη σύγκριση πηγών χρειάζεται εξήγηση.

Το μοντέλο υποστηρίζει συμφραζόμενα έως 1M tokens, ενώ η διαμόρφωση Hugging Face του δημιουργού έχει προεπιλογή 256K επειδή τα μεγαλύτερα συμφραζόμενα απαιτούν περισσότερη μνήμη. Για εκτεταμένες εισόδους, εργαστείτε μέσα στην εφαρμοστέα διαμόρφωση, διατηρήστε τα όρια εγγράφων και τις ετικέτες πηγών και κρατήστε χώρο απάντησης. Ζητήστε τη σχέση που πρέπει να ιχνηλατηθεί στο υλικό αντί για μια ακατεύθυντη σύνοψη των πάντων. Ένα μέγιστο σε επίπεδο μοντέλου δεν αποτελεί υπόσχεση ότι κάθε διαμόρφωση εξυπηρέτησης χρησιμοποιεί το ίδιο παράθυρο.

Ο δημιουργός αναφέρει αγγλικά, γαλλικά, γερμανικά, ιταλικά, ιαπωνικά, ισπανικά και κινεζικά. Καθορίστε την τελική γλώσσα διατηρώντας αναγνωριστικά κώδικα και όρους πηγών που πρέπει να παραμείνουν ακριβείς. Για πολύγλωσση εργασία υποστήριξης, ζητήστε από το μοντέλο να διατηρεί την τεχνική σημασία και τα κριτήρια κλιμάκωσης ενώ προσαρμόζει τη διατύπωση για τον αναγνώστη. Ελέγξτε άγνωστη ορολογία ή αμφίσημη είσοδο αντί να αντιμετωπίζετε τη γλωσσική ευχέρεια ως στοιχείο ότι η ερμηνεία είναι σωστή.

Ένα χρήσιμο τελικό παραδοτέο είναι συμπαγές και ελέγξιμο: η απάντηση ή το αναθεωρημένο αποτέλεσμα, οι παρατηρήσεις που το στηρίζουν, οι παραδοχές και η εκκρεμής εργασία. Για παραγόμενες διαδικασίες, εξετάστε τους ελέγχους σε σχέση με το πραγματικό περιβάλλον. Για κώδικα, συγκρίνετε τις προτεινόμενες αλλαγές με την παρατηρημένη συμπεριφορά. Για μια απάντηση βασισμένη σε πηγές, επιβεβαιώστε ότι το παρατιθέμενο απόσπασμα στηρίζει τη δήλωση. Η συλλογιστική και η εκπαίδευση πρακτόρων του Super βοηθούν στην οργάνωση αυτής της εργασίας· το πραγματικό αποτέλεσμα τεκμηριώνεται από το υλικό και τα αρχεία εκτέλεσης που χρησιμοποιούνται για τον έλεγχό του.