NVIDIA: Nemotron 3.5 Lightning (free)

Το NVIDIA Nemotron 3.5 Lightning είναι ένα γλωσσικό μοντέλο για συλλογιστική, συνομιλία και εξειδικευμένες ροές εργασίας πρακτόρων. Έχει 30B συνολικές παραμέτρους, με 3B ενεργές, και χρησιμοποιεί μια υβριδική αρχιτεκτονική που εναλλάσσει επίπεδα Mamba-2, μείγματος ειδικών και προσοχής. Τα επίπεδα Multi-Token Prediction προσθέτουν σήματα εκπαίδευσης για μελλοντικά tokens και υποστηρίζουν τις βελτιστοποιημένες διαδικασίες παραγωγής του μοντέλου. Το μοντέλο επεξεργάζεται κείμενο και παράγει κείμενο, όπως εξηγήσεις, κώδικα και απαντήσεις τεκμηριωμένες από το παρεχόμενο υλικό.

Ο κατασκευαστής περιγράφει εφαρμογές σε chatbots, παραγωγή ενισχυμένη με ανάκτηση πληροφοριών, εκτέλεση οδηγιών και πράκτορες. Για μια απάντηση από βάση γνώσεων, δώστε το ερώτημα και τα σχετικά αποσπάσματα με σταθερές ετικέτες πηγών. Ζητήστε από το μοντέλο να απαντήσει με βάση αυτά τα αποσπάσματα, να προσδιορίσει ποιο στηρίζει κάθε σημαντικό ισχυρισμό και να δηλώσει τι παραμένει άγνωστο. Για παράδειγμα: «Χρησιμοποιώντας αυτά τα άρθρα υποστήριξης, εξήγησε τη διαφορά μεταξύ των δύο μεθόδων εγκατάστασης και επέστρεψε τις προϋποθέσεις, τα βήματα και τους ελέγχους για καθεμία». Διατηρείτε εμφανή μια προϋπόθεση που λείπει αντί να καλείτε το μοντέλο να την επινοήσει.

Για εργασίες προγραμματισμού, δώστε τον σχετικό κώδικα, την αναμενόμενη συμπεριφορά και το παρατηρημένο σφάλμα. Ένα πρακτικό αίτημα ζητά μια στοχευμένη αναθεώρηση και εξήγηση των περιπτώσεων που επηρεάζονται. Αν ένας πράκτορας συνδεδεμένος με εργαλεία εκτελέσει έλεγχο, επιστρέψτε την πραγματική έξοδό του πριν ζητήσετε την επόμενη αλλαγή. Η εκπαίδευση του μοντέλου περιλαμβάνει κώδικα, χρήση εργαλείων πολλαπλών βημάτων και εργασίες δομημένης εξόδου, αλλά το ολοκληρωμένο παραδοτέο εξακολουθεί να πρέπει να αντιστοιχεί στην αρχική απαίτηση. Ζητήστε τον αναθεωρημένο κώδικα, την αιτιολόγηση κάθε ουσιώδους αλλαγής και τις παρατηρήσεις που απαιτούνται για να τεκμηριωθεί ότι το πρόβλημα έχει επιλυθεί.

Ο δημιουργός τεκμηριώνει ενεργοποιημένη σκέψη από προεπιλογή και λειτουργία άμεσης απάντησης με απενεργοποίηση της σκέψης μέσω του προτύπου συνομιλίας. Η λειτουργία συλλογιστικής είναι χρήσιμη για μια εργασία με πολλές εξαρτώμενες συνθήκες· μια άμεση απάντηση μπορεί να ταιριάζει σε απλό μετασχηματισμό ή εξαγωγή πληροφοριών. Ο κατασκευαστής συνιστά temperature 1.0 και top-p 0.95 στα παραδείγματα πελάτη του. Αντιμετωπίζετέ τα ως ρυθμίσεις της διαδικασίας του δημιουργού και επιλέγετε ρητά τη δομή της τελικής απάντησης, όπως σύντομη εξήγηση, πίνακα σύγκρισης ή απάντηση ακολουθούμενη από την τεκμηρίωσή της.

Το μοντέλο υποστηρίζει συμφραζόμενα έως 1M tokens. Οι δημοσιευμένες διαδικασίες εγκατάστασης BF16 διακρίνουν επίσης αυτήν τη δυνατότητα του μοντέλου από διαμορφώσεις που χρησιμοποιούν παράθυρο 256K υπό περιορισμούς μνήμης. Προετοιμάστε το εκτεταμένο υλικό για το εφαρμοστέο λειτουργικό παράθυρο, διατηρώντας τη δομή των εγγράφων και αφήνοντας χώρο για την απάντηση. Τα εκτεταμένα συμφραζόμενα είναι πιο χρήσιμα όταν το αίτημα καθορίζει τη σχέση που πρέπει να εντοπιστεί: αντιφάσεις μεταξύ εγγράφων, εξαρτήσεις μεταξύ αρχείων πηγαίου κώδικα ή στοιχεία που στηρίζουν ένα συμπέρασμα. Δεν αποτελούν λόγο να συμπεριλάβετε άσχετο ιστορικό ή να υποθέσετε ότι μια τελική απάντηση μπορεί να καταλάβει ολόκληρο το παράθυρο.

Τα αγγλικά και οι γλώσσες προγραμματισμού αποτελούν την κύρια εστίαση, ενώ αναφέρονται επίσης ισπανικά, γαλλικά, γερμανικά, ιταλικά και ιαπωνικά. Δηλώστε την απαιτούμενη γλώσσα εξόδου και διατηρείτε ονόματα, αναγνωριστικά και παρατιθέμενους όρους πηγών όταν η ορθογραφία τους έχει σημασία. Για πολύγλωσση εργασία με έγγραφα, καθορίστε αν ζητάτε μετάφραση, σύνοψη ή σύγκριση του υλικού· αυτά τα αιτήματα παράγουν διαφορετικά παραδοτέα. Ζητήστε να επισημαίνεται η αβέβαιη ορολογία, ώστε μια ρέουσα μετάφραση να μην αλλάζει σιωπηρά μια τεχνική έννοια.

Η NVIDIA δημοσιεύει μια έκδοση αναφοράς BF16 κυρίως για προσαρμογή και έρευνα πλήρους ακρίβειας και μια χωριστή έκδοση NVFP4 με βελτιστοποιημένες διαδικασίες εξαγωγής συμπερασμάτων. Αυτή η διάκριση έχει σημασία όταν συγκρίνετε οδηγίες εγκατάστασης: μια διαμόρφωση υλικού ή ένα αποτέλεσμα ρυθμού επεξεργασίας από μία έκδοση δεν περιγράφει αυτόματα κάποια άλλη. Το όνομα μοντέλου προσδιορίζει την οικογένεια Lightning, ενώ το ακριβές σημείο ελέγχου και η διαμόρφωση εξυπηρέτησης καθορίζουν τη διαδικασία. Διατηρείτε τις δυνατότητες επιπέδου μοντέλου χωριστές από τις παραδοχές απόδοσης και μνήμης μιας συγκεκριμένης διαδικασίας.

Για εργασίες με εργαλεία, δώστε σαφείς περιγραφές συναρτήσεων και επιστρέψτε το πραγματικό αποτέλεσμα κάθε εκτελεσμένου βήματος. Μια προτεινόμενη ενέργεια γίνεται αξιοποιήσιμο στοιχείο μόνο αφού η περιβάλλουσα εφαρμογή την εκτελέσει και καταγράψει τι συνέβη. Ζητήστε από την τελική απάντηση να διακρίνει παρατηρήσεις από πηγές, συναγόμενα συμπεράσματα και ανολοκλήρωτους ελέγχους. Όταν ένας υπολογισμός, μια εντολή ή ένα ανακτημένο απόσπασμα έρχεται σε σύγκρουση με το σχεδιαζόμενο αποτέλεσμα, χρησιμοποιήστε αυτήν τη σύγκρουση για να αναθεωρήσετε το συμπέρασμα αντί να παράγετε μια καλογραμμένη σύνοψη μιας μη επαληθευμένης παραδοχής.