NVIDIA: Nemotron 3 Super (free)

NVIDIA Nemotron 3 Super adalah model penalaran dan percakapan serbaguna yang dirancang untuk agen kolaboratif serta alur kerja bervolume tinggi, termasuk otomatisasi tiket TI. Model ini memiliki total 120B parameter dan mengaktifkan 12B. Arsitektur hibridanya menggabungkan lapisan Mamba-2, perhatian, dan Latent Mixture-of-Experts. Lapisan Multi-Token Prediction menambahkan mekanisme untuk memprediksi token mendatang dan mendukung resep decoding spekulatif bawaan NVIDIA.

Model ini menerima teks dan mengembalikan teks, termasuk penjelasan, draf respons, kode, dan permintaan panggilan alat dalam aplikasi yang sesuai dan terhubung dengan alat. Penggunaan yang dimaksud mencakup agen, chatbot, retrieval-augmented generation, kepatuhan pada instruksi kompleks, dan penalaran berkonteks panjang. Prompt yang berguna menentukan artefak yang diinginkan serta kondisi yang mengaturnya. Misalnya: “Klasifikasikan insiden ini menggunakan kebijakan yang diberikan, jelaskan prioritas berdasarkan bukti, susun balasan, dan daftarkan fakta yang belum tersedia yang diperlukan sebelum merekomendasikan perbaikan.”

Untuk pemrosesan tiket TI, berikan teks tiket, riwayat yang relevan, detail lingkungan, serta aturan perutean atau eskalasi yang berlaku. Mintalah kolom terpisah untuk gejala yang diamati, kemungkinan penyebab, usulan pemeriksaan, dan balasan kepada pengguna. Perbedaan ini mencegah hipotesis dicatat sebagai diagnosis yang terkonfirmasi. Jika alat diagnostik dijalankan, masukkan hasil aktualnya ke percakapan sebelum meminta langkah berikutnya. Ringkasan tiket yang selesai harus menyebutkan apa yang diamati dan diselesaikan, serta pertanyaan yang masih terbuka.

Untuk pekerjaan RAG dan basis pengetahuan, beri label bagian yang diambil dan nyatakan apakah model harus menjawab hanya berdasarkan bagian tersebut. Mintalah jawaban dengan rujukan sumber pendukung serta setiap pertentangan antar bahan. Contoh praktis adalah: “Bandingkan bagian runbook ini, identifikasi langkah yang berlaku untuk lingkungan yang diberikan, dan kembalikan prosedur berurutan dengan pemeriksaan setelah setiap langkah penting.” Pertahankan versi dan kondisi dari sumber; prosedur yang jelas tetap dapat salah jika menggabungkan instruksi untuk lingkungan yang tidak kompatibel.

Untuk tugas agen kolaboratif, berikan tujuan yang jelas pada setiap tahap dan pertahankan hasil antara yang berguna. Super ditujukan untuk menalar pengamatan alat dan mempertahankan percakapan dengan beberapa langkah. Aplikasi yang menaunginya menjalankan alat dan menyimpan status tugas. Mintalah model menjelaskan apa yang diubah oleh pengamatan baru, mempertahankan temuan sebelumnya yang masih berlaku, serta membedakan tindakan yang diusulkan dari hasil yang tercatat. Untuk pemrograman, berikan berkas yang relevan dan perilaku yang diharapkan, lalu mintalah kode yang direvisi, penjelasan perubahan, dan kasus yang diperlukan untuk memverifikasinya.

NVIDIA mendokumentasikan proses berpikir yang diaktifkan secara bawaan serta mode jawaban langsung dengan proses berpikir dinonaktifkan melalui templat percakapan. Super juga memiliki opsi penalaran berupaya rendah, yang menggunakan lebih sedikit token penalaran daripada proses berpikir penuh dan disarankan sebagai titik awal sebelum penyetelan anggaran secara eksplisit. Ini merupakan pengaturan Super; opsi upaya sedang Ultra yang terpisah tidak boleh disalin ke dalamnya. Pilih bentuk respons akhir dan sisakan ruang bagi respons tersebut setelah penalaran, terutama ketika hasil alat atau perbandingan sumber yang kompleks memerlukan penjelasan.

Model ini mendukung konteks hingga 1M token, sedangkan konfigurasi Hugging Face pembuatnya menggunakan nilai bawaan 256K karena konteks yang lebih panjang memerlukan lebih banyak memori. Untuk masukan panjang, bekerjalah dalam konfigurasi yang berlaku, pertahankan batas dokumen dan label sumber, serta sisakan ruang respons. Mintalah hubungan yang perlu ditelusuri di seluruh bahan, bukan ringkasan tanpa arah atas semuanya. Maksimum tingkat model bukan janji bahwa setiap konfigurasi layanan menggunakan jendela yang sama.

Pembuatnya mencantumkan bahasa Inggris, Prancis, Jerman, Italia, Jepang, Spanyol, dan Tionghoa. Tentukan bahasa akhir sambil mempertahankan pengenal kode dan istilah sumber yang harus tetap persis. Untuk pekerjaan dukungan multibahasa, mintalah model mempertahankan makna teknis dan kriteria eskalasi sambil menyesuaikan kata-kata bagi pembaca. Tinjau istilah yang tidak dikenal atau masukan yang ambigu, alih-alih memperlakukan kelancaran bahasa sebagai bukti bahwa interpretasinya benar.

Keluaran akhir yang berguna bersifat ringkas dan dapat diperiksa: jawaban atau artefak yang direvisi, pengamatan pendukung, asumsi, serta pekerjaan yang tersisa. Untuk prosedur yang dihasilkan, periksa langkah pemeriksaan terhadap lingkungan aktual. Untuk kode, bandingkan perubahan usulan dengan perilaku yang diamati. Untuk jawaban berbasis sumber, pastikan bahwa bagian yang dikutip mendukung pernyataan. Pelatihan penalaran dan agen Super membantu mengatur pekerjaan ini; hasil aktual dibuktikan oleh bahan dan catatan eksekusi yang digunakan untuk memeriksanya.