NVIDIA: Nemotron 3 Super (free)

NVIDIA Nemotron 3 Super ialah model penaakulan dan sembang kegunaan umum yang direka untuk ejen kolaboratif serta aliran kerja berjumlah tinggi, termasuk automasi tiket IT. Model ini mempunyai 120B parameter keseluruhan dan mengaktifkan 12B. Seni bina hibridnya menggabungkan lapisan Mamba-2, perhatian dan Latent Mixture-of-Experts. Lapisan Multi-Token Prediction menambah mekanisme untuk meramalkan token masa hadapan dan menyokong resipi penyahkodan spekulatif natif NVIDIA.

Model menerima teks dan mengembalikan teks, termasuk penjelasan, respons draf, kod dan permintaan panggilan alat dalam aplikasi bersesuaian yang disambungkan kepada alat. Kegunaan yang dimaksudkan merangkumi ejen, chatbot, penjanaan diperkaya pemerolehan maklumat, pematuhan arahan kompleks dan penaakulan konteks panjang. Prom yang berguna menetapkan artifak yang dikehendaki dan syarat yang mengawalnya. Sebagai contoh: “Kelaskan insiden ini menggunakan dasar yang dibekalkan, terangkan keutamaan daripada bukti, drafkan jawapan dan senaraikan fakta yang tiada yang diperlukan sebelum mengesyorkan pembetulan.”

Untuk pemprosesan tiket IT, berikan teks tiket, sejarah berkaitan, butiran persekitaran dan peraturan penghalaan atau eskalasi yang terpakai. Minta medan berasingan untuk gejala yang diperhatikan, kemungkinan punca, semakan yang dicadangkan dan jawapan kepada pengguna. Perbezaan itu menghalang hipotesis daripada direkodkan sebagai diagnosis yang disahkan. Jika alat diagnostik dijalankan, masukkan hasil sebenarnya ke dalam perbualan sebelum meminta langkah seterusnya. Ringkasan tiket yang selesai perlu menyatakan perkara yang diperhatikan dan diselesaikan, serta soalan yang masih terbuka.

Untuk kerja RAG dan pangkalan pengetahuan, labelkan petikan yang diperoleh dan nyatakan sama ada model perlu menjawab hanya daripadanya. Minta jawapan dengan rujukan sumber sokongan dan sebarang percanggahan antara bahan. Contoh praktikal ialah: “Bandingkan bahagian runbook ini, kenal pasti langkah yang terpakai kepada persekitaran yang dibekalkan dan kembalikan prosedur mengikut turutan dengan semakan selepas setiap langkah penting.” Kekalkan versi dan syarat daripada sumber; prosedur yang jelas masih boleh salah jika menggabungkan arahan untuk persekitaran yang tidak serasi.

Untuk tugas ejen kolaboratif, berikan setiap peringkat objektif yang jelas dan kekalkan hasil perantaraan yang berguna. Super ditujukan untuk menaakul atas pemerhatian alat dan mengekalkan perbualan berbilang langkah. Aplikasi sekeliling melaksanakan alat dan menyimpan keadaan tugas. Minta model menerangkan perkara yang diubah oleh pemerhatian baharu, mengekalkan penemuan terdahulu yang masih sah dan membezakan tindakan yang dicadangkan daripada hasil yang direkodkan. Untuk pengekodan, bekalkan fail yang berkaitan dan tingkah laku yang dijangka, kemudian minta kod yang disemak, penjelasan perubahan dan kes yang diperlukan untuk mengesahkannya.

NVIDIA mendokumenkan pemikiran yang didayakan secara lalai dan mod jawapan langsung dengan pemikiran dilumpuhkan melalui templat sembang. Super turut mempunyai pilihan penaakulan usaha rendah, yang menggunakan kurang token penaakulan daripada pemikiran penuh dan dicadangkan sebagai titik permulaan sebelum penalaan bajet secara jelas. Ini ialah tetapan Super; pilihan usaha sederhana Ultra yang berasingan tidak patut disalin ke dalamnya. Pilih bentuk respons akhir dan tinggalkan ruang untuk respons itu selepas penaakulan, terutamanya apabila hasil alat atau perbandingan sumber yang kompleks memerlukan penjelasan.

Model menyokong konteks sehingga 1M token, manakala konfigurasi Hugging Face pengeluar menggunakan 256K secara lalai kerana konteks lebih panjang memerlukan lebih banyak memori. Untuk input panjang, bekerja dalam konfigurasi yang berkenaan, kekalkan sempadan dokumen dan label sumber serta sediakan ruang respons. Minta hubungan yang perlu dijejak merentas bahan dan bukannya ringkasan tanpa arah bagi semuanya. Maksimum pada peringkat model bukan janji bahawa setiap konfigurasi penyajian menggunakan tetingkap yang sama.

Pengeluar menyenaraikan bahasa Inggeris, Perancis, Jerman, Itali, Jepun, Sepanyol dan Cina. Nyatakan bahasa akhir sambil mengekalkan pengecam kod dan istilah sumber yang mesti kekal tepat. Untuk kerja sokongan berbilang bahasa, minta model mengekalkan makna teknikal dan kriteria eskalasi sambil menyesuaikan perkataan untuk pembaca. Semak istilah tidak biasa atau input kabur dan bukannya menganggap kelancaran sebagai bukti bahawa tafsiran itu betul.

Hasil kerja akhir yang berguna adalah padat dan boleh disemak: jawapan atau artifak yang disemak, pemerhatian yang menyokongnya, andaian dan kerja yang masih tinggal. Untuk prosedur yang dijana, semak pemeriksaan terhadap persekitaran sebenar. Untuk kod, bandingkan perubahan yang dicadangkan dengan tingkah laku yang diperhatikan. Untuk jawapan berasaskan sumber, pastikan petikan yang dirujuk menyokong pernyataan. Latihan penaakulan dan ejen Super membantu menyusun kerja ini; hasil sebenar dibuktikan oleh bahan dan rekod pelaksanaan yang digunakan untuk menyemaknya.