NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning ialah model bahasa untuk penaakulan, perbualan dan aliran kerja ejen khusus. Model ini mempunyai 30B parameter keseluruhan dengan 3B aktif, menggunakan seni bina hibrid yang menyelang-selikan lapisan Mamba-2, campuran pakar dan perhatian. Lapisan Multi-Token Prediction menambah isyarat latihan untuk token masa hadapan dan menyokong resipi penjanaan model yang dioptimumkan. Model ini memproses teks dan menghasilkan teks, termasuk penjelasan, kod dan jawapan berasaskan bahan yang dibekalkan.

Pengeluar menerangkan aplikasi dalam chatbot, penjanaan diperkaya pemerolehan maklumat, pematuhan arahan dan ejen. Untuk jawapan pangkalan pengetahuan, berikan soalan dan petikan yang berkaitan dengan label sumber yang stabil. Minta model menjawab daripada petikan itu, mengenal pasti petikan yang menyokong setiap dakwaan penting dan menyatakan perkara yang masih tidak diketahui. Sebagai contoh: “Dengan menggunakan artikel sokongan ini, terangkan perbezaan antara dua kaedah pemasangan dan kembalikan prasyarat, langkah dan semakan bagi setiap kaedah.” Pastikan prasyarat yang tiada kekal kelihatan dan bukannya mengundang model menciptanya.

Untuk kerja pengekodan, bekalkan kod yang berkaitan, tingkah laku yang dijangka dan kegagalan yang diperhatikan. Permintaan praktikal meminta semakan terfokus dan penjelasan tentang kes yang terjejas. Jika ejen yang disambungkan kepada alat menjalankan semakan, kembalikan output sebenarnya sebelum meminta perubahan seterusnya. Latihan model merangkumi kod, penggunaan alat berbilang langkah dan tugas output berstruktur, tetapi artifak yang selesai masih perlu sepadan dengan keperluan asal. Minta kod yang disemak, sebab bagi setiap perubahan penting dan pemerhatian yang diperlukan untuk membuktikan masalah diselesaikan.

Pengeluar mendokumenkan pemikiran yang didayakan secara lalai dan mod jawapan langsung dengan pemikiran dilumpuhkan melalui templat sembang. Mod penaakulan berguna untuk tugas dengan beberapa syarat yang saling bergantung; jawapan langsung boleh sesuai untuk transformasi atau pengekstrakan mudah. Pengeluar mengesyorkan temperature 1.0 dan top-p 0.95 dalam contoh kliennya. Anggapnya sebagai tetapan resipi pengeluar dan pilih struktur respons akhir secara jelas, seperti penjelasan ringkas, jadual perbandingan atau jawapan diikuti bukti sokongannya.

Model menyokong konteks sehingga 1M token. Resipi penggunaan BF16 yang diterbitkan turut membezakan keupayaan model itu daripada konfigurasi yang menggunakan tetingkap 256K di bawah kekangan memori. Sediakan bahan panjang untuk tetingkap kerja yang berkenaan, dengan struktur dokumen dikekalkan dan ruang untuk respons. Konteks panjang paling berguna apabila prom menetapkan hubungan yang perlu dicari: percanggahan antara dokumen, kebergantungan merentas fail sumber atau bukti yang menyokong kesimpulan. Ia bukan alasan untuk memasukkan sejarah tidak berkaitan atau menganggap jawapan akhir boleh memenuhi seluruh tetingkap.

Bahasa Inggeris dan bahasa pengekodan ialah fokus utama, dengan bahasa Sepanyol, Perancis, Jerman, Itali dan Jepun turut disenaraikan. Nyatakan bahasa output yang diperlukan dan kekalkan nama, pengecam serta istilah sumber yang dipetik apabila ejaannya penting. Untuk kerja dokumen berbilang bahasa, nyatakan sama ada bahan perlu diterjemah, diringkaskan atau dibandingkan; permintaan ini menghasilkan artifak yang berbeza. Minta istilah yang tidak pasti ditandakan supaya terjemahan lancar tidak mengubah makna teknikal secara senyap.

NVIDIA menerbitkan keluaran rujukan BF16 terutamanya untuk penyesuaian dan penyelidikan ketepatan penuh, serta keluaran NVFP4 berasingan dengan resipi inferens yang dioptimumkan. Perbezaan ini penting apabila membandingkan panduan penggunaan: konfigurasi perkakasan atau hasil daya pemprosesan daripada satu keluaran tidak secara automatik menerangkan keluaran lain. Nama model mengenal pasti keluarga Lightning, manakala checkpoint tepat dan konfigurasi penyajian menentukan resipi. Asingkan keupayaan pada peringkat model daripada andaian prestasi dan memori khusus resipi.

Untuk kerja berasaskan alat, berikan huraian fungsi yang jelas dan kembalikan hasil sebenar setiap langkah yang dilaksanakan. Operasi yang dicadangkan menjadi bukti yang boleh digunakan hanya selepas aplikasi sekeliling melaksanakannya dan merekodkan kejadian. Minta jawapan akhir membezakan pemerhatian sumber, kesimpulan terbitan dan semakan yang belum selesai. Apabila pengiraan, arahan atau petikan yang diperoleh bercanggah dengan hasil yang dirancang, gunakan percanggahan itu untuk menyemak kesimpulan dan bukannya menghasilkan ringkasan kemas bagi andaian yang belum disahkan.