NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning adalah model bahasa untuk penalaran, percakapan, dan alur kerja agen khusus. Model ini memiliki total 30B parameter dengan 3B aktif, menggunakan arsitektur hibrida yang menyelingi lapisan Mamba-2, mixture-of-experts, dan perhatian. Lapisan Multi-Token Prediction menambahkan sinyal pelatihan untuk token mendatang dan mendukung resep generasi model yang dioptimalkan. Model ini memproses teks dan menghasilkan teks, termasuk penjelasan, kode, serta jawaban yang berlandaskan bahan yang diberikan.

Produsennya menjelaskan aplikasi dalam chatbot, retrieval-augmented generation, mengikuti instruksi, dan agen. Untuk jawaban basis pengetahuan, berikan pertanyaan serta bagian yang relevan dengan label sumber yang stabil. Mintalah model menjawab dari bagian tersebut, mengidentifikasi bagian yang mendukung setiap klaim penting, dan menyatakan hal yang masih belum diketahui. Misalnya: “Dengan menggunakan artikel dukungan ini, jelaskan perbedaan antara kedua metode instalasi dan kembalikan prasyarat, langkah, serta pemeriksaan untuk masing-masing.” Pertahankan prasyarat yang tidak tersedia tetap terlihat, alih-alih mengundang model untuk mengarangnya.

Untuk pekerjaan pemrograman, berikan kode yang relevan, perilaku yang diharapkan, dan kegagalan yang diamati. Permintaan praktis meminta revisi terfokus serta penjelasan kasus yang terdampak. Jika agen yang terhubung dengan alat menjalankan pemeriksaan, kembalikan keluaran aktualnya sebelum meminta perubahan berikutnya. Pelatihan model mencakup kode, penggunaan alat dengan beberapa langkah, dan tugas keluaran terstruktur, tetapi artefak yang selesai tetap harus sesuai dengan persyaratan asli. Mintalah kode yang direvisi, alasan setiap perubahan penting, serta pengamatan yang diperlukan untuk membuktikan bahwa masalah telah terselesaikan.

Pembuatnya mendokumentasikan proses berpikir yang diaktifkan secara bawaan serta mode jawaban langsung dengan proses berpikir dinonaktifkan melalui templat percakapan. Mode penalaran berguna untuk tugas dengan beberapa kondisi yang saling bergantung; jawaban langsung dapat cocok untuk transformasi atau ekstraksi sederhana. Produsennya merekomendasikan temperature 1.0 dan top-p 0.95 dalam contoh kliennya. Perlakukan nilai tersebut sebagai pengaturan resep pembuatnya dan pilih struktur respons akhir secara jelas, seperti penjelasan singkat, tabel perbandingan, atau jawaban yang diikuti bukti pendukung.

Model ini mendukung konteks hingga 1M token. Resep deployment BF16 yang dipublikasikan juga membedakan kemampuan model tersebut dari konfigurasi yang menggunakan jendela 256K karena keterbatasan memori. Siapkan bahan panjang sesuai jendela kerja yang berlaku, dengan mempertahankan struktur dokumen dan menyisakan ruang bagi respons. Konteks panjang paling berguna ketika prompt menentukan hubungan yang perlu ditemukan: pertentangan antar dokumen, dependensi lintas berkas sumber, atau bukti yang mendukung suatu kesimpulan. Ini bukan alasan untuk menyertakan riwayat yang tidak terkait atau berasumsi bahwa jawaban akhir dapat memenuhi seluruh jendela.

Bahasa Inggris dan bahasa pemrograman merupakan fokus utama, dengan bahasa Spanyol, Prancis, Jerman, Italia, dan Jepang juga tercantum. Nyatakan bahasa keluaran yang diperlukan serta pertahankan nama, pengenal, dan istilah sumber yang dikutip ketika ejaannya penting. Untuk pekerjaan dokumen multibahasa, tentukan apakah bahan perlu diterjemahkan, diringkas, atau dibandingkan; permintaan tersebut menghasilkan artefak yang berbeda. Mintalah istilah yang tidak pasti ditandai agar terjemahan yang lancar tidak diam-diam mengubah makna teknis.

NVIDIA memublikasikan rilis rujukan BF16 terutama untuk penyesuaian dan penelitian presisi penuh, serta rilis NVFP4 terpisah dengan resep inferensi yang dioptimalkan. Perbedaan ini penting ketika membandingkan panduan deployment: konfigurasi perangkat keras atau hasil throughput dari satu rilis tidak otomatis menjelaskan rilis lain. Nama model mengidentifikasi keluarga Lightning, sedangkan checkpoint yang tepat dan konfigurasi layanan menentukan resepnya. Pisahkan kemampuan tingkat model dari asumsi kinerja dan memori khusus resep.

Untuk pekerjaan berbasis alat, berikan deskripsi fungsi yang jelas dan kembalikan hasil aktual dari setiap langkah yang dijalankan. Operasi yang diusulkan menjadi bukti yang dapat digunakan hanya setelah aplikasi yang menaunginya melaksanakan operasi tersebut dan mencatat apa yang terjadi. Mintalah jawaban akhir membedakan pengamatan sumber, kesimpulan turunan, dan pemeriksaan yang belum selesai. Ketika perhitungan, perintah, atau bagian yang diambil bertentangan dengan hasil yang direncanakan, gunakan pertentangan itu untuk merevisi kesimpulan, alih-alih menghasilkan ringkasan rapi dari asumsi yang belum diverifikasi.