NVIDIA: Nemotron 3 Ultra (free)

NVIDIA Nemotron 3 Ultra ialah model penaakulan dan orkestrasi berskala besar dalam keluarga Nemotron 3. Model ini direka untuk ejen berbilang langkah yang mencabar, analisis konteks panjang dan penaakulan atas kod, matematik serta sains. Model ini mempunyai 550B parameter keseluruhan dan 55B parameter aktif. Ia menggabungkan lapisan Mamba-2, perhatian dan Latent Mixture-of-Experts, dengan lapisan Multi-Token Prediction yang menyokong reka bentuk penjanaannya.

LatentMoE memproyeksikan maklumat ke dalam perwakilan laten yang lebih kecil untuk pemprosesan pakar. Resipi latihan NVIDIA menggabungkan pralatihan, penalaan halus terselia, pembelajaran pengukuhan dan penyulingan on-policy berbilang domain. Tujuan praktikal peringkat ini ialah meningkatkan penaakulan, pematuhan arahan, penggunaan alat dan tingkah laku ejen merentas beberapa jenis tugas. Ultra menghasilkan teks: penjelasan, penyelesaian, kod, pelan atau struktur respons yang diminta. Bekalkan bahan yang perlu digunakan untuk membentuk jawapan serta syarat yang menentukan sama ada hasilnya betul.

Untuk penaakulan matematik atau saintifik, sertakan pernyataan lengkap, nilai yang diketahui, unit dan andaian yang dibenarkan. Permintaan yang berguna ialah: “Terbitkan hasil daripada syarat ini, kenal pasti andaian pada setiap peringkat, semak dimensi dan terangkan pemerhatian yang akan membatalkan kesimpulan.” Minta hasil akhir yang ringkas selepas penjelasan pengiraan. Jika data eksperimen terlibat, bezakan perkara yang diukur daripada perkara yang dikira, dan minta ketidakpastian atau maklumat yang tiada kekal kelihatan dan bukannya diserap ke dalam jawapan yang yakin.

Untuk aliran kerja kod dan ejen, berikan objektif, fail berkaitan sebagai teks dan output sebenar langkah terdahulu. Ultra ditujukan untuk tugas yang melibatkan beberapa keputusan saling bergantung, maka rekod jelas kerja yang telah selesai dan soalan yang masih tinggal adalah berguna. Sebagai contoh: “Semak cadangan migrasi ini terhadap skema dan semakan yang gagal. Kenal pasti kebergantungan yang menghalang penyelesaian, cadangkan pembetulan terfokus dan berikan hasil yang dijangka bagi semakan seterusnya.” Aplikasi yang disambungkan kepada alat kemudian boleh melaksanakan langkah yang dicadangkan dan mengembalikan bukti untuk keputusan seterusnya.

Pengeluar menyokong penaakulan dihidupkan atau dimatikan melalui templat sembang. Penaakulan dihidupkan secara lalai, menghasilkan jejak penaakulan diikuti jawapan. Kad Ultra turut mendokumenkan mod penaakulan usaha sederhana yang menggunakan kurang token penaakulan daripada pemikiran penuh. Ini ialah pilihan khusus Ultra; ia tidak patut dikelirukan dengan tetapan usaha rendah yang didokumenkan untuk Super. Tetapkan hasil kerja akhir yang dikehendaki dan tinggalkan ruang untuknya selepas penaakulan. Jejak yang belum selesai tidak menggantikan jawapan lengkap kepada soalan asal.

Ultra menyokong konteks sehingga 1M token. Untuk himpunan besar dokumen atau fail sumber, labelkan bahagian dan beritahu model dengan tepat perkara yang perlu dibandingkan, dijejak atau diselaraskan. Kekalkan turutan sumber apabila kronologi atau kebergantungan penting. Hasil dokumen panjang yang berguna mengandungi penemuan, petikan sokongan dan implikasi terhadap soalan. Pilih bahan yang berkaitan dan sediakan ruang output; tetingkap konteks menerangkan turutan kerja dan bukannya panjang jawapan akhir terjamin yang berasingan.

Pengeluar menyenaraikan bahasa Inggeris, Perancis, Sepanyol, Itali, Jerman, Jepun, Hindi, Korea, Portugis Brazil dan Cina. Nyatakan bahasa output dan kekalkan pengecam teknikal atau petikan sumber apabila perkataan tepat penting. Untuk analisis berbilang bahasa, gunakan kriteria yang sama untuk setiap dokumen dan minta perbezaan istilah atau andaian diterangkan. Kelancaran sahaja tidak cukup untuk membuktikan bahawa dua keperluan dengan perkataan berbeza membawa makna yang sama.

NVIDIA menyediakan contoh panggilan alat yang jelas dengan penaakulan. Tetapkan tujuan, argumen dan hasil yang dijangka bagi setiap fungsi, kemudian kembalikan output sebenarnya kepada model. Aplikasi melaksanakan operasi; model menaakul berdasarkan pemerhatian yang dikembalikan. Aliran kerja ejen panjang menjadi lebih mudah disemak apabila tindakan yang dicadangkan, hasil operasi yang telah dilaksanakan dan semakan belum selesai dibezakan dengan jelas. Untuk laporan akhir, minta jawapan, bukti yang menyokongnya, andaian dan sebarang item tugas yang masih tinggal. Sahkan pengiraan terhadap unit asal, perubahan kod terhadap semakan yang diperhatikan dan dakwaan fakta terhadap sumber yang dibekalkan.