Nemotron 3.5 Lightning adalah model bahasa hibrida mixture-of-experts NVIDIA untuk tugas teks berupa penalaran dan respons langsung. Profil produsennya mencantumkan total 30 miliar parameter dan 3 miliar parameter aktif, yang menggabungkan komponen Mamba dan transformer dengan prediksi multitoken. Rilis BF16 yang dirujuk adalah materi model presisi penuh produsen, yang terpisah dari edisi presisi rendahnya yang dioptimalkan.
Produsennya menjelaskan prapelatihan pada lebih dari dua puluh triliun token, diikuti pelatihan lanjutan untuk prediksi multitoken, penyetelan terawasi, dan pembelajaran penguatan dalam beberapa lingkungan. Tugas instruksi dan pembelajaran penguatan mencakup kode, matematika, sains, pemanggilan alat, keluaran terstruktur, dan interaksi beberapa giliran. Prediksi multitoken merupakan fitur arsitektur dan pelatihan Lightning, bukan jenis keluaran tambahan seperti pembuatan gambar atau audio.
Model ini menerima teks dan mengembalikan teks. Bahasa yang didukung pembuatnya mencakup Inggris, Spanyol, Prancis, Jerman, Italia, dan Jepang. Tentukan bahasa keluaran serta pertahankan nama teknis atau pengenal kode yang tidak boleh berubah.
Templat percakapan produsen dapat mengaktifkan atau menonaktifkan proses berpikir. Tugas penalaran mengembangkan analisis antara sebelum respons akhir, sedangkan tugas langsung dapat meminta jawaban tanpa jejak tersebut. Pembuatnya merekomendasikan temperature 1.0 dan top-p 0.95 untuk profil rujukannya. Nyatakan artefak akhir yang diperlukan secara independen: solusi, perubahan kode yang terfokus, perbandingan sumber, atau rekaman data yang terdefinisi.
Brief praktis adalah: “Gunakan bagian sumber ini untuk membandingkan persyaratan dan mengidentifikasi kondisi yang menjadi dasar setiap kesimpulan.” Untuk pemrograman, berikan implementasi yang relevan, kegagalan yang diamati, dan perilaku yang diharapkan, serta mintalah patch yang terkait dengan bukti. Bedakan kode usulan dari hasil validasi aktual.
Pascapelatihan NVIDIA mencakup alat dengan beberapa langkah dan keluaran terstruktur. Sediakan fungsi dengan tujuan yang tepat dan skema argumen ketika aplikasi menggunakan model sebagai agen. Aplikasi menjalankan operasi yang dipilih dan mengembalikan pengamatan untuk langkah berikutnya. Fungsi yang dipilih atau rekaman argumen yang dihasilkan tidak secara mandiri melaksanakan operasi tersebut.
Untuk hasil terstruktur, tentukan makna kolom dan konvensi nilai yang tidak tersedia. Periksa nilai dengan membandingkannya terhadap masukan meskipun formatnya cocok untuk sistem berikutnya. Tugas yang berlanjut harus mempertahankan pengamatan yang membuktikan kemajuan serta kriteria akhir yang menandai penyelesaiannya.
Model ini mendukung konteks hingga satu juta token dalam profil yang didokumentasikan. Pembuatnya juga mendemonstrasikan konfigurasi 256K yang lebih kecil untuk penyiapan eksekusi dengan keterbatasan memori, sehingga profil maksimum dan konfigurasi yang dipilih merupakan hal berbeda. Bahan sumber, riwayat, hasil alat, penalaran, dan respons akhir berbagi konteks yang tersedia. Pernyataan konteks keluaran pada kartu model tidak menetapkan anggaran jawaban tambahan satu juta token yang independen.
Rujukan BF16, rilis produsen dengan presisi rendah, dan Nemotron 3 Nano yang lebih awal memiliki sifat edisi yang terpisah. Gunakan teks otoritatif untuk klaim yang peka terhadap sumber dan pengamatan aplikasi aktual untuk pekerjaan yang dijalankan. Hasil yang berguna adalah solusi tekstual, usulan kode, atau analisis terstruktur yang dapat ditinjau, dengan asumsi dan bukti pendukung tetap jelas.
", "aboutText": "Nemotron 3.5 Lightning adalah model bahasa hibrida mixture-of-experts NVIDIA untuk tugas teks berupa penalaran dan respons langsung. Profil produsennya mencantumkan total 30 miliar parameter dan 3 miliar parameter aktif, yang menggabungkan komponen Mamba dan transformer dengan prediksi multitoken. Rilis BF16 yang dirujuk adalah materi model presisi penuh produsen, yang terpisah dari edisi presisi rendahnya yang dioptimalkan.\n\n### Pelatihan dan rancangan edisi\n\nProdusennya menjelaskan prapelatihan pada lebih dari dua puluh triliun token, diikuti pelatihan lanjutan untuk prediksi multitoken, penyetelan terawasi, dan pembelajaran penguatan dalam beberapa lingkungan. Tugas instruksi dan pembelajaran penguatan mencakup kode, matematika, sains, pemanggilan alat, keluaran terstruktur, dan interaksi beberapa giliran. Prediksi multitoken merupakan fitur arsitektur dan pelatihan Lightning, bukan jenis keluaran tambahan seperti pembuatan gambar atau audio.\n\nModel ini menerima teks dan mengembalikan teks. Bahasa yang didukung pembuatnya mencakup Inggris, Spanyol, Prancis, Jerman, Italia, dan Jepang. Tentukan bahasa keluaran serta pertahankan nama teknis atau pengenal kode yang tidak boleh berubah.\n\n### Penalaran atau respons langsung\n\nTemplat percakapan produsen dapat mengaktifkan atau menonaktifkan proses berpikir. Tugas penalaran mengembangkan analisis antara sebelum respons akhir, sedangkan tugas langsung dapat meminta jawaban tanpa jejak tersebut. Pembuatnya merekomendasikan temperature 1.0 dan top-p 0.95 untuk profil rujukannya. Nyatakan artefak akhir yang diperlukan secara independen: solusi, perubahan kode yang terfokus, perbandingan sumber, atau rekaman data yang terdefinisi.\n\nBrief praktis adalah: “Gunakan bagian sumber ini untuk membandingkan persyaratan dan mengidentifikasi kondisi yang menjadi dasar setiap kesimpulan.” Untuk pemrograman, berikan implementasi yang relevan, kegagalan yang diamati, dan perilaku yang diharapkan, serta mintalah patch yang terkait dengan bukti. Bedakan kode usulan dari hasil validasi aktual.\n\n### Alat dan pekerjaan terstruktur\n\nPascapelatihan NVIDIA mencakup alat dengan beberapa langkah dan keluaran terstruktur. Sediakan fungsi dengan tujuan yang tepat dan skema argumen ketika aplikasi menggunakan model sebagai agen. Aplikasi menjalankan operasi yang dipilih dan mengembalikan pengamatan untuk langkah berikutnya. Fungsi yang dipilih atau rekaman argumen yang dihasilkan tidak secara mandiri melaksanakan operasi tersebut.\n\nUntuk hasil terstruktur, tentukan makna kolom dan konvensi nilai yang tidak tersedia. Periksa nilai dengan membandingkannya terhadap masukan meskipun formatnya cocok untuk sistem berikutnya. Tugas yang berlanjut harus mempertahankan pengamatan yang membuktikan kemajuan serta kriteria akhir yang menandai penyelesaiannya.\n\n### Konteks dan konfigurasi produsen\n\nModel ini mendukung konteks hingga satu juta token dalam profil yang didokumentasikan. Pembuatnya juga mendemonstrasikan konfigurasi 256K yang lebih kecil untuk penyiapan eksekusi dengan keterbatasan memori, sehingga profil maksimum dan konfigurasi yang dipilih merupakan hal berbeda. Bahan sumber, riwayat, hasil alat, penalaran, dan respons akhir berbagi konteks yang tersedia. Pernyataan konteks keluaran pada kartu model tidak menetapkan anggaran jawaban tambahan satu juta token yang independen.\n\nRujukan BF16, rilis produsen dengan presisi rendah, dan Nemotron 3 Nano yang lebih awal memiliki sifat edisi yang terpisah. Gunakan teks otoritatif untuk klaim yang peka terhadap sumber dan pengamatan aplikasi aktual untuk pekerjaan yang dijalankan. Hasil yang berguna adalah solusi tekstual, usulan kode, atau analisis terstruktur yang dapat ditinjau, dengan asumsi dan bukti pendukung tetap jelas.", "editorialOverlay": { "copy_fields": { "practical_html": "Contoh teknis dalam bahasa Inggris
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning adalah model teks hibrida mixture-of-experts NVIDIA untuk penalaran, pemrograman, dan tugas yang dipandu alat. Profil 30B/A3B yang didokumentasikan produsennya menambahkan prediksi multitoken, proses berpikir yang dapat dikonfigurasi, serta konteks hingga satu juta token, dengan rilis rujukan BF16 yang terpisah.
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
Nemotron 3.5 Lightning adalah model bahasa hibrida mixture-of-experts NVIDIA untuk tugas teks berupa penalaran dan respons langsung. Profil produsennya mencantumkan total 30 miliar parameter dan 3 miliar parameter aktif, yang menggabungkan komponen Mamba dan transformer dengan prediksi multitoken. Rilis BF16 yang dirujuk adalah materi model presisi penuh produsen, yang terpisah dari edisi presisi rendahnya yang dioptimalkan.
Produsennya menjelaskan prapelatihan pada lebih dari dua puluh triliun token, diikuti pelatihan lanjutan untuk prediksi multitoken, penyetelan terawasi, dan pembelajaran penguatan dalam beberapa lingkungan. Tugas instruksi dan pembelajaran penguatan mencakup kode, matematika, sains, pemanggilan alat, keluaran terstruktur, dan interaksi beberapa giliran. Prediksi multitoken merupakan fitur arsitektur dan pelatihan Lightning, bukan jenis keluaran tambahan seperti pembuatan gambar atau audio.
Model ini menerima teks dan mengembalikan teks. Bahasa yang didukung pembuatnya mencakup Inggris, Spanyol, Prancis, Jerman, Italia, dan Jepang. Tentukan bahasa keluaran serta pertahankan nama teknis atau pengenal kode yang tidak boleh berubah.
Templat percakapan produsen dapat mengaktifkan atau menonaktifkan proses berpikir. Tugas penalaran mengembangkan analisis antara sebelum respons akhir, sedangkan tugas langsung dapat meminta jawaban tanpa jejak tersebut. Pembuatnya merekomendasikan temperature 1.0 dan top-p 0.95 untuk profil rujukannya. Nyatakan artefak akhir yang diperlukan secara independen: solusi, perubahan kode yang terfokus, perbandingan sumber, atau rekaman data yang terdefinisi.
Brief praktis adalah: “Gunakan bagian sumber ini untuk membandingkan persyaratan dan mengidentifikasi kondisi yang menjadi dasar setiap kesimpulan.” Untuk pemrograman, berikan implementasi yang relevan, kegagalan yang diamati, dan perilaku yang diharapkan, serta mintalah patch yang terkait dengan bukti. Bedakan kode usulan dari hasil validasi aktual.
Pascapelatihan NVIDIA mencakup alat dengan beberapa langkah dan keluaran terstruktur. Sediakan fungsi dengan tujuan yang tepat dan skema argumen ketika aplikasi menggunakan model sebagai agen. Aplikasi menjalankan operasi yang dipilih dan mengembalikan pengamatan untuk langkah berikutnya. Fungsi yang dipilih atau rekaman argumen yang dihasilkan tidak secara mandiri melaksanakan operasi tersebut.
Untuk hasil terstruktur, tentukan makna kolom dan konvensi nilai yang tidak tersedia. Periksa nilai dengan membandingkannya terhadap masukan meskipun formatnya cocok untuk sistem berikutnya. Tugas yang berlanjut harus mempertahankan pengamatan yang membuktikan kemajuan serta kriteria akhir yang menandai penyelesaiannya.
Model ini mendukung konteks hingga satu juta token dalam profil yang didokumentasikan. Pembuatnya juga mendemonstrasikan konfigurasi 256K yang lebih kecil untuk penyiapan eksekusi dengan keterbatasan memori, sehingga profil maksimum dan konfigurasi yang dipilih merupakan hal berbeda. Bahan sumber, riwayat, hasil alat, penalaran, dan respons akhir berbagi konteks yang tersedia. Pernyataan konteks keluaran pada kartu model tidak menetapkan anggaran jawaban tambahan satu juta token yang independen.
Rujukan BF16, rilis produsen dengan presisi rendah, dan Nemotron 3 Nano yang lebih awal memiliki sifat edisi yang terpisah. Gunakan teks otoritatif untuk klaim yang peka terhadap sumber dan pengamatan aplikasi aktual untuk pekerjaan yang dijalankan. Hasil yang berguna adalah solusi tekstual, usulan kode, atau analisis terstruktur yang dapat ditinjau, dengan asumsi dan bukti pendukung tetap jelas.
POST /v1/chat/completionstexttext| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan nvidia/nemotron-3.5-lightning | Bawaan— |
Kolommessages | Jenismessage[] | PersyaratanWajib | Nilai & batasan Item minimum: 1 | Bawaan— |
Kolommessages[].role | Jenisstring | PersyaratanWajib | Nilai & batasan Contoh: system, user, assistant, tool, function Kondisi: Peran ini direpresentasikan secara eksplisit oleh tipe kompatibilitas dalam kode sumber; kumpulan peran model yang tepat tetap khusus untuk tiap model. Bergantung pada model | Bawaan— |
Kolommessages[].content | Jenisstring|content_part[]|null | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].tool_calls | Jenistool_call[] | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].tool_call_id | Jenisstring | PersyaratanOpsional | Nilai & batasan Berlaku jika: role=tool; gunakan ID yang benar-benar dikembalikan | Bawaan— |
Kolommessages[].name | Jenisstring | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].reasoning_content | Jenisstring | PersyaratanOpsional | Nilai & batasan Berlaku jika: Kirim kembali penalaran yang benar-benar dikembalikan jika model ini menggunakannya | Bawaan— |
Kolommessages[].reasoning_details | Jenisobject|array | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolommax_tokens | Jenisinteger | PersyaratanOpsional | Nilai & batasan Minimum: 1 Bergantung pada model | Bawaan— |
Kolommax_completion_tokens | Jenisinteger | PersyaratanOpsional | Nilai & batasan Minimum: 1 Bergantung pada model | Bawaan— |
Kolomstream | Jenisboolean | PersyaratanOpsional | Nilai & batasan | Bawaanfalse |
Kolomstream_options.include_usage | Jenisboolean | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtemperature | Jenisnumber | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtop_p | Jenisnumber | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomstop | Jenisstring|string[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtools | Jenisfunction_tool[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtools[].type | Jenisstring | PersyaratanOpsional | Nilai & batasan function Bergantung pada model | Bawaan— |
Kolomtools[].function.name | Jenisstring | PersyaratanWajib | Nilai & batasan Berlaku jika: alat fungsi disediakan | Bawaan— |
Kolomtools[].function.description | Jenisstring | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolomtools[].function.parameters | JenisJSON_schema | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolomtool_choice | Jenisstring|object | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomparallel_tool_calls | Jenisboolean | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomresponse_format | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomreasoning_effort | Jenisstring | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomreasoning | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomservice_tier | Jenisstring | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolominstructions | Jenisstring | PersyaratanOpsional | Nilai & batasan Kolom kompatibilitas | Bawaan— |
Kolomfunctions | Jenisfunction[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomfunction_call | Jenisstring|object | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomprompt_cache_options | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolommodalities | Jenisstring[] | PersyaratanOpsional | Nilai & batasan text | Bawaan— |
Kolomprovider | Jenisobject | PersyaratanOpsional | Nilai & batasan Kondisi: provider.options ditolak pada rute teks Ultra ini | Bawaan— |
Kolomcache_control.ttl | Jenisstring | PersyaratanOpsional | Nilai & batasan Kondisi: 1h ditolak pada lokasi cache prompt yang digunakan | Bawaan— |
Teks · Teks UTF8
messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages |
Parametermaterial_types | Kontraktext |
Parametermessages | Kontrakarray pesan dengan struktur role/content |
Parameterfile_material | Kontrakdokumen UTF-8 yang sebenarnya dimasukkan sebagai teks apa adanya; ID file tidak disimpulkan |
Parameteroptional_controls | Kontrakstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontrakkhusus model; alat fungsi pengguna berbeda dari alat yang dihosting |
Parameteroutput_modalities | Kontraktext |
Parameterhosted_operations | Kontrakfalse |
Parametermultimodal_input_binding | Kontraknull |
Siklus hidup: synchronous_or_streamed
Kirim ID model yang tepat bersama messages.
Panjang konteks bukan batas keluaran.
File teks dapat menyediakan teks apa adanya; masukan gambar/audio/objek file memerlukan pengikatan yang tepat.
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
Cocokkan setiap biaya dengan kondisi yang ditampilkan. Gunakan satu tarif untuk setiap kelompok konfigurasi alternatif.
| Konfigurasi | Jadwal tarif | Token konteks, lebih dari | Token konteks, hingga dan termasuk | Biaya |
|---|---|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Token konteks, lebih dari— | Token konteks, hingga dan termasukTanpa batas atas | Biaya Masukan · Token masukan $0.00014 / 1K token Keluaran · Token keluaran $0.0004 / 1K token Masukan · Pembacaan cache $0.00008 / 1K token Masukan · Penulisan cache — / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
| KonfigurasiPanjang permintaan · tingkat 1 | Jadwal tarif— | Token konteks, lebih dari0 | Token konteks, hingga dan termasukTanpa batas atas | Biaya Masukan · Token masukan $0.00014 / 1K token Keluaran · Token keluaran $0.0004 / 1K token Masukan · Pembacaan cache $0.00008 / 1K token Masukan · Penulisan cache — / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3.5-lightning", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson atau SSE
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan setiap alternatif jawaban beserta konten, panggilan alat, dan penalarannya. Dalam SSE, gabungkan delta menurut indeks alternatif jawaban/alat, lalu pertahankan alasan penghentian akhir dan data penggunaan.
Simpan ID permintaan/respons dan header. URL umum untuk pengambilan tugas teks tidak disediakan.
| Kolom | Jenis |
|---|---|
Kolomchoices[].index | Jenisinteger |
Kolomchoices[].message.content | Jenisstring|null |
Kolomchoices[].message.tool_calls | Jenistool_call[] |
Kolomchoices[].message.reasoning_content | Jenisstring |
Kolomchoices[].message.reasoning_details | Jenisobject|array |
Kolomchoices[].finish_reason | Jenisstring|null |
Kolomusage | Jenisobject |
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Gunakan jalur metode yang ditampilkan di atas.
nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning adalah model teks hibrida mixture-of-experts NVIDIA untuk penalaran, pemrograman, dan tugas yang dipandu alat. Profil 30B/A3B yang didokumentasikan produsennya menambahkan prediksi multitoken, proses berpikir yang dapat dikonfigurasi, serta konteks hingga satu juta token, dengan rilis rujukan BF16 yang terpisah.
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
Nemotron 3.5 Lightning adalah model bahasa hibrida mixture-of-experts NVIDIA untuk tugas teks berupa penalaran dan respons langsung. Profil produsennya mencantumkan total 30 miliar parameter dan 3 miliar parameter aktif, yang menggabungkan komponen Mamba dan transformer dengan prediksi multitoken. Rilis BF16 yang dirujuk adalah materi model presisi penuh produsen, yang terpisah dari edisi presisi rendahnya yang dioptimalkan.
Produsennya menjelaskan prapelatihan pada lebih dari dua puluh triliun token, diikuti pelatihan lanjutan untuk prediksi multitoken, penyetelan terawasi, dan pembelajaran penguatan dalam beberapa lingkungan. Tugas instruksi dan pembelajaran penguatan mencakup kode, matematika, sains, pemanggilan alat, keluaran terstruktur, dan interaksi beberapa giliran. Prediksi multitoken merupakan fitur arsitektur dan pelatihan Lightning, bukan jenis keluaran tambahan seperti pembuatan gambar atau audio.
Model ini menerima teks dan mengembalikan teks. Bahasa yang didukung pembuatnya mencakup Inggris, Spanyol, Prancis, Jerman, Italia, dan Jepang. Tentukan bahasa keluaran serta pertahankan nama teknis atau pengenal kode yang tidak boleh berubah.
Templat percakapan produsen dapat mengaktifkan atau menonaktifkan proses berpikir. Tugas penalaran mengembangkan analisis antara sebelum respons akhir, sedangkan tugas langsung dapat meminta jawaban tanpa jejak tersebut. Pembuatnya merekomendasikan temperature 1.0 dan top-p 0.95 untuk profil rujukannya. Nyatakan artefak akhir yang diperlukan secara independen: solusi, perubahan kode yang terfokus, perbandingan sumber, atau rekaman data yang terdefinisi.
Brief praktis adalah: “Gunakan bagian sumber ini untuk membandingkan persyaratan dan mengidentifikasi kondisi yang menjadi dasar setiap kesimpulan.” Untuk pemrograman, berikan implementasi yang relevan, kegagalan yang diamati, dan perilaku yang diharapkan, serta mintalah patch yang terkait dengan bukti. Bedakan kode usulan dari hasil validasi aktual.
Pascapelatihan NVIDIA mencakup alat dengan beberapa langkah dan keluaran terstruktur. Sediakan fungsi dengan tujuan yang tepat dan skema argumen ketika aplikasi menggunakan model sebagai agen. Aplikasi menjalankan operasi yang dipilih dan mengembalikan pengamatan untuk langkah berikutnya. Fungsi yang dipilih atau rekaman argumen yang dihasilkan tidak secara mandiri melaksanakan operasi tersebut.
Untuk hasil terstruktur, tentukan makna kolom dan konvensi nilai yang tidak tersedia. Periksa nilai dengan membandingkannya terhadap masukan meskipun formatnya cocok untuk sistem berikutnya. Tugas yang berlanjut harus mempertahankan pengamatan yang membuktikan kemajuan serta kriteria akhir yang menandai penyelesaiannya.
Model ini mendukung konteks hingga satu juta token dalam profil yang didokumentasikan. Pembuatnya juga mendemonstrasikan konfigurasi 256K yang lebih kecil untuk penyiapan eksekusi dengan keterbatasan memori, sehingga profil maksimum dan konfigurasi yang dipilih merupakan hal berbeda. Bahan sumber, riwayat, hasil alat, penalaran, dan respons akhir berbagi konteks yang tersedia. Pernyataan konteks keluaran pada kartu model tidak menetapkan anggaran jawaban tambahan satu juta token yang independen.
Rujukan BF16, rilis produsen dengan presisi rendah, dan Nemotron 3 Nano yang lebih awal memiliki sifat edisi yang terpisah. Gunakan teks otoritatif untuk klaim yang peka terhadap sumber dan pengamatan aplikasi aktual untuk pekerjaan yang dijalankan. Hasil yang berguna adalah solusi tekstual, usulan kode, atau analisis terstruktur yang dapat ditinjau, dengan asumsi dan bukti pendukung tetap jelas.
POST /v1/messagestextjson, sse| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan nvidia/nemotron-3.5-lightning | Bawaan— |
Kolommessages | Jenismessage[] | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolommessages[].role | Jenisstring | PersyaratanWajib | Nilai & batasan user, assistant | Bawaan— |
Kolommessages[].content | Jenisstring | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolommax_tokens | Jenisinteger | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolomstream | Jenisboolean | PersyaratanOpsional | Nilai & batasan | Bawaanfalse |
Teks · Teks UTF-8
string messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages, max_tokens |
Parameteroptional_controls | Kontrakstream |
Parametermaterial_types | Kontraktext |
Parametertext_file_material | KontrakBaca dokumen UTF-8 yang sebenarnya dan masukkan teksnya ke string masukan atau konten pesan yang ditunjukkan. |
Siklus hidup: synchronous_or_streamed
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
Cocokkan setiap biaya dengan kondisi yang ditampilkan. Gunakan satu tarif untuk setiap kelompok konfigurasi alternatif.
| Konfigurasi | Jadwal tarif | Token konteks, lebih dari | Token konteks, hingga dan termasuk | Biaya |
|---|---|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Token konteks, lebih dari— | Token konteks, hingga dan termasukTanpa batas atas | Biaya Masukan · Token masukan $0.00014 / 1K token Keluaran · Token keluaran $0.0004 / 1K token Masukan · Pembacaan cache $0.00008 / 1K token Masukan · Penulisan cache — / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
| KonfigurasiPanjang permintaan · tingkat 1 | Jadwal tarif— | Token konteks, lebih dari0 | Token konteks, hingga dan termasukTanpa batas atas | Biaya Masukan · Token masukan $0.00014 / 1K token Keluaran · Token keluaran $0.0004 / 1K token Masukan · Pembacaan cache $0.00008 / 1K token Masukan · Penulisan cache — / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
{\n "model": "nvidia/nemotron-3.5-lightning",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON atau SSE
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan semua blok konten, tanda tangan penalaran, dan ID penggunaan alat yang sebenarnya. Gabungkan semua delta blok SSE; blok teks pertama bukan keseluruhan keluaran.
Simpan ID permintaan/respons dan header. URL umum untuk pengambilan tugas teks tidak disediakan.
| Kolom | Jenis |
|---|---|
Kolomid | Jenisstring |
Kolommodel | Jenisstring |
Kolomcontent[] | Jenistext|thinking|tool_use|other content block |
Kolomstop_reason | Jenisstring|null |
Kolomusage | Jenisobject |
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Gunakan jalur metode yang ditampilkan di atas.
Contoh teknis dalam bahasa Inggris
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.